上一篇
可使用正则表达式将
]+> 匹配为空，或通过 BeautifulSoup 等库提取 text
在互联网开发、数据分析及内容管理场景中，过滤HTML标签是一项基础且关键的任务，其核心目标是从包含HTML标记的原始文本中提取纯净的文本内容，同时消除潜在的安全风险（如XSS攻击）或冗余格式，以下从技术原理、实现方案、工具对比、安全实践及典型问题解决五个维度展开详细阐述,并提供可落地的操作指南。
核心需求与挑战解析
典型应用场景
| 场景类型 | 具体示例 | 核心诉求 |
|---|---|---|
| 数据清洗 | 爬取网页后存储为纯文本数据库 | 去除<div>, <p>等标签 |
| 安全防护 | 用户评论提交前过滤危险标签 | 阻止<script>, <iframe> |
| 日志分析 | 从服务器日志中提取有效请求信息 | 剔除无关的HTML注释 |
主要挑战
- 嵌套结构：多层嵌套的
<ul>→<li>→<span>可能导致传统字符串替换失效； - 动态属性：如
onclick="alert()"这类事件处理器需同步清除； - 自闭合标签：
<img />,<br/>等特殊语法易被遗漏； - 编码混淆：十六进制实体（
<代表<）可能绕过简单检测； - 跨语言差异：不同编程语言对HTML解析的支持程度不同。
主流技术方案对比
方案1：基于正则表达式（Regex）
适用场景：轻量化需求、单一文件快速处理
实现逻辑：通过匹配<[^>]+>模式删除所有尖括号包裹的内容。
Python示例代码：
import re
def strip_html_tags(text):
return re.sub(r'<[^>]+>', '', text)
优势：无需依赖外部库，执行速度快；
缺陷：无法正确处理以下情况：
- 未闭合的标签（如
<b>bold text）； - 标签内的文本节点（如
<a href="#">Link</a>会被清空为空）； - 特殊字符转义（如
<不会被还原为<）。
方案2：DOM解析器（推荐）
代表工具：Python的BeautifulSoup、Java的Jsoup、Node.js的cheerio
工作原理：构建完整的DOM树，遍历所有节点并提取文本内容。
Python完整实现：
from bs4 import BeautifulSoup
def get_plain_text(html):
soup = BeautifulSoup(html, 'html.parser')
# 移除所有script/style标签及其内容
for script in soup(['script', 'style']):
script.decompose()
# 获取纯文本并清理空白字符
text = soup.get_text(separator=' ', strip=True)
return text
关键特性：
- 自动补全缺失的闭合标签；
- 支持CSS选择器定位特定元素；
- 可递归处理子节点；
- 内置防注入机制（如自动转义
>,<等符号）。
方案3：浏览器引擎集成
适用场景：需要模拟真实渲染效果的场景（如打印预览）
实现方式：通过无头浏览器（Headless Browser）加载页面后获取外层HTML。
优势：能准确还原浏览器渲染后的最终文本形态；
劣势：资源消耗大，启动速度慢,不适合批量处理。
方案对比表
| 指标 | 正则表达式 | DOM解析器 | 浏览器引擎 |
|---|---|---|---|
| 准确性 | |||
| 执行效率 | |||
| 安全性 | |||
| 复杂度处理能力 | |||
| 依赖环境 | 无 | 需安装第三方库 | 需浏览器环境 |
| 推荐指数 | 低复杂度任务 | 通用型最佳实践 | 特殊渲染需求 |
高级安全实践
️ 必须规避的风险点
- 二次注入破绽：即使删除了可见标签,仍需验证剩余文本是否包含反面代码片段；
- Unicode隐蔽字符：利用零宽空格（
u200B）构造的隐蔽链接； - 协议：
http://资源在https://页面中的加载警告； - SVG内嵌脚本：
<svg><script>...</script></svg>这种复合向量攻击。
增强防护措施
# 结合漂白库进行深度清理 from bleach import clean allowed_tags = ['p', 'br', 'em', 'strong'] # 白名单机制 cleaned_text = clean(raw_html, tags=allowed_tags, strip=True)
关键策略：
- 白名单机制：明确允许保留的标签及属性；
- 属性过滤：禁止
onerror,background等危险属性； - 协议限制：仅允许
data:,https:开头的资源加载； - 实体解码：将
<转换为<后再进行二次校验。
特殊场景解决方案
场景1：保留部分格式标签
若需保留加粗/斜体等基础样式,可采用如下策略：
<!-输入 --> <div class="article">Hello <b>World</b>!</div> <!-输出 --> Hello <b>World</b>!
实现要点：
- 使用
BeautifulSoup的keep_contents=True参数； - 预先定义允许保留的标签列表；
- 对保留标签进行转义处理（如将
<替换为<）。
场景2：处理表格数据
对于<table>结构,建议转换为Markdown格式：
def table_to_markdown(soup):
tables = soup.find_all('table')
result = []
for table in tables:
rows = table.find_all('tr')
for row in rows:
cols = row.find_all(['td', 'th'])
result.append('|' + '|'.join(col.get_text().strip() for col in cols) + '|')
return 'n'.join(result)
常见错误调试指南
| 现象 | 可能原因 | 解决方案 |
|---|---|---|
输出结果仍含<br> |
未启用strip=True参数 |
添加strip=True到解析函数 |
| 中文乱码 | 编码不一致 | 强制指定编码为UTF-8 |
| 图片描述丢失 | alt属性未被单独提取 |
单独处理<img>标签的alt属性 |
| 连续空格被压缩 | 默认的文本合并行为 | 使用separator=' '参数控制间隔 |
相关问答FAQs
Q1: 如果只需要删除特定的几个标签怎么办？
A: 推荐使用白名单机制而非全盘删除，以BeautifulSoup为例：
from bs4 import BeautifulSoup
blacklist = ['script', 'style', 'iframe']
soup = BeautifulSoup(html, 'html.parser')
for tag in blacklist:
for element in soup.find_all(tag):
element.decompose()
text = soup.get_text()
此方法比全局删除更安全,可精准控制需要移除的标签类型。
Q2: 如何处理带有onmouseover等事件属性的标签？
A: 应采用两阶段处理：
- 删除整个标签：直接移除带有事件属性的标签；
- 属性级过滤：若需保留标签本体，则遍历所有属性并删除以
on开头的事件属性：for tag in soup.find_all(True): for attr in list(tag.attrs.keys()): if attr.startswith('on'): del tag[attr]注意：某些框架（如React）生成的组件可能包含虚拟事件处理器,此时建议直接移除整个标签。
通过上述方案组合，可实现从基础到高安全的HTML标签过滤体系，实际实施时应根据业务场景选择合适的技术栈，并持续关注OWASP Top 10等安全标准更新，对于大规模数据处理，建议采用分布式计算框架（如Spark）配合内存优化的解析器（如
