上一篇
可用正则表达式
re.sub(r']+>', '', html_str)或Python库BeautifulSoup的
get_text()
在互联网数据处理、内容分析或信息抽取等场景中，去除HTML标签是一项基础且关键的操作，无论是从网页中提取纯文本内容，还是清洗用户输入的数据，掌握高效的去标签方法都能显著提升工作效率，以下将从原理、工具、代码实现、注意事项及典型场景展开全面解析，并提供可落地的解决方案。
核心需求与挑战
什么是“去除HTML标签”？
指剥离字符串中的<tag>标记（如<p>, <div>），仅保留标签内的文本内容，同时需注意以下几点：
- 保留非标签内容：包括文字、空格、换行符、特殊符号（如 ）；
- 处理嵌套标签：多层嵌套的标签需完全移除，不可残留空标签；
- 规避风险：防止因错误解析导致的信息丢失或注入破绽（如XSS攻击）。
常见痛点
| 问题类型 | 示例 | 后果 |
|---|---|---|
| 自闭合标签 | <br/>, <img src="..."/> |
直接删除可能导致段落断裂 |
| 脚本/样式内联 | <script>...</script>, <style>...</style> |
未过滤会暴露敏感代码 |
| 动态生成内容 | JavaScript渲染后的DOM节点 | 传统静态解析失效 |
| 编码异常 | 含&等实体字符 |
解码错误导致乱码 |
主流解决方案对比
根据应用场景和技术栈差异,可选择以下方案之一或组合使用：
方案1：基于Python的标准库实现（推荐）
适用场景：批量处理本地文件/网络请求返回的HTML片段。
核心依赖：BeautifulSoup4 + lxml解析器
优势：语法友好、容错性强、支持复杂查询。
代码示例：
from bs4 import BeautifulSoup
def strip_html_tags(html_str):
soup = BeautifulSoup(html_str, 'lxml')
# 移除所有脚本和样式标签（防XSS）
for script in soup(['script', 'style']):
script.decompose()
# 获取纯文本并清理多余空白
text = soup.get_text(separator=' ', strip=True)
return text.strip()
# 测试用例
sample_html = """
<div class="container">
<h1>标题</h1>
<p>第一段 <span style="color:red">红色文字</span></p>
<script>alert('危险');</script>
</div>
"""
print(strip_html_tags(sample_html))第一段 红色文字
关键点说明：
decompose()：彻底删除指定标签及其子节点；get_text(separator=' ', strip=True)：将相邻文本合并为一个字符串，并自动去除首尾空格；- 若需保留特定标签（如
<a>链接），可通过CSS选择器筛选。
方案2：正则表达式匹配（轻量级）
适用场景：简单文本处理且无需复杂逻辑时。
警告：正则无法完美处理所有HTML结构（如注释、CDATA区块），慎用于生产环境！
通用正则模式：
<[^>]+>|s+
<[^>]+>：匹配任意HTML标签；s+：匹配连续空白字符（可选）。
改进版（保留换行）：
import re
def simple_strip_tags(text):
# 替换标签为空格，并合并多个空格为单个
cleaned = re.sub(r'<[^>]+>', ' ', text)
return re.sub(r's+', ' ', cleaned).strip()
局限性：
- 无法区分合法标签与反面构造的畸形标签；
- 对
<textarea>等含换行的标签处理不佳。
方案3：浏览器自动化工具（Selenium/Playwright）
适用场景：需要模拟真实浏览器环境渲染JS生成的内容后再提取文本。
典型流程：
- 启动无头浏览器访问目标页面；
- 等待动态内容加载完成；
- 执行
element.textContent获取纯文本。
示例（Python + Playwright）：
from playwright.sync_api import sync_playwright
def get_rendered_text(url):
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto(url)
# 等待2秒确保动态内容加载
page.wait_for_timeout(2000)
text = page.inner_text('body')
browser.close()
return text
缺点：资源消耗大，不适合高频次调用。
方案4：前端JavaScript实现（浏览器端）
适用场景：在客户端实时处理用户粘贴的富文本内容。
关键API：document.createRange().surroundContents() + innerText。
简易函数：
function stripTags(inputStr) {
const tempDiv = document.createElement('div');
tempDiv.innerHTML = inputStr;
return tempDiv.innerText || tempDiv.textContent; // 兼容旧版IE
}
安全增强：
- 使用
DOMPurify库过滤潜在反面代码； - 限制最大长度防止DoS攻击。
进阶技巧与注意事项
1. 特殊场景处理表
| 场景 | 解决方案 | 示例代码 |
|---|---|---|
| 保留换行符 | 修改get_text()参数 |
soup.get_text(separator='n', strip=False) |
| 提取特定标签内容 | 结合CSS选择器 | soup.select('p')[0].get_text() |
| 处理自闭合标签 | 显式声明解析器行为 | soup = BeautifulSoup(html, 'lxml') |
| 多语言字符集 | 指定编码方式 | soup = BeautifulSoup(html.encode('utf-8'), ...) |
️ 2. 必须规避的陷阱
- 不要信任外部输入：永远假设输入包含反面代码，优先使用白名单机制；
- 谨慎处理实体引用：
<应转换为<，而非直接删除； - 避免过度压缩：连续多个空格可能影响语义（如诗歌排版）。
️ 3. 性能优化建议
| 指标 | 优化策略 | 效果 |
|---|---|---|
| 内存占用 | 分块处理超大文档 | 降低峰值内存 |
| 执行速度 | 预编译正则表达式 | 减少重复编译开销 |
| 并发能力 | 使用异步IO模型 | 提升吞吐量 |
实战案例对比
假设有以下原始HTML：
<!DOCTYPE html>
<html>
<head><title>测试页面</title></head>
<body>
<h2>欢迎来到本站！</h2>
<p>这是一个<strong>重要通知</strong>。</p>
<ul>
<li>项目A</li>
<li>项目B</li>
</ul>
<script>console.log("调试信息");</script>
</body>
</html>
| 方法 | 输出结果 | 备注 |
|---|---|---|
| BeautifulSoup | 欢迎来到本站！这是一个重要通知，项目A项目B | 完美处理嵌套标签和脚本 |
| 正则表达式 | 欢迎来到本站！这是一个重要通知，项目A项目B | 快速但可能漏掉边缘情况 |
| Selenium | 同BeautifulSoup | 适用于动态页面 |
| JavaScript | 同BeautifulSoup | 客户端即时响应 |
相关问答FAQs
Q1: 如果我只想删除部分特定标签怎么办？（例如保留<a>链接）
A: 可以使用BeautifulSoup的find_all()定位目标标签并删除其他标签：
def keep_only_links(html_str):
soup = BeautifulSoup(html_str, 'lxml')
# 删除除<a>外的所有标签
for tag in soup.find_all(True):
if tag.name != 'a':
tag.decompose()
return soup.get_text()
此方法会保留所有<a>标签及其文本内容。
Q2: 为什么有时候用正则表达式去标签后会出现奇怪的符号？
A: 主要原因是未正确处理HTML实体编码，例如>代表>，若直接用正则删除标签，这些实体会被当作普通文本保留，解决方案是在去标签后增加实体解码步骤：
import html
def advanced_cleanup(text):
# 先去标签
cleaned = re.sub(r'<[^>]+>', ' ', text)
# 解码HTML实体
return html.unescape(cleaned)
这将把>转换为>，&
