当前位置：首页 > 前端开发 > 正文

如何用jsoup快速解析HTML？

admin
前端开发
2025-06-29
8

使用jsoup解析HTML时，首先导入库，通过 Jsoup.connect()加载网页或 Jsoup.parse()解析字符串，生成Document对象后，用DOM遍历或CSS选择器提取所需元素和数据。

Jsoup 是一个强大的 Java HTML 解析库，专为处理真实世界的 HTML 而设计，它提供了一套简洁的 API，支持 DOM 遍历、CSS 选择器操作以及数据提取，是爬虫开发、数据清洗和网页分析的理想工具,以下是详细解析流程：

核心功能解析

HTML 清洗与规范化
Jsoup 会自动将输入的 HTML 转换为符合标准的 DOM 结构，修复未闭合标签、嵌套错误等问题：
String html = "<div><p>破碎的HTML"; Document doc = Jsoup.parse(html); System.out.println(doc.html()); // 输出: <html><head></head><body><div><p>破碎的HTML</p></div></body></html>
数据来源解析
支持多种输入源：
- 字符串解析
  Document doc = Jsoup.parse(htmlString);
- URL 直接抓取（需处理异常） Document doc = Jsoup.connect("https://example.com") .timeout(5000) // 超时设置 .get();
- 本地文件解析
  Document doc = Jsoup.parse(new File("page.html"), "UTF-8");

DOM 遍历与数据提取

使用 CSS 选择器
类 jQuery 语法精准定位元素：
DOM 树遍历
通过父子节点关系操作：

Element body = doc.body(); Element firstDiv = body.child(0); // 获取第一个子元素 Element parent = firstDiv.parent(); // 获取父元素

高级数据操作技巧

处理
- 获取完整 HTML：element.html()
- 获取纯文本：element.text()
- 修改属性：element.attr("class", "newClass")
相对路径转绝对路径
自动转换链接为绝对路径：
String absUrl = link.attr("abs:href"); // 输出 http://example.com/page
HTML 片段处理
解析部分内容：
Element footer = Jsoup.parseBodyFragment("<div>Footer</div>").body();

安全与防御

XSS 防护
使用 Jsoup.clean() 过滤危险标签： String safeHtml = Jsoup.clean(rawHtml, Safelist.basic() // 白名单规则 );
支持自定义白名单（如允许特定标签和属性）。

实战示例：爬取新闻标题

Document doc = Jsoup.connect("https://news.example.com").get(); Elements news = doc.select(".news-title"); // 根据CSS类选择 for (Element title : news) { System.out.println("标题: " + title.text()); System.out.println("链接: " + title.attr("abs:href")); }