如何 使用 htmlunit

环境搭建与基础配置

1. 引入依赖
   HtmlUnit的核心库需通过Maven或手动添加JAR包引入，以下是Maven坐标：

   <dependency>
       <groupId>net.sourceforge.htmlunit</groupId>
       <artifactId>htmlunit</artifactId>
       <version>2.60.0</version> <!-最新版本请参考官网 -->
   </dependency>

2. 创建WebClient实例
   WebClient是HtmlUnit的核心类，负责模拟浏览器行为，基础配置如下：

   import com.gargoylesoftware.htmlunit.WebClient;
   import com.gargoylesoftware.htmlunit.html.HtmlPage;
   WebClient client = new WebClient();
   client.getOptions().setCssEnabled(false); // 禁用CSS以提高解析速度
   client.getOptions().setJavaScriptEnabled(true); // 启用JS支持

3. 获取页面内容
   通过client.getPage(url)加载页面，返回HtmlPage对象：

   HtmlPage page = client.getPage("https://example.com");
   String htmlContent = page.asXml(); // 获取HTML源码

页面交互与数据提取

1. 表单提交
   通过HtmlForm对象模拟表单提交：

   

   HtmlForm form = page.getFormByName("loginForm");
   form.getInputByName("username").setValueAttribute("admin");
   form.getInputByName("password").setValueAttribute("123456");
   HtmlPage submitPage = form.getInputByValue("Login").click();

2. 动态元素处理
   对AJAX生成的元素，需启用JS并等待异步加载：

   client.waitForBackgroundJavaScript(5000); // 等待5秒执行JS
   HtmlElement dynamicDiv = page.getElementById("dataContainer");

3. 数据抽取
   使用XPath或CSS选择器定位元素：

   List<HtmlTableRow> rows = page.getByXPath("//table[@id='dataTable']/tbody/tr");
   for (HtmlTableRow row : rows) {
       String cellText = row.getCell(0).asText();
       System.out.println(cellText);
   }

进阶功能与优化

1. Cookie管理
   通过CookieManager处理会话：

   client.setCookieManager(new CookieManager());
   client.getCookieManager().addCookie(new Cookie("sessionId", "abc123"));

2. 文件下载与上传

   • 下载文件：调用HtmlAnchor或HtmlLink的click()方法。
   • 上传文件：通过HtmlFileInput设置本地文件路径：

     HtmlFileInput fileInput = page.getFileInput("fileUpload");
     fileInput.setValueAttribute(new File("path/to/localfile").getAbsolutePath());

3. 性能优化

   • 禁用不必要的功能（如CSS、图片加载）
   • 使用WebWindow管理多窗口场景
   • 配置超时时间：client.setTimeout(10000);

常见问题与解决方案

FAQs：

Q1：如何处理需要复杂JavaScript验证的页面？
A1：

1. 启用JS支持：client.getOptions().setJavaScriptEnabled(true);
2. 配置JS引擎：建议使用HtmlUnitBrowserVersionFactory指定浏览器版本（如CHROME）。
3. 捕获JS错误：设置client.getOptions().setThrowExceptionOnScriptError(false);避免中断。

Q2：如何设置代理服务器或HTTP请求头？
A2：

• 代理配置：

  client.getOptions().setProxyConfig(new ProxyConfig("proxy.example.com", 8080));

• 自定义请求头：

  client.addRequestHeader("User-Agent", "Mozilla/5.0");
  client.addRequestHeader("Referer", "https://origin.com");

完整示例代码

import com.gargoylesoftware.htmlunit.;
import com.gargoylesoftware.htmlunit.html.;
public class HtmlUnitDemo {
    public static void main(String[] args) throws Exception {
        // 初始化WebClient
        WebClient client = new WebClient();
        client.getOptions().setCssEnabled(false);
        client.getOptions().setJavaScriptEnabled(true);
        // 加载页面
        HtmlPage page = client.getPage("https://www.baidu.com");
        System.out.println("页面标题：" + page.getTitleText());
        // 填写表单
        HtmlForm searchForm = page.getFormByName("fm");
        HtmlTextInput input = searchForm.getInputByName("wd");
        input.setValueAttribute("HtmlUnit教程");
        HtmlSubmitButton button = searchForm.getInputByValue("百度一下") instanceof HtmlSubmitButton ?
                (HtmlSubmitButton) searchForm.getInputByValue("百度一下") : null;
        HtmlPage resultPage = button.click();
        // 提取搜索结果
        System.out.println("第一条结果：" + resultPage.getByXPath("//div[@class='result c-container ']/h3/a").asText());
        client.close();
    }
}