前段时间写了个小说线上采集阅读（猛戳这里：https://www.cnblogs.com/huanzi-qch/p/9817831.html），当我们去采集起点网的小说目录时发现目录数据没有在html里面，数据是页面加载时，用ajax请求获取，且对应的div是隐藏的，需要点击“目录”，才看到目录，虽然经过研究最终我们还是找到了接口URL，并通过HttpClient构造post请求获取到了数据，但这种方式太麻烦，成本太大，那有没有其他的方式呢？

通过查找资料发现一个神器：HtmlUnit 官网入口，猛戳这里：http://htmlunit.sourceforge.net

以下介绍摘自官网：
HtmlUnit is a "GUI-Less browser for Java programs". It models HTML documents and provides an API that allows you to invoke pages, fill out forms, click links, etc... just like you do in your "normal" browser.

It has fairly good JavaScript support (which is constantly improving) and is able to work even with quite complex AJAX libraries, simulating Chrome, Firefox or Internet Explorer depending on the configuration used.

It is typically used for testing purposes or to retrieve information from web sites.

HtmlUnit is not a generic unit testing framework. It is specifically a way to simulate a browser for testing purposes and is intended to be used within another testing framework such as JUnit or TestNG. Refer to the document "Getting Started with HtmlUnit" for an introduction.

HtmlUnit is used as the underlying "browser" by different Open Source tools like Canoo WebTest, JWebUnit, WebDriver, JSFUnit, WETATOR, Celerity, Spring MVC Test HtmlUnit, ...

HtmlUnit was originally written by Mike Bowler of Gargoyle Software and is released under the Apache 2 license. Since then, it has received many contributions from other developers, and would not be where it is today without their assistance.

HtmlUnit provides excellent JavaScript support, simulating the behavior of the configured browser (Firefox or Internet Explorer). It uses the Rhino JavaScript engine for the core language (plus workarounds for some Rhino bugs) and provides the implementation for the objects specific to execution in a browser.

中文翻译：
HtmlUnit是一个“Java程序的无界面浏览器”。它为HTML文档建模，并提供一个API，允许您调用页面、填写表单、单击链接等……就像你在“普通”浏览器中所做的一样。

它有相当好的JavaScript支持(不断改进)，甚至可以使用非常复杂的AJAX库，根据使用的配置模拟Chrome、Firefox或Internet Explorer。

它通常用于测试或从web站点检索信息。

HtmlUnit不是一个通用的单元测试框架。它是一种专门用于测试目的的模拟浏览器的方法，并打算在其他测试框架(如JUnit或TestNG)中使用。请参阅“开始使用HtmlUnit”文档以获得介绍。

HtmlUnit被不同的开源工具用作底层的“浏览器”，比如Canoo WebTest, JWebUnit, WebDriver, JSFUnit, WETATOR, Celerity, Spring MVC Test HtmlUnit…

HtmlUnit最初是由石像鬼软件的Mike Bowler编写的，在Apache 2许可证下发布。从那以后，它收到了其他开发者的许多贡献，如果没有他们的帮助，它就不会有今天的成就。

HtmlUnit提供了出色的JavaScript支持，模拟了配置好的浏览器(Firefox或Internet Explorer)的行为。它使用Rhino JavaScript引擎作为核心语言(加上一些Rhino bug的解决方案)，并为特定于在浏览器中执行的对象提供实现。

快速上手，猛戳这里：http://htmlunit.sourceforge.net/gettingStarted.html

maven引包：

那对应我们之前获取目录，我们可以这样做：

未执行js之前

经过执行js请求渲染数据，再获取页面源代码，这样我们就能拿到带有目录数据的html了

简单的几行代码就可以看出htmlUnit的强大，理论上，浏览器能做的它都能模拟；在这里先记录下来，等有空了再加到小说线上采集阅读（猛戳这里：https://www.cnblogs.com/huanzi-qch/p/9817831.html）

HtmlPage常用的筛选出我们想要的元素

2020-12-03更新

我们之前htmlutil的版本一直是2.32，最近在抓取一个Vue页面，程序一直报错，无法继续抓取页面

更新到2.45.0（目前是最新版），程序可以继续抓取页面

同时记录一下，如果等待页面js渲染页面

我们先写一个简单的Vue页面进行测试

htmlutil进行抓取

这个是我们封装好的工具类

main测试

结果

浏览器直接访问Vue页面

htmlutil抓取

代码已经开源、托管到我的GitHub、码云：

GitHub：https://github.com/huanzi-qch/spider

码云：https://gitee.com/huanzi-qch/spider

作者：huanzi-qch

出处：https://www.cnblogs.com/huanzi-qch

若标题中有“转载”字样，则本文版权归原作者所有。若无转载字样，本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接，否则保留追究法律责任的权利.