Java 爬虫工具Jsoup详解

 Java 爬虫工具Jsoup详解

Jsoup是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

jsoup 的主要功能如下：

1. 从一个 URL，文件或字符串中解析 HTML；
2. 使用 DOM 或 CSS 选择器来查找、取出数据；
3. 可操作 HTML 元素、属性、文本；

jsoup 是基于 MIT 协议发布的，可放心使用于商业项目。

jsoup 可以从包括字符串、URL 地址以及本地文件来加载 HTML 文档，并生成 Document 对象实例。

简单而言，Jsoup就是先取html页面代码然后解析这些页面通过Jsoup携带的满足我们绝大多数需求的各种选择器从这个页面中获取我们所需要的重要数据的一款功能强大的html解析器，但也只是相对而言，这里的页面这是死的静态页面，如果你想获取动态生成的页面数据那么你得用到其他的java 爬虫技术，我会不定时更新这些技术一起探讨。下面我们来具体谈谈如何运用Jsoup

一、如何取页面

Jsoup提供了用来解析html页面的方法 parse(),我们通过解析它可以获取整个页面的dom对象，通过这个对象来获取你所需要的页面所须有的参数。获取页面的方法有很多，这里就简单的列举几个：

① 通过Jsoup携带的connect()方法

这个方法说需要的参数就是一个String类型的url链接，但是你的注意把这些链接的protrol加上，以免问题， 其实这个方法解决了我们很多问题，我们完全可以把Jsoup解析html抽取成一段通用工具类,然后通过改变拼接的url参数获取到很多我们想要的东西，举个例子:京东和淘宝的商品链接都是固定的，通过改变其三方商品ID来获取商品详情参数。

通过改变他的三方商品ID你就可以获取这个页面一些基本数据，像商品的图片和标题什么的都可以轻松获取，而价格因为做了一些相关方面的处理得动态的获取，这里先不做说明，后面慢慢会讲解。

②通过httpclient直接获取这个页面的静态页面

先贴一部分httpclient获取页面工具

通过get()方法就可以获取html页面的String类型数据

二、解析页面获取需要的数据

当你获取到页面的dom对象后，那么下面的操作就非常简单了，你只需要通过操作这个dom对象来获取页面所有的静态资源，动态加载的资源不在此列，后面在做讲解。

先贴一段百度网页的源代码：

在贴上Jsoup自身携带的常用的几个获取dom对象具体元素的方法：

比如说我现在要获取百度首页这个title,那么我们得先确定这玩意在哪，通过查看我们发现它是id=”u”的div标签的一个子元素，那么不管那么多我们先通过这个Id取到这个对象然后在获取这个Title,下面是具体操作

又或者我需要获取页面《手机百度》这个数据：

这就是一个很简单的爬虫编写工具，Jsoup功能很强大，对直接爬取没有动态加载的静态资源页面再适合不过。

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

原文链接：http://blog.csdn.net/smile_miracle/article/details/70677570