java爬虫Jsoup主要类及功能使用详解

一、Jsoup的主要功能
二、Jsoup的主要类

org.jsoup.Jsoup类
org.jsoup.nodes.Document类
org.jsoup.nodes.Element类

三、Jsoup使用

maven引入
加载文档
解析文档
使用选择器获取元素
处理元素数据
操纵HTML和文本
从元素中提取属性，文本和HTML

一、Jsoup的主要功能
Jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

从一个URL，文件或字符串中解析HTML
使用DOM或CSS选择器来查找、取出数据
可操作HTML元素、属性、文本
根据安全的白名单清理用户提交的内容，以防止XSS攻击
输出整洁的HTML

二、Jsoup的主要类

org.jsoup.Jsoup类
Jsoup类是任何Jsoup程序的入口点，并将提供从各种来源加载和解析HTML文档的方法。

static Connection connect(String url)          创建并返回URL的连接。  
static Document parse(File in, String charsetName)  将指定的字符集文件解析成文档。
static Document parse(String html)  将给定的html代码解析成文档。  
static String clean(String bodyHtml, Whitelist whitelist)  从输入HTML返回安全的HTML，通过解析输入HTML并通过允许的标签和属性的白名单进行过滤。

2. org.jsoup.nodes.Document类
该类表示通过Jsoup库加载HTML文档。可以使用此类执行适用于整个HTML文档的操作。
3. org.jsoup.nodes.Element类
HTML元素是由标签名称，属性和子节点组成。使用Element类，您可以提取数据，遍历节点和操作HTML。
三、Jsoup使用
1.maven引入

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.2</version>
</dependency>

2.加载文档

Document document = Jsoup.connect("http://www.yiibai.com").get();
Document document = Jsoup.parse( new File( "D:/temp/index.html" ) , "utf-8" );```
String html = "<html><head><title>First</title></head><body><p>Parsed</p></body></html>";
Document document = Jsoup.parse(html);

3.解析文档

根据id查询元素 getElementById
根据标签获取元素 getElementsByTag
根据class获取元素 getElementsByClass
根据属性获取元素 getElementsByAttribute

// 解析文件，获取doc对象
Document doc = Jsoup.parse(new File("C:\\Users\\myqxin\\Desktop\\set.html"), "utf8");
// 1，根据id查询元素 getElementById
Element element1 = doc.getElementById("people");
// 2，根据标签获取元素 getElementsByTag
Element element2 = doc.getElementsByTag("span").first();
// 3，根据class获取元素 getElementsByClass
Element element3 = doc.getElementsByClass("").first();
// 4，根据属性获取元素 getElementsByAttribute
Element element4 = doc.getElementsByAttribute("").last();
// 根据属性和属性值获取 Element element5 = doc.getElementsByAttributeValue("abc","123").last();

4.使用选择器获取元素
selector选择器概述

tagname：通过标签查找元素，比如：span
#id：通过ID查找元素，比如：#myqxin
.class：通过class名称查找元素，比如：class_a
[attribute]：利用属性查找元素，比如：[abc]
[attr=value]：利用属性值查询元素，比如：[class=s_name]
ns|tag: 通过标签在命名空间查找元素，比如：可以用 fb|name 语法来查找 fb:name 元素
[attr^=value], [attr$=value], [attr*=value]: 利用匹配属性值开头、结尾或包含属性值来查找元素，比如：[href*=/path/]
[attr~=regex]: 利用属性值匹配正则表达式来查找元素，比如： img[src~=(?i).(png|jpe?g)]
*: 这个符号将匹配所有元素

Selector选择器组合使用

el#id: 元素+ID，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class，比如： a[href]
任意组合，比如：a[href].highlight
ancestor child: 查找某个元素下子元素，比如：可以用.body p 查找在"body"元素下的所有 p元素
parent > child: 查找某个父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body标签下所有直接子元素
siblingA + siblingB: 查找在A元素之前第一个同级元素B，比如：div.head + div
siblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h2 ~ p
el, el, el:多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo

伪选择器selectors