文章目录
- 一、XPath
- 1. 选取节点
- 2. 查找某个特定的节点或者包含某个指定的值的节点
- 3. XPath 运算符
- 4. 节点轴
- 5. 利用 lxml 使用 XPath
- 二、CSS
- 三、Beautiful Soup
- 1. 信息提取
- 2. 嵌套选择
- 3. 关联选择
- 4. 方法选择器
- 5. css 选择器
- 四、PyQuery
- 1. 初始化
- 2. css 选择器
- 3. 信息提取
- 4. 节点操作
- 五、Parsel
- 1. XPath 和 CSS 选择器
- 2. 信息提取
- 3. 正则提取
一、XPath
XPath 的全称 XML Path Language，即 XML 路径语言，用来在 XML 文档中查找信息，同样适用于 HTML 文档的搜索；
1. 选取节点
| 表达式 | 描述 |
|---|---|
| //* | 选取所有节点 |
| / | 取子节点 |
| // | 取子孙节点 |
| . | 选取当前节点 |
| … | 选取当前节点的父节点 |
| /@href | 选取节点的href属性 |
| /[@class=“item”] | 选择 class 为 item 的子节点 |
| /text() | 获取文本 |
| //[contains(@class, “li”)] | 选择 class 中包含 li 的子节点 |
| //[contains(@class, “li”) and contains(@class, “ll”)] | 选择 class 中包含 li 和 ll 的子节点 |
| //[contains(@class, “li”) and @name=“item”] | 选择 class 包含 li 且 name 属性为 item 的节点 |
| //[contains(text(), “内容”] | 选择文本中包含内容的节点 |
| //th[@class="id " and position()=1] | 选择 class 为 id 的第一个位置的 th 节点 |
| //div[(text()=‘更新’)] | 选择文本为 更新 的 div 节点 |
2. 查找某个特定的节点或者包含某个指定的值的节点
| 路径表达式 | 结果 |
|---|---|
| /bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
| /bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
| /bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
| /bookstore/book[position()❤️] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
| //title[@lang=‘eng’] | 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。 |
| /bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。 |
| /bookstore/book[price>35.00]//title | 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。 |
3. XPath 运算符
| 运算符 | 描述 | 实例 | 返回值 |
|---|---|---|---|
| | | 计算两个节点集 | //book | //cd | 返回所有拥有 book 和 cd 元素的节点集 |
| + | 加法 | 6 + 4 | 10 |
| - | 减法 | 6 - 4 | 2 |
| * | 乘法 | 6 * 4 | 24 |
| div | 除法 | 8 div 4 | 2 |
| = | 等于 | price=9.80 | 如果 price 是 9.80，则返回 true。 如果 price 是 9.90，则返回 false。 |
| != | 不等于 | price!=9.80 | 如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。 |
| < | 小于 | price<9.80 | 如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。 |
| <= | 小于或等于 | price<=9.80 | 如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。 |
| > | 大于 | price>9.80 | 如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。 |
| >= | 大于或等于 | price>=9.80 | 如果 price 是 9.90，则返回 true。 如果 price 是 9.70，则返回 false。 |
| or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80，则返回 true。 如果 price 是 9.50，则返回 false。 |
| and | 与 | price>9.00 and price<9.90 | 如果 price 是 9.80，则返回 true。 如果 price 是 8.50，则返回 false。 |
| mod | 计算除法的余数 | 5 mod 2 | 1 |
4. 节点轴
| 轴名称 | 结果 |
|---|---|
| ancestor:: | 选取当前节点的所有先辈（父、祖父等）。 |
| ancestor-or-self:: | 选取当前节点的所有先辈（父、祖父等）以及当前节点本身。 |
| attribute:: | 选取当前节点的所有属性。 |
| child:: | 选取当前节点的所有子元素。 |
| descendant:: | 选取当前节点的所有后代元素（子、孙等）。 |
| descendant-or-self:: | 选取当前节点的所有后代元素（子、孙等）以及当前节点本身。 |
| following:: | 选取文档中当前节点的结束标签之后的所有节点。 |
| following-sibling:: | 选取当前节点之后的所有兄弟节点 |
| namespace:: | 选取当前节点的所有命名空间节点。 |
| parent:: | 选取当前节点的父节点。 |
| preceding:: | 选取文档中当前节点的开始标签之前的所有节点。 |
| preceding-sibling:: | 选取当前节点之前的所有同级节点。 |
5. 利用 lxml 使用 XPath
from lxml import etreetext = 'html 代码'
html = etree.HTML(text) # 会自动修正 HTML 代码
result = html.xpath('xpath 选择器')
二、CSS
| 选择器 | 示例 | 示例说明 |
|---|---|---|
| .class | .intro | 选择所有class="intro"的元素 |
| #id | #firstname | 选择所有id="firstname"的元素 |
| * | * | 选择所有元素 |
| element | p | 选择所有<p>元素 |
| element,element | div,p | 选择所有<div>元素和 <p> 元素 |
| element.class | p.hometown | 选择所有 class=“hometown” 的<p> 元素 |
| element element | div p | 选择<div>元素内的所有<p>元素 |
| element>element | div>p | 选择所有父级是<div> 元素的 <p> 元素 |
| element+element | div+p | 选择所有紧跟在 <div> 元素之后的第一个 <p> 元素 |
| [attribute] | [target] | 选择所有带有target属性元素 |
| [attribute=value] | [target=-blank] | 选择所有使用target="-blank"的元素 |
| [attribute~=value] | [title~=flower] | 选择标题属性包含单词"flower"的所有元素 |
| [attribute|=language] | [lang|=en] | 选择 lang 属性等于 en，或者以 en- 为开头的所有元素 |
| :link | a:link | 选择所有未访问链接 |
| :visited | a:visited | 选择所有访问过的链接 |
| :active | a:active | 选择活动链接 |
| :hover | a:hover | 选择鼠标在链接上面时 |
| :focus | input:focus | 选择具有焦点的输入元素 |
| :first-letter | p:first-letter | 选择每一个<p>元素的第一个字母 |
| :first-line | p:first-line | 选择每一个<p>元素的第一行 |
| :first-child | p:first-child | 指定只有当<p>元素是其父级的第一个子级的样式。 |
| :before | p:before | 在每个<p>元素之前插入内容 |
| :after | p:after | 在每个<p>元素之后插入内容 |
| :lang(language) | p:lang(it) | 选择一个lang属性的起始值="it"的所有<p>元素 |
| element1~element2 | p~ul | 选择p元素之后的每一个ul元素 |
| [attribute^=value] | a[src^=“https”] | 选择每一个src属性的值以"https"开头的元素 |
| [attribute$=value] | a[src$=“.pdf”] | 选择每一个src属性的值以".pdf"结尾的元素 |
| [attribute*=value] | a[src*=“runoob”] | 选择每一个src属性的值包含子字符串"runoob"的元素 |
| p:firs-of-type | p:first-of-type | 选择每个p元素是其父级的第一个p元素 |
| :last-of-type | p:last-of-type | 选择每个p元素是其父级的最后一个p元素 |
| :only-of-type | p:only-of-type | 选择每个p元素是其父级的唯一p元素 |
| :only-child | p:only-child | 选择每个p元素是其父级的唯一子元素 |
| :nth-child(n) | p:nth-child(2) | 选择每个p元素是其父级的第二个子元素 |
| :nth-last-child(n) | p:nth-last-child(2) | 选择每个p元素的是其父级的第二个子元素，从最后一个子项计数 |
| :nth-of-type(n) | p:nth-of-type(2) | 选择每个p元素是其父级的第二个p元素 |
| :nth-last-of-type(n) | p:nth-last-of-type(2) | 选择每个p元素的是其父级的第二个p元素，从最后一个子项计数 |
| :last-child | p:last-child | 选择每个p元素是其父级的最后一个子级。 |
| :root | :root | 选择文档的根元素 |
| :empty | p:empty | 选择每个没有任何子级的p元素（包括文本节点） |
| :target | #news:target | 选择当前活动的#news元素（包含该锚名称的点击的URL） |
| :enabled | input:enabled | 选择每一个已启用的输入元素 |
| :disabled | input:disabled | 选择每一个禁用的输入元素 |
| :checked | input:checked | 选择每个选中的输入元素 |
| :not(selector) | :not§ | 选择每个并非p元素的元素 |
| ::selection | ::selection | 匹配元素中被用户选中或处于高亮状态的部分 |
| :out-of-range | :out-of-range | 匹配值在指定区间之外的input元素 |
| :in-range | :in-range | 匹配值在指定区间之内的input元素 |
| :read-write | :read-write | 用于匹配可读及可写的元素 |
| :read-only | :read-only | 用于匹配设置 “readonly”（只读） 属性的元素 |
| :optional | :optional | 用于匹配可选的输入元素 |
| :required | :required | 用于匹配设置了 “required” 属性的元素 |
| :valid | :valid | 用于匹配输入值为合法的元素 |
| :invalid | :invalid | 用于匹配输入值为非法的元素 |
三、Beautiful Soup
Beautiful Soup 支持的解析器有四种： html.parser，lxml，lxml-xml，html5lib
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup,“html.parser”) | 1 Python的内置标准库 2 执行速度适中 3 文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup,“lxml”) | 1.速度快 2.文档容错能力强 | 需要安装C语言库 |
| lxml XML 解析器 | BeautifulSoup(markup,[“lxml-xml”]) | 1.速度快 2.唯一支持XML的解析器 | 需要安装C语言库 |
| html5lib | BeautifulSoup(markup,“html5lib”) | 1 最好的容错性 2以浏览器的方式解析文档 3生成HTML5格式的文档 | 1.速度慢 2.不依赖外部扩展 |
from bs4 import BeautifulSouphtml = 'html 文本'
soup = BeautifulSoup(html, 'lxml')
soup.prettify() # 可以将杂乱的 html 文本格式化，soup对于不标准的 HTML 字符串，自动更正格式，与prettify 无关；
1. 信息提取
soup.tagname 得到的结果是 bs4.element.Tag 类型，而 bs4.element.Tag 可以调用 string，name，attrs 获取 Tag 的信息；
soup.title # 选择 soup 下的第一个 title tag节点
soup.title.string # soup 下第一个 title tag节点的文本
soup.title.get_text() # soup 下第一个 title tag节点的文本
soup.title.name # soup 下第一个 title tag节点的名称 即title
soup.title.attrs # soup 下第一个 title tag 节点的attrs 是一个字典
2. 嵌套选择
bs4.element.Tag 类型在继续调用 tagname 后得到的仍然是 bs4.element.Tag 类型，因此我们可以嵌套获取信息
soup.head.title.string # 获得 soup 下第一个 head 下第一个 title 的 string
3. 关联选择
选取节点后，如果想要获取它的直接子节点，可以调用 contents 属性，实例如下
from bs4 import BeautifulSouphtml = 'html 文本'
soup = BeautifulSoup(html, 'lxml')soup.p.contents # 获得直接子节点
soup.p.children # 等价于 soup.p.contentssoup.p.descendants # 获得所有的子孙节点soup.p.parent # 获得p节点的父节点soup.p.parents # 获取p节点所有祖先节点soup.next_sibling # 获取节点的下一个兄弟节点soup.previous_sibling # 获取节点的上一个兄弟节点soup.next_siblings # 获取节点的后面的所有兄弟节点soup.previous_siblings # 获取节点的前面的所有兄弟节点
4. 方法选择器
# 选择所有 tag 为 li，属性 id 为 list，text 中包含 link 的节点
soup.find_all(name='li', attrs={'id':'list'}, text=re.compile('link'))# 选择第一个 tag 为 li，属性 id 为 list，text 中包含 link 的节点
soup.find(name='li', attrs={'id':'list'}, text=re.compile('link'))
- find_parents 和 find_parent：前者返回所有的祖先节点，后者返回父节点；
- find_next_siblings 和 find_next_sibling：前者返回后面的所有兄弟节点，后者返回前面第一个兄弟节点；
- find_previous_siblings 和 find_previous_sibling：前者返回前面的所有兄弟节点，后者返回后面第一个兄弟节点；
- find_all_next 和 find_next：前者返回节点后面所有符合要求的节点，后者返回后面第一个符合要求的节点；
- find_all_previous 和 find_previous：前者返回节点前面所有符合条件的节点，后者返回前面第一个符合要求的节点；
5. css 选择器
利用 soup.select(‘css选择器’) 来选择 tag，利用 select 返回的结果一定是一个列表
from bs4 import BeautifulSoupsoup = BeautifulSoup(html, 'lxml')
soup.select('li')
四、PyQuery
1. 初始化
from pyquery import PyQuery# 字符串的初始化
html = "文档字符串"
doc = PyQuery(html)# url的初始化
doc = PyQuery(url='url 地址')# 文件的初始化
doc = PyQuery(filename='index.html')
2. css 选择器
使用起来非常简单，直接 doc(‘css选择器’)
from pyquery import PyQuerydoc = PyQuery(url='https://www.baidu.com')
for i in doc('div').items():# 解决编码问题print(i.html().encode('raw_unicode_escape').decode('utf-8', errors='ignore'))
3. 信息提取
- attr：当返回结果包含多个节点时，调用 attr 方法只会得到第一个节点的属性，若要得到所有则需要使用 items() 遍历；
- html：返回的是 第一个节点内部的纯文本信息；
- text：返回的是所有节点内部的纯文本信息；
from pyquery import PyQueryhtml = ''
doc = PyQuery(html)
a = doc('a')# 获取属性
a.attr('href')
a.attr.href# 获取文本
a.html()
a.text()
4. 节点操作
PyQuery 库提供了一系列方法对节点进行动态修改，例如为某个节点添加一个 class，移除某个节点等等，有时候这些操作会为提取信息带来极大的便利；
li = doc('li')# 移除/添加 class 中 active 值
li.removeClass('active')
li.addClass('active')# 获取 name 属性的值
li.attr('name')# 修改 name 属性的值 为 'link'
li.attr('name', 'link')# 获取纯文本
li.text()# 改变纯文本
li.text('hello')# 获取纯html
li.html()# 改变html
li.html('html文本')
五、Parsel
Parsel 库可以解析 HTML 和 XML ，并支持使用 XPath 和 CSS 选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能，parsel 是 Python 最流行的爬虫框架 Scrapy 的底层支持；
1. XPath 和 CSS 选择器
from parsel import Selectorhtml = ''
selector = Selector(text=html)# css
items = selector.css('css选择器')
# xpath
items = selector.xpath('xpath选择器')
2. 信息提取
- get：从 selectorlist 对象中提取第一个 Selector 对象，然后输出其中的结果
- getall：从 selectorlist 对象中提取所有的 Selector 对象，然后以列表的形式输出其中的结果
# 提取文本
selector.css('css选择器::text()').get()
selector.css('css选择器::text()').getall()
selector.xpath('xpath//text()').get()
selector.xpath('xpath//text()').getall()# 提取属性
selector.css('css选择器::attr(name)').get()
selector.css('css选择器::attr(href)').getall()
selector.xpath('xpath/@name()').get()
selector.xpath('xpath/@href()').getall()
3. 正则提取
- 如果选择器中是属性或者文本，那么 re 对属性或者文本进行匹配
- 如果选择器中不是属性和文本，那么 re 对该节点的 html 字符进行匹配
from parsel import Selectorhtml = ''
selector = Selector(text=html)
result = selector.css('css选择器').re('a.*')
result = selector.xpath('xpath').re('a.*')result = selector.css('css选择器').re_first('a.*')
result = selector.xpath('xpath').re_first('a.*')
