xpath中两个冒号_爬虫学习(5)

之前我们写了一个简单的爬虫，在提取页面信息时我们使用正则表达式来匹配内容，但是正则表达式的书写比较繁琐，而且一旦错误就可能导致匹配失败。对于网页的节点来说，它可以定义id，class或其他的属性，而且节点之间还有层次关系，在网页中可以通过xpath后css选择器来定位一个或多个节点。那么，我们在解析页面时，利用CSS和XPath选择器来定位节点，再调用相关方法来获取其正文内容或属性。本文介绍XPath。

1.XPath概述

XPath的选择功能十分强大，提供了100多个内建函数，用于字符串、数值、时间的匹配和节点、序列的处理。

2.XPath常用规则

nodename          选取此节点的所有子节点
/                 从当前节点选取直接子节点
//                从当前节点选取子孙节点
.                 选取当前节点
..                选取当前节点的父节点
@                 选取属性

这里就是XPath的常用匹配规则，示例如下：

//title[@lang='eng']

这个就表示选择所有名称为title，同时属性lang的值为eng的节点。

3.准备工作

安装好lxml库。

4.实例引入

我们来通过实例来感受一下使用XPath来对网页进行解析的过程。

from lxml import etreetext = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))

这里我们先导入lxml库的etree模块，然后声明一段HTML文本，在调用HTML类进行初始化，这样就成功构造了一个XPath解析对象。我们可以注意到HTML文本中最后一个li节点是没有闭合的，但是etree模块可以自动修正HTML 文本。

我们调用tostring()方法即可输出修正后的HTML代码，但是结果是bytes类型。这里利用decode()方法将其转换为str类型。

我们也可以通过直接读取文件来进行解析。

from lxml import etreehtml = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

其中test.html的内容就是上面的HTML代码。

5.所有节点

我们一般会用//开头的XPath规则来选取所有符合要求的节点。

result = html.xpath('//*')
print(result)

这里使用*来匹配所有节点，也就是整个HTML文本中的所有节点都会被获取，返回形式是一个列表，每个元素都是Element类型，后面跟着节点的名称。

当然，此处匹配也可以指定节点名称。如果想获取所有li节点，如下：

result = html.xpath('//li')
print(result)
print(result[0])

如果我们要取出其中一个对象，可以直接用中括号加索引，如[0]。

6.子节点

我们通过/或//即可查找元素的子节点或子孙节点。假设我们现在想选择li节点的所有直接a节点，可以这样实现：

result = html.xpath('//li/a')

如果想获得所有子孙节点，则可使用//。例如，要获取ul节点下的所有子孙a节点，可以这样实现：

result = html.xpath('//ul//a')

/用于获取直接子节点，//用于获取子孙节点。

7.父节点

我们在上面讲了如何查找子节点或子孙节点，那么加入我们知道了子节点，怎么来查找父节点呢？可以用..来实现。

比如，我们选中属性为link4.html的a节点，然后获取其父节点，然后再获取其class属性。

result = html.xpath('//a[@href="link.html"]/../@class')

同时也可以使用parent::来获取父节点。

result = html.xpath('//a[@href="link.html"]/parent::*/@class')

8.属性匹配

在选取时，我们还可以使用@符号进行属性过滤。比如，这里如果要选取class为item-0的li节点，可以这样实现：

result = html.xpath('//li[@class="item-0"]')

这里我们通过加入[@class="item-0"]，限制了节点的class属性为item-0,而HTML 文本中符合的li节点有两个，所以结果应该返回两个匹配到的元素。

9.文本获取

我们使用XPath中的text()方法获取节点中的文本，接下来尝试获取前面li节点中的文本。

result = html.xpath('//li[@class="item-0"]/text()')

我们运行之后没有获取任何文本。这是为什么呢？因为XPath中text()前面是/，代表选取直接子节点，很明显li节点的直接子节点都是a节点，文本都是在a节点内部的，所以只匹配到被修正的li节点内部的换行符。因为自动修正的li节点的尾标签换行了。即选中的是这两个节点：

<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</li>

因此，如果想获取li节点内部的文本，就有两种方式:一种是先选取a节点再获取文本，另一种是使用//。

result = html.xpath('//li[@class="item-0"]/a/text()')

运行结果为：

['first item', 'fifth item']

这里我们是逐层选取，先选取了li节点，又利用/选取了其直接子节点a。

result = html.xpath('//li[@class="item-0"]//text()')

运行结果为：

['first item', 'fifth item', 'n    ']

这里是选取所有子孙节点的文本，其中两个是li的子节点a节点内部的文本，另外一个就是最后一个li节点内部的文本，即换行符。

10.属性获取

我们使用text()方法获取文本内容，我们也可以用@href来获取节点的href属性。

result = html.xpath('//li/a/@href')

11.属性多值匹配

有时候，某些节点的某个属性有多个值，例如：

from lxml import etreetext = '''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)

这里返回的结果是[],因为li的class属性有两个值li和li-first,此时还想用之前的属性匹配获取就无法匹配了。

这时就需要用contains()函数了，代码如下：

result = html.xpath('//li[contains(@class, "li")]/a/text()')

这样就会得到结果['first item']。

12.多属性匹配

另外，我们还会碰到另一种情况，那就是依据多个属性来确定一个节点，这时就需要同时匹配多个属性，此时我们可以使用运算符and来连接。

from lxml import etreetext = '''
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class, "li") and @name="item"]/a/text()')
print(result)

这里的li节点又增加了一个属性name。要确定这个节点，需要用时根据class和name来选择，中间用and相连，相连之后置于中括号内进行条件筛选。除了and之外还有其他的运算符可以使用。

13.顺序选择

我们在选择的时候某些属性可能已经匹配了多个节点，但是我们只想要其中的某个节点，如第二个节点或者最后一个节点。

from lxml import etreetext = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/a/text()')
print(result)
result = html.xpath('//li[last()]/a/text()')
print(result)
result = html.xpath('//li[position()<3]/a/text()')
print(result)
result = html.xpath('//li[last()-2]/a/text()')
print(result)

第一次选择时，我们选取了第一个li节点，这里在中括号中传入1就可。

第二次选择时，我们选取最后一个li节点，中括号中传入last（）即可。

第三次选择时，我们选取了位置小于3的li节点，运用了position()函数。

第四次选择时，我们选择了都输第三个li节点，中括号中传入last()-2即可。

在Xpath中，提供了100多个函数，包括存取、数值、字符串、逻辑、节点、序列等的处理功能。

14.节点轴选择

XPath提供了许多节点轴选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等，示例如下：

from lxml import etreetext = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/ancestor::*')
print(result)
result = html.xpath('//li[1]/ancestor::div')
print(result)
result = html.xpath('//li[1]/attribute::*')
print(result)
result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)
result = html.xpath('//li[1]/descendant::span')
print(result)
result = html.xpath('//li[1]/following::*[2]')
print(result)
result = html.xpath('//li[1]/following-sibling::*')
print(result)