复杂HTML解析

#再端一碗BeautifulSoup
#获取《战争与和平》中的人物名字from urllib.request import urlopen
from bs4 import BeautifulSouphtml = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")
bsObj = BeautifulSoup(html,'html.parser')#namelist = bsObj.findAll("span",{"class":"green"})
#for name in namelist:
#    print(name.get_text())

name_number = bsObj.findAll(text='the prince')
print(len(name_number))allText = bsObj.findAll(id="text") #bsObj.findAll(id='text')等价于bsObj.findAll(" ",{"id":"text"})
print(allText[0].get_text())#get_text()会把正在处理的HTML文档中所有的标签都清除，然后返回一个只包含文字的字符串。
#通常在准备打印、存储和操作数据时，应该最后才使用get_text()#BeautifulSoup的find()和findAll()
#其定义如下
#findAll(tag,attributes,recursive,text,limit,keywords)
#find(tag,attributes,recursive,text,keywords)#find等价于findAll的limit等于1时的情形
#如果只对网页中获取的前X项结果感兴趣，就可以设置它
#但是得注意这个参数设置之后，获得的前几项结果是按照网页上的顺序排序的
#未必是想要的那几项#其他BeautifulSoup对象
#1.NavigableSring对象：用来表示标签里的文字
#2.Comment对象：用来查找HTML文档的注释标签，<!-- 文字 -->#子标签和后代标签
from urllib.request import urlopen
from bs4 import BeautifulSouphtml = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html,'html.parser')for child in bsObj.find("table",{"id":"giftList"}).children:print(child)#处理兄弟标签
from urllib.request import urlopen
from bs4 import BeautifulSouphtml = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html,'html.parser')for sibling in bsObj.find('table',{'id':'giftList'}).tr.next_siblings:print(sibling)#父标签处理
from urllib.request import urlopen
from bs4 import BeautifulSouphtml = urlopen('http://www.pythonscraping.com/pages/page3.html')
bsObj = BeautifulSoup(html,'html.parser')
print(bsObj.find("img",{"src":"../img/gifts/img1.jpg"}).parent.previous_sibling.get_text())#正则表达式
#通过商品图片的文件路径查找
from urllib.request import urlopen
from bs4 import BeautifulSoup
import rehtml = urlopen('http://www.pythonscraping.com/pages/page3.html')
bsObj = BeautifulSoup(html,'html.parser')
images = bsObj.findAll("img",{"src":re.compile("\.\.\/img\/gifts/img.*\.jpg")})
for image in images:print(image["src"])