bs4解析-HTML语法
bs4解析比较简单,但是呢,首先你需要了解一丢丢的html知识,然后再去使用bs4去提取,逻辑和编写难度就会非常简单和清晰.
HTML(Hyper Text Markup Language)超文本标记语言,是我们编写网页的最基本也是最核心的一种语言.其语法规则就是用不同的标签对网页上的内容进行标记,从而使网页显示出不同的展示效果
<h1>
我爱你
</h1>
上述代码的含义是在页面中显示“我爱你"三个字,但是我爱你三个字被"<h1>"和"</h1>"标记了.白话就是被括起来了被H1这个标签括起来了,这个时候,浏览器在展示的时候就会让我爱你变粗变大,俗称标题,所以HTML的语法就是用类似这样的标签对页面内容进行标记,不同的标签表现出来的效果也是不一样的.
h1一级标题
h2:二级标题
p:段落
font:字体(被废弃了，但能用)
body:主体
比如：
<h1>i love you</h1>
<h1 align="center'>i don't love you</h1>
# h1: 标签
# align:属性
# center:属性值<标签 属性=“属性值">被标记的内容</标签>
<标签:/><imgsrc=''xxx.jpg"/>
<br />
<a href="http://www.baidu.com">周杰伦</a>总结，
html语法:
<标签 属性="值” 属性="值">
被标记的内容
</标签>
有了这些知识,我们再去看bs4就会得心应手了.因为bs4就是通过标签和属性去定位页面上的内容的.
<div id="1'class="h1">周杰伦</div>
<div id="2"class="h1">林俊杰</div>
<div id="3"class='h1'>麻花藤</div>
<div id="4"class='h1">天老鸭</div>
<div id="5"class="h4">李多海</div>
<div id="5"class="h5">厉害多</div>
<span>xxxxx</span># 通过标签名称来拿到数据
# div -> id:3 => 麻花藤
#div-> class:h4=> 李多海
bs4
安装
pip install beautifulsoup4
Beautiful soup 简介
Beautiful Soup 是一个用于从 HTML和 XML 文件中提取数据的 Python 模块。Beautiful Soup 提供一些简单的函数用来处理导航、搜索、修改分析树等功能。Beautiful Soup 模块中的查找提取功能非常强大，而且非常便捷。Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 UTF-8 编码。
使用：
Tag 通俗点讲就是 HTML 中的一个个标签。
<html>
<head)<title>百度</title>
</head>
<body><a class="item" href="https://www. baidu. com" id="baidu">百度</a><p class="story"><b〉百度一下，你就知道</b></p><p class="introduce”>全球最大的中文搜索引擎、致力于让网民更便捷地获取</p>
</body>
</html>上面的 head、title、body、a和p等HTML标签，以及里面包括的内容都是 Tag。
使用 Beautiful soup 获取节点对应的代码:
#创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features='lxml’)
print('head节点内容为:\n'，soup.head)# 打印head节点
print('title节点内容为:\n'，soup.title) # 打印title节点
print('body节点内容为\:n'，soup.body) # 打印body节点
print('a节点内容为:\n'，soup.a) # 打印a节点
print('p节点内容为:\n’，soup.p) # 打印p节点使用 Beautiful soup 获取节点名称:
除了通过指定节点名称的方式获取节点内容以外，还可以使用name属性获取节点的名称。关键代码如下:
print(soup.head.name) # 打印head节点名称
print(soup.title.name) # 打印title节点名称
print(soup.body.name) # 打印body节点名称
print(soup.a.name) # 打印a节点名称
print(soup.p.name) # 打印p节点名称使用 Beautiful soup 获取节点属性:
调用 attrs 属性即可获取这个节点下的所有属性。关键代码如下:
print('a节点中属性',soup.a.attrs) #打印a节点属性
print('p节点中属性',soup.p.attrs) #打印p节点属性使用 Beautiful soup 获取节点属性:
attrs 的返回结果为字典类型，字典中的元素分别是属性名称与对应的值。所以在 attrs后面添加0括号并在括号内添加属性名称即可获取指定属性对应的值。关键代码如下:
print('a节点中id属性对应的值',soup.a.attrs['id’]) # 打印a节点中id属性对应的值
print('p节点中class属性对应的值',soup.p.attrs['class’])#打印p节点中class属性对应的值Beautiilsoup对象表示的是一个文档的内容。大部分时候，可以把它当作 Tag对象，是一个特殊的 Tag，我们可以分别获取它的类型、名称以及属性。关键代码如下:
print(type(soup)) #打印数据类型
print(soup.name) #打印名称
print(soup.attrs) #打印属性Comment对象是一个特殊类型的 NavigableString对象，其输出的内容不包括注释符号.
from bs4 import BeautifulSoup #导BeautifulSoup库#创建模拟HTML代码的字符串
html_doc =’<b><!--百度一下，你就知道--></b>
#创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features=’lxml’)
comment=soup.b.string #获取b节点所包含的文本内容
print(comment) #打印b节点所包含的文本内容
print(type(comment)) #打印数据类型实例：
import requests
from bs4 import BeautifulSoup
import csvurl ="http://www,xinfadi,com.cn/marketanalysis/0/list/1.shtml"
resp = requests.get(url)f = open("菜价.csv", mode="w")
csvwriter = csv.writer(f)# 解析数据
# 1.把页面源代码交给BeautifulSoup进行处理，生成bs对象page = BeautifulSoup(resp.text，"html.parser") # 指定html解析器# 2.从bs对象中查找数据
# find(标签，属性=值),返回一个
# find _all(标签，属性-值)，返回一堆
# table = page.find("table", class_="hq_table") #class是python的关键字
table = page.find("table", attrs={"class": "hq_table"}) # 和上一行是一个意思
#拿到所有数据行
trs = table.find_all("tr")[1:]
for tr in trs: # 每一行tds = tr.find_all("td") # 拿到每行中的所有tdname = tds[0].text # .text 表示拿到被标签标记的内容low = tds[1].text # .text 表示拿到被标签标记的内容avg = tds[2].text # .text 表示拿到被标签标记的内容high = tds[3].text # .text 表示拿到被标签标记的内容gui = tds[4].text # .text 表示拿到被标签标记的内容kind = tds[5].text # .text 表示拿到被标签标记的内容date = tds[6].text # .text 表示拿到被标签标记的内容
print(name,low,avg,high,gui,kind,date))
![[python学习]--使用相对路径导入包](http://pic.xiahunao.cn/[python学习]--使用相对路径导入包)
 FusionServer 定制版)
