爬虫（Scrapy）:写一段程序代码（网络访问），自动获取网页（网络）上的数据服务端语言：网络编程，都可以作为爬虫java c c++ python 等均可写爬虫程序js不是一个典型的服务端程序，js-->node.js也可以做网络爬虫python语言更高级，使用更便捷，库更丰富，代码量更少c:100行 java:50行 python:5行本身这是一个简单的问题，就是网络访问+数据解析但是，目前爬虫也逐渐演变成一门较为复杂的技术场景：客户一直在尝试去爬；服务器一直在不断升级，反爬虫。客户端---服务端不断较量为什么服务器要进行反爬虫：@1数据安全 @2并发问题，造成网站拥堵爬虫的业务场景：
简单---》困难@1 直接访问网页，就能获取数据@2 数据不在网页上，而是需要通过查找数据接口，得到数据（服务器使用的是前后端分离模式开发）@3 数据既不在网页上，也没有找到合适的数据接口，通过selenium自动化测试手段，获取数据@4 服务端设置了各种验证手段，阻止爬虫数据（验证码、密码、拖动验证、单击验证等）
java实现网络访问的第三方的jar包java\c中有socket编程，是底层网络访问技术的语言支持，但是直接使用，会显得繁琐很多第三方的公司对功能进行封装，生成jar包，使用这些jar会更方便。python实现网络访问的第三方库：python有socket编程，是底层网络访问技术的语言支持，但是直接使用，会显得繁琐很多第三方公司对功能进行封装，生成库，使用这些库会更方便。requests、beautifulsoup4、lxml等库
使用第三方库之前，需要安装 这些库
（检测一下有没有这些库）【安装anaconda时，已经将一些常用库安装了】安装第三方库，在dos窗口直接输入pip指令即可，安装完anaconda时默认安装了pip
可能需要配置一下环境变量【百度自行解决】
pip install xxx
xxx为库名
库的位置都是在国外服务器上，所以整个过程会显得有些慢，
在安装时其实可以通过-i,来指定国内服务器镜像，安装速度会快一些。
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
使用request 第三方库，来进行网络访问
import requests# 伪装成浏览器# 在请求头中添加 user-agent
tou = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"}# 访问地址，得到响应
resp = requests.get('https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?type=',headers=tou);ct = resp.content.decode('utf-8');# 80%以上均为utf-8print(ct) # 打印就是得到的整个网页，html页面
# 解析html数据，得到我们想要的那些部分的内容
beautifulsoup库解析HTML页面，查询目标数据
from bs4 import BeautifulSoup
# 将html网页，转换为BeautifulSoup对象
bs = BeautifulSoup(ct,'lxml'); # 不要把l,看成了1# 从bs中查找 想要的数据【css选择器】#css选择器#标签、class、id等几种类型#作用：定位页面元素# 通过css选择器，来定位包含目标数据的那些页面元素sa = bs.select('.subject-item .info h2 a');# 较为重要的一步同，需要程序员认真编写
print(len(sa)) # 20个标签
20
#获取标签的属性/标签的内容
#sa是一个集合，先取第一个元素（第一本书）的名字
bookname = sa[0].get_text(); #get_text()函数作用是获取标签的内容
print(bookname.replace(' ','').replace('\n',''))
太白金星有点烦
#1、打印全部的20本书的书名
for i in range(len(sa)):bookname = sa[i].get_text(); #get_text()函数作用是获取标签的内容print(bookname.replace(' ','').replace('\n',''))
太白金星有点烦
长安的荔枝
额尔古纳河右岸
繁花
明亮的夜晚
活着
我们八月见
十八岁出门远行
名侦探的献祭:人民教会杀人事件
秋园
豆子芝麻茶:和妈妈的最后絮叨
巴别塔
一句顶一万句
绝叫
生死疲劳
悉达多:一首印度的诗
长夜难明:双星
在细雨中呼喊
六个说谎的大学生
三体:“地球往事”三部曲之一
#2、在打印书名时，打印每本书的价格
sc = bs.select('.subject-item .info .pub')
for i in range(len(sa)):bookname = sa[i].get_text(); #get_text()函数作用是获取标签的内容bookprice = sc[i].get_text();print(bookname.replace(' ','').replace('\n',''),' ',bookprice.replace(' ','').replace('\n','').split('/')[-1].replace('元',''))
太白金星有点烦 45.00
长安的荔枝 45.00
额尔古纳河右岸 32.00
繁花 48.00
明亮的夜晚 52
活着 20.00
我们八月见 39.00
十八岁出门远行 45
名侦探的献祭:人民教会杀人事件 59.00
秋园 38.00
豆子芝麻茶:和妈妈的最后絮叨 39.8
巴别塔 98.00
一句顶一万句 68.00
绝叫 58.00
生死疲劳 69.90
悉达多:一首印度的诗 32.00
长夜难明:双星 65.00
在细雨中呼喊 25.00
六个说谎的大学生 45.00
三体:“地球往事”三部曲之一 23.00
)
