1. 爬虫分类：
1.1 通用爬虫：例如搜索引擎：无差别的收集数据；提取存储关键字；构建索引库；给用户提供搜索接口。
1.2 聚焦爬虫：有针对性的编写特定领域数据的爬取程序。
2. Robots协议：
指定一个robots.txt文件，告诉爬虫引擎什么可以爬取，什么不可以爬取。君子协议，不受法律保障。
例如：http://www.taobao.com/robots.txt
3. Http请求与响应：
爬取网页就是通过http协议访问网页，通过浏览器是人的行为，将这种行为变成程序行为，就是爬虫。
python里提供了urllib包来处理url，访问网页：
urllib.request # 打开和读写url
urllib.error # 由urllib.request引起的异常
urllib.parse # 解析url
urllib.robotparser # 分析robots.txt文件
(python2里提供了urllib和urllib2：urllib提供较为底层的接口，urllib2对urllib进行了进一步的封装；python3中将urllib和urllib2合并，并只提供了标准库urllib包。)
3.1 urllib.request模块
身份验证、重定向、cookies等应用中打开url(主要是http)的函数和类。
urlopen方法：建立http连接，获取数据。
urlopen(url, data=None)
# url是链接地址字符串或请求对象；data是提交的数据。如果data为None则发起GET请求，如果为非None，发起POST请求；返回http.client.HTTPResponse类的响应对象，是一个类文件对象。
#GET方法：数据通过URL传递，放在HTTP报文的header部分；POST方法：数据放在HTTP报文的body中提交。数据都是键值对形式，多个参数之间通过'&'连接，url和数据之间通过'?'连接。
from urllib.request importurlopen#打开url返回一个响应对象，类文件对象
response = urlopen('http://www.bing.com') #data为None，所以是get方法
print(response.closed) #False。类似于文件对象，不会自动关闭
with response:print(type(response)) #
print(response.status) #状态码200，表示成功。
print(response.reason) #OK
print(response._method) #请求方法：get。_method表示是内部方法
print(response.geturl()) #http://cn.bing.com/?setmkt=zh-CN&setmkt=zh-CN。'http://www.bing.com'链接跳转至的真正url
print(response.info()) #返回headers的信息
print(response.read()) #读取返回的网页内容；字节类型
print(response.closed) #True。说明with方法同文件对象一样会自动关闭。
简述上述过程：通过urllib.request.urlopen方法，发起一个HTTP的GET请求，WEB服务器返回网页内容。响应的数据被封装到类文件对象(response)中。可以通过read、readline、deadlines等方法获取数据，status和reason属性表示返回的状态，info方法返回头信息等。
上述代码可以获得网站的响应数据，但是urlopen方法只能传递url和data参数，不能构造http请求。在python的源码中，User-agent值为Python-urllib/3.6(3.6为对应的python版本号)，因此就能被一些反爬虫的网站识别出来。于是需要更改User-agent值来伪装成浏览器：赋值浏览器的UA值。
Request方法：构建request请求对象，可以修改请求头信息。
Request(url, data=None, headers={})
from urllib.request importRequest, urlopenimportrandom
url= 'http://www.bing.com/' #要访问的url；实际上是自动跳转 301 302#不同浏览器的User-Agent值。切换浏览器的不同的用户代理，查看网络下标头里user-agent值
ua_list = ['Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36','Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 Safari/605.1.15','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299']#ua要添加到请求头中
ua =random.choice(ua_list)#request = Request(url, headers={'User-agent': ua}) # 实现的功能跟下面两行代码是一样的
request =Request(url)
request.add_header('User-Agent', ua)print(type(request)) #
response= urlopen(request, timeout=20) #urlopen传入的参数可以是url对象，也可以是request对象
print(type(response)) #
with response:print(response.status) #200
print(response.getcode()) #200
print(response.reason) #OK
print(response.geturl()) #http://cn.bing.com/
print(response.info()) #header里的信息:包含Cache-Control,Content-Length,Set-Cookies,Connection等字段信息
print(response.read()) #网页html内容
print(request.get_header('User-agent')) #Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0);伪装的浏览器ua值
print('user-agent'.capitalize()) #User-agent;User-agent首字母要大些
3.2 urllib.parse模块
对url进行编码和解码。
urlencode方法：url编码：主要是对post或get方法请求传递的参数编码，与原url结合，使其成为能够被访问的url格式。
urlencode(data) # 传入的data参数需要是字典或者二元组序列
from urllib.parse importurlencode
u1= urlencode({'name': 'danni', 'age': 23})print(u1) #name=danni&age=23;get方法下u的值是以?连接放在url后，post方法下u的值是放在body里
u2= urlencode({'test': 'http://www.taobao.com?name=danni&age=23'})print(u2) #test=http%3A%2F%2Fwww.taobao.com%3Fname%3Ddanni%26age%3D23
从的运行结果我们可以发现：
1.斜杠、&、冒号、等号、问号等都被全部编码了(%之后实际上是单字节十六进制表示的值)。 因为提交的数据中，可能会像上述情况一样有斜杠、等号、问号等特殊符号，但这些字符表示数据，不表示元字符。直接发给服务器端会导致接收方无法判断谁是元字符谁是数据了。因此，将这部分特殊的字符数据也要进行url编码，这样就不会有歧义。
2.中文同样也会被编码，一般先按照字符集的encoding要求将其转换成字节序列，每一个字节对应的十六进制字符串前面加上百分号即可。
unquote方法：url解码
在百度上搜索汉字“中”：网页上呈现出来的url：https://www.baidu.com/s?wd=中；复制粘贴后呈现出的url：https://www.baidu.com/s?wd=%E4%D8%AD
from urllib.parse importurlencode, unquote
u= urlencode({'wd': '中'}) #urlencode对中文的编码
print(u) #wd=%E4%B8%AD
url= 'https://www.baidu.com/s?{}'.format(u)print(url) #https://www.baidu.com/s?wd=%E4%B8%AD
print('中'.encode('utf-8')) #b'\xe4\xb8\xad' utf-8对中文的编码
print(unquote(u)) #wd=中 unquote解码
print(unquote(url)) #https://www.baidu.com/s?wd=中
参与到实际：假设一个场景需求：连接必应搜索引擎，获取一个搜索的URL：http://cn.bing.com/search?q=马哥教育。通过程序代码完成对关键字“马哥教育”的bing搜索，并将返回的结果保存为网页文件。
from urllib.parse importurlencode, unquote
base_url= 'http://cn.bing.com/search' #是http而不是https
d = {'q': '马哥教育'} #注意必应浏览器下是'q'
u= urlencode(d) #q=%E9%A9%AC%E5%93%A5%E6%95%99%E8%82%B2；编码
url = '{}?{}'.format(base_url, u) #?连接url和关键字参数
print(url) #http://cn.bing.com/search?q=%E9%A9%AC%E5%93%A5%E6%95%99%E8%82%B2
print(unquote(url)) #http://cn.bing.com/search?q=马哥教育；解码可以比对看一下是否有错误
from urllib.request importurlopen, Request#伪装成浏览器
ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'req= Request(url, headers={'User-agent': ua}) #构建http请求对象
res = urlopen(req) #传入请求对象，建立http连接，获取数据
with res:
with open('test_python.html', 'wb') as f:
f.write(res.read())#将返回的网页内容写入新文件中
print('success')
上述需求讲的是测试get方法的应用，我们可以用http://httpbin.org/这个测试网站，来测试自己post出去的数据是否能正确返回。
from urllib.request importRequest, urlopenfrom urllib.parse importurlencodeimportsimplejson
request= Request('http://httpbin.org/post') #post
request.add_header('User-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
data= urlencode({'name': '张三!@#$%^&*(,.)', 'age': '6'}) #post的dataurl编码，放在body里。不做url编码有风险
print(data)print(type(data))
d= data.encode() #POST方法传入的需为json格式的Form表单数据
res = urlopen(request, data=d)
with res:
text=res.read()print(text) #包含args,data,files,form,headers等字段的信息；form字段里是post出去的data数据
d = simplejson.loads(text) #bytes转dict
print(d)
到这里，python爬虫的‘伪装成浏览器的请求对象->建立http连接->发起post或get请求->查看响应内容 ’理解和简单应用算是成功告一段落啦～
接下来在下一篇里我们就可以开始简单的豆瓣网站爬虫啦～
)
