今天给大家介绍一个有趣的新技术——爬虫。首先来讲一下啥是爬虫。
爬虫也叫网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。通俗的来讲，爬虫就是一段程序，它来根据你的设定自己去互联网上浏览网页并把这些信息下载下来，然后在从中提取出有用的信息。这些信息可以用在做数据分析、数据统计等等。
接下来我会用通俗的语言来讲解爬虫技术，这些都是基于我个人的理解所写的，水平有限，若有不对的地方请指正。
我们平常浏览的众多网站都是有对应的源代码的。如果你有兴趣，可以用你电脑的任意浏览器打开一个网站，然后按一下F12试试。此时你会看到：网页里所有的文字、图像、声音等等一切元素，都是由HTML源码编排而成。你打开的这个窗口其实就是网页源码的调试窗口，当你试着用鼠标在那些源码上移动时，你会发现每移动到一个地方，网页便会有对应的地方高亮起来。也就是说，当我们把这些被高亮的元素的源码下载下来并解析出来，我们便获取了这些元素。这便是爬虫程序要干的事儿。
既然我们需要下载源码，那我们首要的便是访问这个网站。这里会出现一些问题：因为有些网站有反爬虫技术，它会识别出你是爬虫程序，并中断你的访问甚至是封锁你的IP地址。这其中一个应对方法就是我们的爬虫程序里一定要写好HTTP请求头。HTTP请求头是当你正常用浏览器打开网页时，浏览器向网络服务器发送的一些配置信息和属性。我们就是用这个HTTP请求头来伪装成人类访问用户，以防止被服务器屏蔽。
如何构造合理的 HTTP请求头？
请求头可以通过“requests”模块自定义，例如
headers = {'User-Agent' :
'Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D)'
' AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19'}
headers = {'User-Agent': 'Chrome/68.0.3440.106',
'Accept-Encoding': 'gzip, deflate',
'Accept': '*/*',
'Connection': 'keep-alive',
'Content-Length': '18',
'Content-Type': 'application/x-www-form-urlencoded'}
经我亲身测试发现，HTTP请求头包含的这些内容里最为重要的是“User-Agent“这个参数。我们在设置请求头时，其实只需要设置好它就足够了。除了以上这个设置方法，还有一个较为简单的办法，那就是用python的fake_useragent模块来设置，示例代码如下：
#调用模块的UserAgent类方法
from fake_useragent import UserAgent
#实例化类方法
user_agent = UserAgent()
#选择chrome浏览器为User-Agent的值
headers = {'User-Agent':user_agent.chrome}
#选择ie浏览器为User-Agent的值
headers = {'User-Agent':user_agent.ie}
#选择firefox浏览器为User-Agent的值
headers = {'User-Agent':user_agent.firefox}
#随机选择一款浏览器为User-Agent的值
headers = {'User-Agent':user_agent.random}
请求头设置完之后，我们便可以进行下一步关键性的操作——爬取指定网页信息。
如何爬取指定网页的信息？
这次我们用到了requests模块中的get方法，requests.get(url , headers)。通过给get方法传递网址参数url和Http头信息headers便可以接收到网站的响应response，这个response里包含着整个网页的全部源代码。这里我们应该在代码中写好各种可能发生的情况，以此来提高代码运行时的稳定性，防止崩溃。示例代码如下：
from requests.exceptions import ReadTimeout
try:
response = requests.get(url, headers=headers, timeout=0.5)
if response.status_code == 200:
return response.text
return 404
except ReadTimeout:
print('timeout')
except Exception as e:
print(e)
示例中用的是python的异常处理标识符——try、except。首先导入了requests模块中的异常处理类型ReadTimeout，用来处理网站访问超时响应问题。其次Exception用来处理其他常规的问题。然后在判断response参数的status_code的值是否是200，这个值是200说明服务器响应成功了，如果不是，则返回404代码。表示404 NotFound服务器响应失败。到这一步，我们便完成了爬取网页信息的工作，接下来就是从这些网页代码里分析和获取有用信息。
如何从网页源码中获取有用的信息？
这里我们会用到re模块的两个方法，一个是re.findall( 模式(正则表达式), 目标字符串)，返回值为list类型，另一个是re.sub(要替换的字符，替换后字符，目标字符串，替换个数)，返回值为str类型。re.findall函数是通过指定的正则表达式来匹配出需要的HTML源码，一般情况下是匹配源码中的div容器，也就是类似“
import re
response = """
partten = r'
data = re.findall(partten, response,)
print(data)
data_clean = re.sub(r'|', '', data[0])
print(data_clean)
输出结果为
['太阳是太阳 系的中心天体，占有太阳系总体质量的99.86%。']
太阳是太阳系的中心天体，占有太阳系总体质量的99.86%。
第一行是findall函数的输出结果。从内容上看，我们已经获取了div容器里的内容，但是很明显，这里面掺杂着其他的标记语言和。于是第二步sub函数将其中的和标签替换成了空字符串。这行输出结果便是我们所需要的有用信息。
下面我们来尝试爬取京东官网的手机图片，以下是源码
import urllib.request
import re
from fake_useragent import UserAgent
import requests
from requests.exceptions import ReadTimeout
import os
user_agent = UserAgent()
headers = {
"User-Agent": user_agent.chrome,
}
def get_html(url, req=None):
if req:
url = url + req
else:
url = url
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
#print(response.text)
return response.text
return 404
except ReadTimeout:
print('timeout404')
except Exception as e:
print(e)
def get_request(response):
if response == 404:
return '服务器响应失败！'
else:
try:
partten = r''
data = re.compile(partten).findall(response)
return data
except IndexError:
print('未搜到有用信息')
def output(data):
if not os.path.exists('texts'):
os.mkdir('texts')
for index, inf in enumerate(data):
image_url = 'https://' + inf
image_byte = requests.get(url=image_url, headers=headers).content
with open("./texts/{}.jpg".format(index),'wb') as f:
f.write(image_byte)
print('\n第{}张图片已下载保存成功...'.format(index))
print('\n总共{}张图片已成功下载至texts文件夹中'.format(len(data)))
def main(req):
url = 'https://list.jd.com/list.html?cat=9987,653,655&page='
html = get_html(url, req)
data = get_request(html)
output(data)
if __name__ == '__main__':
req = input('请输入要下载的页码: ')
main(req)
程序运行之后，我们按照提示输入页码，程序便开始下载图片
下载完成之后，我们打开指定的文件夹查看一下效果
大功告成！
...)
