前言

之前学习北京理工嵩天老师的《Python网络爬虫与信息提取》时，爬取亚马逊的一款图书的详细信息时出现以下错误：

![Upload 亚马逊爬虫.PNG failed. Please try again.]

查看请求信息，发现我们一般写的爬虫会默认告诉服务器自己发送了一个Python爬取请求，而一般网站是不允许被爬虫访问的，估计是因为会涉及到商业问题。最后，通过更改User-Agent字段就可以轻易骗过该网站。

那么User-Agent到底是什么呢？

User-Agent会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。

又该如何使用呢？

调试工具

最简单的方法就是按照下面步骤进行

打开你要爬虫的网页

按键盘的F12或手动去浏览器右上角的“更多工具”选项选择开发者工具

按键盘的F5刷新网页

点击Network，再点击Doc

点击Headers，查看Request Headers的User-Agent字段，直接复制

将刚才复制的User-Agent字段构造成字典形式

什么？你想搞懂这个User-Agent字段，然后自己构建。

User-Agent字段解释

简要版解释：

我用的Chrome浏览器，查看User-Agent的结果：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3100.0 Safari/537.36

User-Agent通常格式：

Mozilla/5.0 (平台) 引擎版本 浏览器版本号

第一部分：Mozilla/5.0

由于历史上的浏览器大战，当时想获得图文并茂的网页，就必须宣称自己是 Mozilla 浏览器。此事导致如今User-Agent里通常都带有Mozilla字样，出于对历史的尊重，大家都会默认填写该部分。

第二部分：平台这部分可由多个字符串组成，用英文半角分号分开

Windows NT 10.0是指我使用的操作系统的版本，比如我使用的win10对应的就是Windows NT 10.0，如果我使用win7对应的就是Windows NT 6.1。

Win64; x64是指我的操作系统是64位的

Windows系统下：

Windows NT 5.0 // 如 Windows 2000

Windows NT 5.1 // 如 Windows XP

Windows NT 6.0 // 如 Windows Vista

Windows NT 6.1 // 如 Windows 7

Windows NT 6.2 // 如 Windows 8

Windows NT 6.3 // 如 Windows 8.1

Windows NT 10.0 // 如 Windows 10

Win64; x64 // Win64 on x64

WOW64 // Win32 on x64

Linux系统下：

X11; Linux i686; // Linux 桌面，i686 版本

X11; Linux x86_64; // Linux 桌面，x86_64 版本

X11; Linux i686 on x86_64 // Linux 桌面，运行在 x86_64 的 i686 版本

macOS系统下：

Macintosh; Intel Mac OS X 10_9_0 // Intel x86 或者 x86_64

Macintosh; PPC Mac OS X 10_9_0 // PowerPC

Macintosh; Intel Mac OS X 10.12; // 不用下划线，用点

第三部分：引擎版本

AppleWebKit/537.36 (KHTML, like Gecko)...Safari/537.36，历史上，苹果依靠了WebKit内核开发出Safari浏览器，WebKit包含了WebCore引擎，而WebCore又从KHTML衍生而来。由于历史原因，KHTML引擎需要声明自己是“类似Gecko”的，因此引擎部分这么写。再后来，Google开发Chrome也是用了WebKit内核，于是也跟着这么写。借用Littern的一句话：“Chrome 希望能得到为Safari编写的网页，于是决定装成Safari，Safari使用了WebKit渲染引擎，而WebKit呢又伪装自己是KHTML，KHTML呢又是伪装成Gecko的。同时所有的浏览器又都宣称自己是Mozilla。”。不过，后来Chrome 28某个版本改用了blink内核，但还是保留了这些字符串。而且，最近的几十个版本中，这部分已经固定，没再变过

第四部分：浏览器版本

本人用的是Chrome浏览器，其中60.0 是大版本，3100是持续增大的一个数字，而0则是修补漏洞的小版本。

最后，居然有大佬封装了不同操作系统不同浏览器的User-Agent：User-Agent封装使用教程