认识爬虫

1.什么是爬虫

网络爬虫（Crawler）又称网络蜘蛛，或者网络机器人（Robots）. 它是一种按照一定的规则， 自动地抓取万维网信息的程序或者脚本。换句话来说，它可以根据网页的链接地址自动获取网页内容。如果把互联网比做一个大蜘蛛网，它里面有许许多多的网页，网络蜘蛛可以获取所有网页的内容。

爬虫是一个模拟人类请求网站行为, 并批量下载网站资源的一种程序或自动化脚本。

2.爬虫可以做什么

• 搜索引擎
• 采集金融数据
• 采集商品数据
• 采集竞争对手的客户数据
• 采集行业相关数据，进行数据分析
• 刷流量

理论上只要是互联网上的数据是肉眼可见的，那么就可以使用爬虫技术做采集。

3.为什么用 Ptyhon 爬虫

• PHP：PHP是世界是最好的语言！！但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。据说目前PHP改善了效率，但是社区环境这一块还是赶不上Python。
• Java：生态圈很完善，是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。毕竟人生苦短。。。。
• C/C++：运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。一句话总结，为什么不用C++来开发爬虫程序，因为那是要头发掉光的，那是要死人的。
• Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。而且有非常丰富的资源，另外Python也支持异步，对异步的网络编程也非常友好。以后的方向是异步网络编程，非常适合爬虫程序！！

4.爬虫的分类

通用爬虫

• 将一个页面中所有的数据获取。
• 大部分的搜索引擎中应用比较多
• 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Sogou等）的一个重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。

搜索引擎工作原理：

• 第一步：爬取网页
  • 搜索引擎去成千上万个网站爬取数据
• 第二步：数据存储
  • 搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库(也就是文档库)。其中的页面数据与用户浏览器得到的HTML是完全一样的。
• 第三步：提供检索服务，网站排名
  • 搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理：中文分词，消除噪音，索引处理。
  • 搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。展示的时候会进行排名。

搜索引擎的局限性：

• 搜索引擎抓取的是整个网页，不是具体详细的信息。
• 搜索引擎无法提供针对具体某个客户需求的搜索结果。

聚焦爬虫

• 将页面中局部的指定的数据进行提取/抓取
• 注意：聚焦爬虫一定是建立在通用爬虫的基础之上实现
• 针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。

功能爬虫

• 通过浏览器或者app自动化的操作，实现相关的网页或者app自动化的操作。代替人工在网页或者手机软件中自动执行相关的行为动作。
• 批量点赞，批量评论，刷单,秒杀…

增量式爬虫

• 用来监测网站数据更新的情况。以便爬取网站最新更新出来的数据！

分布式爬虫

• 可以对网站所有的资源使用分布式机群进行分布和联合的数据爬取

5.爬虫的矛与盾（重点）

• 反爬机制：对应门户网站，网站可以指定相关的机制阻止爬虫对其网站数据的采集
• 反反爬策略：对应爬虫程序，爬虫可以制定相关的策略将网站的反爬机制破解，从而爬取到指定的数据

6.盗亦有道的君子协议robots

• Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots ExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取.
• 注意，这个协议的存在更多的是需要网络爬虫去遵守，而起不到防止爬虫的功能。

7.爬虫合法性探究

**爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并不被禁止，但是利用爬虫技术获取数据这一行为是具有违法甚至是犯罪的风险的。**所谓具体问题具体分析，正如水果刀本身在法律上并不被禁止使用，但是用来捅人，就不被法律所容忍了。

或者我们可以这么理解：爬虫是用来批量获得网页上的公开信息的，也就是前端显示的数据信息。因此，既然本身就是公开信息，其实就像浏览器一样，浏览器解析并显示了页面内容，爬虫也是一样，只不过爬虫会批量下载而已，所以是合法的。不合法的情况就是配合爬虫，利用黑客技术攻击网站后台，窃取后台数据（比如用户数据等）。

举个例子：像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为“善意爬虫”。但是像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次，铁总并不觉得很开心，这种就被定义为“恶意爬虫”。

• 爬虫所带来风险主要体现在以下3个方面：

  • 违反网站意愿，例如网站采取反爬措施后，强行突破其反爬措施；
  • 爬虫干扰了被访问网站的正常运营；
  • 爬虫抓取了受到法律保护的特定类型的数据或信息。

• 那么作为爬虫开发者，如何在使用爬虫时避免进局子的厄运呢？

  • 严格遵守网站设置的robots协议；
  • 在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行；
  • 在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。

  总结：

  可以说在我们身边的网络上已经密密麻麻爬满了各种网络爬虫，它们善恶不同，各怀心思。而越是每个人切身利益所在的地方，就越是爬满了爬虫。**所以爬虫是趋利的，它们永远会向有利益的地方爬行。**技术本身是无罪的，问题往往出在人无限的欲望上。因此爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。