什么是爬虫

如果说把互联网比喻成蜘蛛网，那么爬虫就是在这张网上的蜘蛛，它可以在上面爬来爬去。在互联网中，爬虫就是机器人，你应该对百度和 Google 很熟悉吧，为什么我们可以很快的从它们的搜索引擎中获取到资料呢？

原因就是它们都有自己的爬虫，在整个互联网上，24小时不间断的爬取那些愿意让它们爬取的网站内容，爬虫将这些内容的索引保存下来，放到百度自己的数据库里面，所以用户搜索的时候，就能很快的搜到你要的网站。

永远对这个世界充满好奇心，也许会让我们更愿意学习，我觉得最好的学习动力来源于好奇，好奇产生兴趣，兴趣促进学习，学习使人快乐。

那么 python 爬虫应该学习什么知识点呢？

学习 python 爬虫的路线

除了好奇心之外，有个学习方向能够少走点弯路，就像在实习的时候，能够遇到一个好老大，给你稍微指一下方向，比你自己瞎琢磨的结果肯定结果相差很大。毕竟人家认知比你高上一截。

基本的 Python 语法

要用 Python 来写爬虫，当然是需要 Python 的基本语法了。

爬虫要去抓取网页上的内容，一些请求参数和返回数据信息，需要去分析和抓取，熟悉一下抓包工具的使用还是很有必要的，关于 Fiddler 的使用。

爬虫常用到的模块

Python 有一些内置的库，专门对一些网页数据的请求和解析使用的，比如urllib，http。

正则表达式

抓包获取到的数据，有很多数据是你不想要的，我们只需要拿到我们想要的数据就可以了，那么这个时候呢，正则表达式就派上用场了，常用的有：re，Xpath，BeautifulSoup。

反爬机制

有些网站被爬取怕了，做了一些爬虫的限制，要学点反爬机制才行，header，robot，时间间隔，ip代理，UA限制，Cookie限制等。

数据存储

爬取到的数据要存储下来吧，那么就要会数据库的操作，比如mysql。还要会数据去重操作。

爬虫效率

提高爬取数据的效率，就需要使用多线程，分布式。

爬虫的框架

站在巨人的肩膀上尿尿，那么就需要知道框架怎么使用，比如Scrapy，PySpider，简直牛逼。

为什么学习 Python 爬虫

对于每个人来说可能都有自己的想法，有些人想要自己的工资涨点，无可厚非，有些人就是感兴趣，想玩玩，有些人单纯为了泡妞，有些人喜欢走出自己舒适圈，多学点。

但是有一点肯定的是，技多不压身，牛逼的人总是在学习，傻逼的人总是在抬杠和叫人别学。

如果你具备了 Python 的基础知识了，那就可以根据以上的知识点进行 Python 爬虫的学习。最主要是多动手，多练，熟能生巧是亘古不变的道理。

Python之禅说过这样的话：

爬虫涉及的技术包括但不限于熟练一门编程语言（这里以 Python 为例） HTML 知识、HTTP 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用、涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。数据分析、挖掘、甚至是机器学习都离不开数据，而数据很多时候需要通过爬虫来获取，因此，作为一门专业爬虫工程师都是有很大的前途的。