From：https://brucedone.com/archives/771
8个最高效的 Python 爬虫框架
- 1. Scrapy。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
- 2. PySpider。pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
- 3.Crawley。Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
- 4.Portia。Portia 是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！简单地注释您感兴趣的页面，Portia 将创建一个蜘蛛来从类似的页面提取数据。
- 5.Newspaper。Newspaper 可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。
- 6.Beautiful Soup。Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。
- 7.Grab。Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。
- 8.Cola。Cola 是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。
教程导航
- (1)分布式下的爬虫Scrapy应该如何做-安装
- (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍
- (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式，数据输出方式以及数据库链接
- (4)分布式下的爬虫Scrapy应该如何做-规则自动爬取及命令行下传参
- (5)分布式下的爬虫Scrapy应该如何做-关于爬虫的调度机制与调度架构的构想
- (5.1)分布式下的爬虫Scrapy应该如何做-windows下的redis的安装与配置
- (6)分布式下的爬虫Scrapy应该如何做-关于打断点Debug的那些事儿
- (7)分布式下的爬虫Scrapy应该如何做-关于伪装和防Ban的那点事儿
- (8)分布式下的爬虫Scrapy应该如何做-图片下载(源码放送)
- (9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(一)
- (10)分布式下的爬虫Scrapy应该如何做-关于动态内容js或者ajax处理(2)
- (11)分布式下的爬虫Scrapy应该如何做-关于js渲染环境splash的一些使用技巧总结
- (12)分布式下的爬虫Scrapy应该如何做-分布式的浅析
- (13)分布式下的爬虫Scrapy应该如何做-另一种分布式架构
- [scrapyd]爬虫应该怎么部署到ubuntu上
- 使用scrapy有用的一些细节点
爬虫周边
- [调度]可视化的调度架构-Dagobah
- 基于scrapy可见可得的爬虫工具arachnado
- [深度学习]Tensorflow破解验证码
- [深度学习] 使用Darknet YOLO 模型破解中文验证码点击识别
- [selenium-grid]多机分布式环境下的selenium集群
- [重大更新]可视化调度器tiktok 问世了
- [渲染利器]Google官方出品的js渲染环境
- 关于爬虫的架构，经验，以及分享
可视化抓取研究
- [可视化抓取]portia2.0尝鲜体验以及自动化畅想[1]
- [可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据输出以及原理分析
- [可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据存储入mongodb
源码分析
- [scrapy]scrapy源码分析–数据是如何处理的
- [scrapy]scrapy源码分析–中间件是如何加载的
- [scrapy]scrapy源码分析–信号事件是如何加载以及自定义信号
- [scrapy] images pipeline分析– 下载图片如何上传到阿里云服务
经验分享
- 同一项目不同的spider启用不同的配置
demo源码
- cnbeta抓取
- 豆瓣图片下载
- google play 应用数量
- cnbeta抓取数据存入mysql
错误处理
- scrapy下的常见错误处理
