Scrapy shell是Scrapy提供的一个交互式shell工具,它可以帮助我们进行爬虫的开发和调试。可以使用它来测试xpath或css表达式,查看它们是如何工作的,以及它们从你试图抓取的网页中提取的数据。它允许你在编写spider时交互地测试表达式,而无需运行spider来测试每个更改。
使用前提:已安装 ipython 安装: pip install ipython
使用步骤:
1. win+r 打开终端
2. 直接输入scrapy shell 域名 (注意:不能先进入ipython或python)
URL的基本组成部分:协议、域名、端口、路径
3. 使用:
xpath语法:
bs4语法(不建议):