早就听说scrapy是爬虫界的明星框架,就好比80后一定知道周杰伦,00后一定知道tfboy一样(为啥没有90后,不要问我为什么,不想说~,就是这么任性)。但凡爬虫相关的工作要求都会要求涉及到scrapy框架,你就说他火不火。闲话到这里了,直接展示血泪的scrapy填坑之路:背景:我用的是windows10,python3.7 ,Scrapy 1.6.0,pycharm【坑1】:创建的scrapy项目文件找不到原因:直接cmd 就开始scrapy startproject ,没有指定一个文件下创建项目(我指定的是F盘的_scrapy文件下创建项目)
C:UsersAdministrator>F:F:>cd _scrapyF:_scrapy>scrapy startproject qsk_spider
【坑2】
在写爬虫时需要调用items模块,from huxiu_scrapy.items import XXXScrapyItem
会出现红色下划线导入模块失败的提示,通过搜索大法查到解决方法如下:
问题已经找到了,pycharm不会将当前文件目录自动加入自己的sourse_path。右键make_directory as-->sources path将当前工作的文件夹加入source_path就可以了。
但是我的pacharm右键没有“右键make_directory as-->sources path”,不知道是不是版本原因导致的差异,总之是没有解决这个问题。
因为这个问题花费了好长时间来填坑无果,于是关闭pycharm玩耍去了(就是这么任性),第二天再打开pacharm,奇迹般的没有红色提示,运行也没有报错,你说神奇不神奇,惊喜不惊喜。
知道什么原因的伙伴可以私信我,万分感谢!!
目前就是这些坑,后面遇到再补充