1、创建conda虚拟环境

conda create -n _pyspider python==3.6虚拟环境建好后会自动有 wheel库

2、配置phantom浏览器

参考phantom安装

3、conda安装pycurl

conda install pycurl

4、一次性安装各种依赖

requirements.txt内容如下：

Flask==0.10
Jinja2==2.7
chardet==3.0.4
cssselect==0.9
lxml==4.3.3
pyquery==1.4.0
requests==2.24.0
tornado==4.5.3
mysql-connector-python==8.0.16
pika==1.1.0
pymongo==3.9.0
Flask-Login==0.2.11
u-msgpack-python==1.6
click==6.6
SQLAlchemy==1.3.10
six==1.10.0
amqp==2.4.0
redis==2.10.6
redis-py-cluster==1.3.6
kombu==4.4.0
psycopg2==2.8.2
elasticsearch==2.3.0