0. 思路

准备三台服务器，分别是Windows、Ubuntu1、Ubuntu2；

其中Windows服务器作为分布式爬虫的Redis服务器；

Ubuntu1和Ubuntu2作为分布式爬虫的爬虫服务器。

一. 虚拟机Ubuntu0中安装Redis

安装：sudo apt-get install redis-server

卸载：sudo apt-get purge --auto-remove redis-server

启动：sudo service redis-server start

查看：ps aux|grep redis

停止：sudo service redis-server stop

二. 虚拟机Ubuntu1中安装Redis

同上。

三. Windows服务器上安装Redis

1.首先安装Redis，安装教程：https://www.runoob.com/redis/redis-install.html

2.启动Redis服务：（切换至Redis安装目录中）
redis-server.exe redis.windows.conf

若报错，按步骤执行以下命令：
redis-cli.exe
shutdown
exit
redis-server.exe redis.windows.conf

3.启动Redis客户端
redis-cli.exe

输入测试数据：
set username fanxindong

get username

四. 安装cmder

安装教程及配置：https://www.jianshu.com/p/5b7c985240a7

五. 安装RedisDesktopManager

安装教程及配置：https://www.jb51.net/softs/669908.html

安装后连接Redis，查看测试数据。

六. 修改Windows中的配置文件redis.windows.conf

打开Windows中Redis的配置文件redis.windows.conf

将bind后的ip地址更改为windows 的ip地址；

这里为了爬虫服务器连接方便，更改为0.0.0.0

七. Ubuntu连接Windows上 的Redis服务器

在Ubuntu服务器输入以下指令：

redis-cli -h 172.20.20.2 -p 6379

其中172.20.20.2为windows的服务器ip地址。

查看测试数据：

-------------------------------------------------------------------------

八.Windows上创建虚拟环境并安装Scrapy

首先安装 virtualenv，打开命令行工具，输入下面的命令即可安装 virtualenv：

pip install virtualenv

安装成功后就可以开始创建虚拟环境，指定一个你喜欢的目录，virtualenv 会把这个新的虚拟环境装到你指定目录下。例如我把它装到 C:\Users\fxd.virtualenvs\ 目录下，并将虚拟环境命名为 sipder_env（也可以取任何你喜欢的名字）。在命令栏运行如下命令：

virtualenv C:\Users\fxd\.virtualenvs\sipder_env

虚拟环境已经创建好了，我们需要激活这个环境，进入到刚才创建的虚拟环境的根目录，运行 Scripts 目录下的 activate 程序激活它：

cd C:\Users\fxd\.virtualenvs\sipder_env
.\Scripts\activate

可以看到命令提示符前面多了 (sipder_env)，说明我们已经成功激活了虚拟环境，接下来就可以开始安装 Scrapy了。

使用豆瓣的镜像源安装：

pip install Scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

Scrapy中文文档：https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

九.Ubuntu上创建虚拟环境并安装Scrapy

安装virtualenv：

pip install virtualenv

创建虚拟环境并自动进进入：

mkvirtualenv -p /usr/bin/python3 spider_env

退出虚拟环境：

deactivate

再次进入虚拟环境的激活指令：

source ./bin/activate

接下来安装Scrapy，首先安装依赖：

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

安装scrapy：

pip install Scrapy