环境：2h4g 60ssd
一、首先安装宝塔面板
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh
安装环境采用 nginx +php7 +mysql5.5
二、关闭centos下的防火墙
CentOS 6.5关闭防火墙
servcie iptables stop --临时关闭防火墙
chkconfig iptables off
CentOS 7.2关闭防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
三、新建数据库 so 并导入so.sql 可以用宝塔的phpmyadmin 导入
四、安装dht爬虫 上传worker目录下的文件到/root下
pip install pygeoip
#运行dht爬虫
nohup python simdht_worker.py >/dev/null 2>&1 &
五、安装pyspider
pip install pyspider
编辑配置文件放入root目录下：
vi config.json
按i 编辑
{
"taskdb": "mysql+taskdb://数据库用户:密码@127.0.0.1:3306/taskdb",
"projectdb": "mysql+projectdb://数据库用户:密码@127.0.0.1:3306/projectdb",
"resultdb": "mysql+resultdb://数据库用户:密码@127.0.0.1:3306/resultdb",
"webui": {
"username": "admin", #爬虫管理员
"password": "admin888",#爬虫密码
"need-auth": true
}
}
将projectdb.sql 导入数据库使用phpmyadmin
然后你的ip:5000进入web管理页面 编辑爬虫将数据库修改成你自己的数据库
安装 mysql-connector-python
git clone https://github.com/mysql/mysql-connector-python.git
cd mysql-connector-python
python setup.py install
yum install -y log4j*
)
...)
