windows中使用scrapyd遇到的问题

1.window下‘scrapyd_deploy’不是内部或外部命令,也不是可运行的程序

在windows上使用scrapyd-client

安装后,并不能使用相应的命令'scrapyd-deploy' 

需要在"C:\Python27\Scripts" 目录下 增加scrapyd-deploy.bat文件

内容填充为:

@echo off"C:\python27\python.exe" "C:\python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

2.在项目部署时,出现“environment can only contain strings”的错误,根据错误找原因,在scrapyd源码中有一个utils.py文件,打开这个文件 
在126行和130行进行一点改动 




3. 执行scrapyd服务上指定项目的指定爬虫
curl http://[ip]:6800/schedule.json -d project=[项目名]-d spider=[爬虫名]
爬虫执行成功后,终端会给出该爬虫的 jobid 值,表示该爬虫,后面停止爬虫需要提供jobid

4. 停止scrapyd服务上的指定项目的指定爬虫(通过jobid指定)
curl http://[ip]:6800/cancel.json -d project=[项目名] -d job=之前的jobid值

停止后如果代码需要修改,记得重新部署再执行。

 

转载于:https://www.cnblogs.com/litao2011/p/9551118.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/570490.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MAC 设置$PATH 关闭terminal后就失效 解决方案

1 目标 修改$PATH的值 2 问题 在terminal中修改了$PATH,关闭terminal或者换个terminal就不存在了。具体例子: 2.1 查看$PATH当前值 在terminal中输入 echo $PATH2.2 修改$PATH值 此例将/test/folder 加到$PATH的后面。 在terminal中输入 export …

MAC 更新 PHP 指南 以及 PHP常用命令示例

OS: Mac OS X EI Capitan 当前PHP版本:5.5.30 升级后PHP版本:7.0.11 升级步骤参考:https://coolestguidesontheplanet.com/upgrade-php-on-osx/ 1. 安装新版本PHP: 打开terminal,运行: curl -s http://…

MAC 安装 Magento2 community edition 详细步骤

花了好几天时间,终于在Mac OS X EI Capitan上成功安装magento2.1.1. 此处详细记录每个步骤,以备未来使用。 参考magento官方指南:(Easy) Install the Magento archive on your server 1. 确保系统满足prerequisite: 建议不要使用…

22_IO_第22天(File、递归)_讲义

今日内容介绍 1、File 2、递归 xmind:下载地址: 链接:https://pan.baidu.com/s/1Eaj9yP5i0x4PiJsZA4StQg 密码:845a 01IO技术概述 * A:IO技术概述* a: Output* 把内存中的数据存储到持久化设备上这个动作称为输出(写&a…

MAC PHP7 如何disable xdebug

1. 查看xdebug当前状态是否是enable 打开terminal,输入: php -m | grep xdebugterminal返回xdebug,说明现在xdebug是enable状态。 2.找到php配置文件夹 在terminal中输入: which php 进入php.d文件夹,可以看到exten…

物联网初步之电阻性电路分析 第三部分 电路分析方法和电路原理

目录 电阻性电路分析第三章 电路分析方法3-1 支路电流法3-2 网孔电流法3-3 节点电位法3-4本章总结第四章 电路定理4-1 叠加定理戴维南定理和诺顿定理电阻性电路分析 声明:本学习笔记中的部分图片来自于王丽华老师的PPT,感想王老师~~ 第三章 电路分析方法…

将页面数据转json存入数据库

SSMlayui前台页面将数据转json存入数据库 最近做了一个添加的功能,页面中的字段并不是和数据库变字段一 一对应的,页面中好几个字段的值要把它们转为json,然后存入数据库表中的一个字段。 1,首先是添加了一个实体类来放这些数据…

简述openstack

大家好,我顾某人又回来了,开学第一更。。。。以下内容均为个人理解和整理,有不对的地方还望dalao指正。。。。。 本文所用图片均已标明来源。 openstack是什么? OpenStack是一个开源的云计算管理平台项目,由几个主要的…

vue+layui获取CheckBox的值

vuelayui获取CheckBox的值 定义一样的name和v-filter 然后对其进行监听。

rocket-console控制台安装

1.下载 github地址:https://github.com/apache/rocketmq-externals 2.选择稳定版本: 3.下载到本地: 环境需求 maven jdk git clone https://github.com/apache/rocketmq-externals.git 4.修改配置: find -name application…

只允许对最后一条记录进行修改

今天做了个小功能想和大家分享一下在我任务描述里有个这样的描述:只能对最后一条记录进行修改。我刚开始我这样想的,每条记录前面都有给他一个radio,然后对你选择的数据去判断他是不是最后添加的那一条,后台发现这样有点难度&…

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

为了加强安全性,MySQL5.7为root用户随机生成了一个密码,在error log中,关于error log的位置,如果安装的是RPM包,则默认是/var/log/mysqld.log。 一般可通过log_error设置 mysql> select log_error; ---------------…

vue复选框CheckBox清空选中的值

最近遇到了这样的一个问题,做了一个添加功能,发现添加了一次记录以后,添加第二次的时候,页面上复选框有我上次选中的值,后来试了很多方法,只有下面这个方法解决了这个问题。上面标出来的是对普通的input进行…

添加时,时间格式明明和数据库格式一样,却一直在报错,存不进去

数据库用的date,然后我前台也用的date格式,却存不进去,我还以为是缓存问题,然后一直在清缓存,结果没啥用, 后来在实体类加了DateTimeFormat这个注解,成功解决。

freemarker页面读取时间date类型报错

以前写过一篇添加时间添加失败的问题,现在我又发现了另外一个问题 刚开始我是这样放进页面,然后就报错,说freemarker的类型错误。我就去控制器打印输出这个时间,发现是有值得,但不是yyyy-mm-dd格式的,我数…

关于idea的git账号与电脑的git账号不一致的问题。已解决!

最近发现了一个问题,我进公司,公司给我发的电脑是别的同事用过的,然后上面呢保留了他的git账号,我要继续用这台电脑开发,用他的账号肯定是不行的,然后我就上网搜教程,搜到的教程全部都是让我删除…

codeforces CF986C AND Graph 建圖 dfs

$ \rightarrow $ 戳我進CF原題 C. AND Graphtime limit per test: 4 secondsmemory limit per test: 256 megabytesinput: standard inputoutput: standard outputYou are given a set of size $ m $ with integer elements between $ 0 $ and $ 2^n-1 $ inclusive. Lets build…

HackRF 无线门铃信号录制与重放

本文内容、开发板及配件仅限用于学校或科研院所开展科研实验! 淘宝店铺名称:开源SDR实验室 HackRF链接:https://item.taobao.com/item.htm?spma1z10.1-c.w4004-13257850194.8.69503d888aIzVL&id526187854860 无线门铃链接:https://item.…

springboot项目和云服务器,以及域名的申请和使用(后续持续更新)

来记录一下做一个springboot项目以及上传至云服务器上过程新建并发布项目注册域名:域名备案发现的问题:在阿里云上面搞了一台个人服务器,当时是双十一打折买的,229好像。有了服务器当然要干点什么,于是做了个springboo…

抢火车票软件的教程

抢火车票软件的教程 1. 先去GitHub上下载源文件testerSunshine。 2. 下载并安装python3.7.4。(安装完成在cmd中输入 Python -V,如果出现是的是Python3.7.4,就说明安装成功) 3. 控制cmd进入下载的源码的文件夹下,输入 pip3 instal…