linux 运行scrapy,python 文件 运行 scrapy

写了一个scrapy,程序可以跑,没有任何问题。

爬下30个网站的body存入json文件,并且保存为test.json

如果test.json存在就保存到一个新建的test1.json

新建了一个python文件叫check.py,对比两个文件的hash值,如果有不一样,就发邮件到我邮箱。

在这个check.py内 有一句os.system(scrapy crawl xxxx)

问题来了。。 因为希望能定时运行,比如我在win上设置了定时执行计划,则每5分钟执行一次。这个是可以的。

有个问题和vps上一样,系统是centos 6。

比如随意在一个地方,用路径的方式打开这个check.py文件

python Documents/check_web/check.py

Scrapy 1.1.1 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

0s

10s

Traceback (most recent call last):

File "Documents/check_web/check.py", line 35, in

f1 = open("./test.json", "rb")

IOError: [Errno 2] No such file or directory: './test.json'

check.py大致如下

def getJson():

os.system('scrapy crawl check_web_sprider')

time.sleep(10)

def getHash(f):

line = f.readline()

hash = hashlib.md5()

while (line):

hash.update(line)

line = f.readline()

return hash.hexdigest()

def IsHashEqual(f1, f2):

str1 = getHash(f1)

str2 = getHash(f2)

return str1 == str2

if __name__ == '__main__':

f1 = open("./test.json", "rb")

f2 = open("./test1.json", "rb")

if (IsHashEqual(f1, f2) is False):

def _format_addr(s):

name, addr = parseaddr(s)

return formataddr(( \

Header(name, 'utf-8').encode(), \

addr.encode('utf-8') if isinstance(addr, unicode) else addr))

求问为什么会这样。。路径的方式就会显示

Scrapy 1.1.1 - no active project

Unknown command: crawl

但是如果我进入到check.py的路径下 然后

python check.py

就没有任何问题。。爬虫也能正常工作。。

非常抱歉 文笔不太好 希望有人能看懂。。并且又知道如何解决。

thx!

bVCm1N

check.py是在scrapy的工程目录下的。。

bVCm2t

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/507131.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux的硬件系统管理,Linux 系统硬件管理的基础知识(四)

以下主要介绍我的***次安装Linux系统遭遇,以及怎么度过这个遭遇的,希望对大家有所帮助。不喜欢的可以略过。以下接《Linux 系统硬件管理的基础知识(三)》。四、关于存储设备的不同的表示方法的应用;1、/dev/hd[a-z] 表示方法的应用1)用于moun…

大整数减法c语言_3.2 C语言运算符和表达式

01基本的算术运算符1、正号运算符2、-负号运算符3、*乘法运算符4、/除法运算符5、%求余运算符6、加法运算符7、-减法运算符读者应该特别注意和-在不同情况下的含义02自增、自减运算符1、i,--i在使用i之前,先是i的值加(减)12、i&am…

如何查看linux 是否安装软件包,linux 查看软件包是否安装 linux查看软件包

Linux下怎样检查,如何查看某软件包是否已经安装1、rpm包安装的,可以用rpm -qa看到,如果要查找某软件包是否安装,用 rpm -qa | grep “软件或者包的名字”。rpm -qa | grep ruby2、以deb包安装的,可以用dpkg -l能看到。如果是查找指…

python查看数据大小_科多大数据带你看Python可以列为最值得学习的编程语言

原标题:科多大数据带你看Python可以列为最值得学习的编程语言不知道从什么时候开始,这句话开始流行。不过也从侧面反映出 Python 语言的特点:简单、高效。从近期代表技术趋势的业界报告以及编程语言排行榜来看,觉得编程语言这一块…

trueOS能装linux软件,TrueOS 是什么

TrueOS是一套基于FreeBSD-CURRENT、桌面取向的类Unix操作系统。主要目的是创建一个易于安装软件的图形用户界面,借由提供KDE SC、Lumina、MATE、Xfce等桌面环境使其容易上手。TrueOS 是一套基于 FreeBSD-CURRENT、桌面取向的类 Unix操作系统。主要目的是创建一个易于…

错误: 非法的表达式开始_虽然这两个C语言宏定义很简单,但是能在程序运行前找到错误代码...

今天翻看 Linux 内核源代码时,发现两行非常有意思的C语言代码,如下:#define BUILD_BUG_ON_ZERO(e) (sizeof(struct { int:-!!(e); }))#define BUILD_BUG_ON_NULL(e) ((void *)sizeof(struct { int:-!!(e); }))有意思的宏这两行C语言代码有什么…

linux下数据库时间格式,Java编程时间格式与数据库中时间格式转化

关于编程语言中的时间格式和关系型数据中的中时间格式问题的转化一直都是个简单而又不得不权衡的问题,这牵扯到数据库设计和SQL编程和应用程序中时间格式数据的处理的编程,两者总能够交缠在一起。关于Java中的时间格式和数据库中的时间格式转换在这里先写…

python函数作用域与闭包_python基础-08-内置函数、作用域、闭包、递归

python基础-内置函数、作用域、闭包、递归1.常见的内置函数常见的内置函数:查看内置函数:print(dir(__builtins__))常见函数type() 数据类型print() 打印help()查看方法详细用法id() 查看内存地址range() 求值范围len 求长度min 求最小值max 求最大值sorted 排序rev…

linux 配置trac界面显示为中文,安装back|track 5 r3并配置中文界面简单教程

最近更新:29th 4月, 2013最近对bt比较感兴趣,看到不少朋友说,bt早都出10了11了我说我怎么就不知道。官方网站打开一看,果然还是BT5,不过已经r3了。听说现在BT5的支持已经很好了,于是也就下载了一个&#xf…

ue4玻璃材质_UE4-材质

本文中,我们将首先讨论基于物理的渲染,什么是材质域,什么是材质,什么是材质实例,什么是主材质,我们将讨论材质的一些建议和禁忌。最后,我们将了解一些材质概念,你可以将其用于各类项…

suse linux11 改ip,suse11如何修改hostname[Linux基础]

1.修改当前的hostname可以用hostname myname此时只是修改了内存内部的,下次启动又恢复了2.机器在启动的时候会调用/etc/rc.d/boot.localnet脚本看后面的附录,这个脚本会判断当前的$HOSTNAME变量是否设置,没有设置就会读取/etc/HOSTNAME来设置…

为啥linux分区是nvme0n1,NAS 篇五:尝试达成最终目标: 黑裙+万兆网卡+Nvme 存储空间的实现与测试...

NAS 篇五:尝试达成最终目标: 黑裙万兆网卡Nvme 存储空间的实现与测试2020-01-18 18:49:2346点赞248收藏80评论创作立场声明:1. 本系列文章讨论NAS与局域网, 请小编高抬贵手不要分类到无线网络去2. 如果你读了开头, 有“…

检查虚ip跟实ip之间网络问题_虚电路有哪些特点 虚电路原理介绍【详解】

虚电路,虚电路的特点,虚电路的原理是什么?虚电路是交换网络(ATM、帧中继、IP或因特网)上两个终端站之间的点对点通信链路。虚电路的设计是在交换网络上仿真物理电路的特性。家中与电话公司中心局之间的模拟电话线路就是物理电路的例子。它是专用于单个呼叫的物理线路,没有其他…

linux 常用参数,Linux 常用命令及参数整理

1.. cat -t2.. ls -t -u3..uniq -c-u -d4..sort -k-u -t -f -n5.. tail head6.. rpm -q -ql -qf -qc7.. find8.. sz 从服务器上下载文件9.. du 和 df 命令区别1.. cat-t 相当于 -vT 作用是显示文件中的tab符号,通常和-v参数一起使用。[rootwatchout2 ~]# cat -t…

固态硬盘上安装centos_自己动手丰衣足食 手把手教你安装M.2固态硬盘

为了追求更快的速度、更好的性能,很多用户都为电脑升级或者更换了M.2固态硬盘。但是,M.2固态硬盘买好了,安装对大部分人来说却是个难题……因此,好多老铁通过微信后台联系小星,想了解一下M.2固态硬盘的安装教程。OK&am…

linux美元符号切换为井号,struts2 (# % $)井号,百分号,美元符号的含义和使用方法举例...

struts2 (# % $)井号,百分号,美圆号的含义和使用举例。struts2 OGNL,struts2 表达式语言,OGNL(Object-Graph Navigation Language),可以方便地操作对象属性的开源表达式语言。本文提要:(1)Struts2 #,表达式…

创建txt文件指令_Linux云计算教程全套视频合集:WORKDIR 指令讲解

WORKDIR 指令用于声明当前的工作目录&#xff0c;以后各层的当前目录就被改为指定的目录。格式为 WORKDIR <工作目录路径>。如该目录不存在&#xff0c;WORKDIR 会帮你建立目录。再次强调&#xff01;不要以为编写 Dockerfiel 是在写 shell 脚本。下面是一个错误示例&…

linux通过yum安装nginx,Linux下yum安装nginx教程

本文教程为大家分享了linux下yum安装nginx的详细过程&#xff0c;供大家参考&#xff0c;具体内容如下第一步&#xff0c;在/etc/yum.repos.d/目录下创建一个源配置文件nginx.repo&#xff1a;cd /etc/yum.repos.d/vim nginx.repo填写如下内容&#xff1a;[nginx]namenginx rep…

python怎么写出来的_如何写出优雅又地道的Python代码?【转载】

在Python社区文化的浇灌下&#xff0c;演化出了一种独特的代码风格&#xff0c;去指导如何正确地使用Python&#xff0c;这就是常说的pythonic。一般说地道(idiomatic)的python代码&#xff0c;就是指这份代码很pythonic。Python的语法和标准库设计&#xff0c;处处契合着pytho…

linux awk if 多个条件,linux shell awk 流程控制语句(if,for,while,do)详细介绍

在linux awk的 while、do-while和for语句中允许使用break,continue语句来控制流程走向&#xff0c;也允许使用exit这样的语句来退出。break中断当前正在执行的循环并跳到循环外执行下一条语句。if 是流程选择用法。 awk中&#xff0c;流程控制语句&#xff0c;语法结构&#xf…