使用 scrapyd 部署 scrapy

1.scrapyd 是什么?
Scrapyd 是一个用于部署和运行 Scrapy 爬虫项目的服务器应用程序。它使得你可以通过 HTTP 命令来部署、管理和执行多个 Scrapy 爬虫,非常适合持续集成和生产环境中的爬虫部署。
2.安装scrapyd 并使用
2.1 安装 scrapyd

F:\scrapydTest>pip install scrapyd

在这里插入图片描述
2.2 启动scrapyd

F:\scrapydTest>scrapyd

在这里插入图片描述
2.3修改配置文件,并添加 bat 文件
在这里插入图片描述
在这里插入图片描述
添加bat 文件:D:\Python\Python310\ 是python安装路径
在这里插入图片描述

@echo off
"D:\Python\Python310\python.exe" 
"D:\Python\Python310\Scripts\scrapyd-deploy" %*

执行 scrapyd 效果
在这里插入图片描述
2.4 安装客户端并运行客服端

F:\scrapydTest>pip install scrapyd-client

运行客服端

F:\scrapydTest>scrapyd-deploy
Error: no Scrapy project found in this location

2.5 部署项目到 scrapyd ,进入 scrapy 项目,修改配置.cfg
命令:scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可用浏览器直接访问:

http://localhost:6800/listjobs.json?project=itcastScrapy

在这里插入图片描述

运行 scrapyd 命令:scrapyd
把项目部署到scrapyd: scrapyd-deploy itcast -p itcastScrapy

scrapydWeb

安装
pip install scrapydweb
pip install logparser
pip install pywin32 (针对windows)
参考:https://blog.csdn.net/chang995196962/article/details/116196854
参考文档:https://blog.csdn.net/weixin_44799217/article/details/122211609

以上是scrapyd 部署scrapy 项目的简单应用,目前正在学习scrapyd 相关知识,大家有相关内容的学习资料可以评论共享哦

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/10750.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JVM之运行时数据区

Java虚拟机在运行时管理的内存区域被称为运行时数据区。 程序计数器: 也叫pc寄存器,每个线程会通过程序计数器记录当前要执行的字节码指令的地址。程序计数器在运行时是不会发生内存溢出的,因为每个线程只存储一个固定长度的内存地址。 JAVA虚…

第02章_MySQL环境搭建

一.安装好MySQL之后在windows系统中哪些位置能看到MySQL MySQL DBMS 软件的安装位置。 D:\develop_tools\MySQL\MySQL Server 8.0 MySQL 数据库文件的存放位置。 C:\ProgramData\MySQL\MySQL Server 8.0\Data MySQL DBMS 的配置文件。 C:\ProgramData\MySQL\MySQL Serve…

Web开发小知识点(二)

1.关于取余 我在Dart语言里(flutter项目) int checkNum (10 - 29) % 10; 那么checkNum等于1 但是在Vue项目里 const checkNum (10 - 29) % 10;却等于-9 语言的特性不同,导致结果也不同,如果要想和Dart保持一致,…

基于SpringBoot的竹宣非遗宣传网站

摘要 随着互联网的普及和数字化时代的到来,竹编等非物质文化遗产的保护与传承面临新的机遇和挑战。该研究旨在使用SpringBoot后端框架与Vue前端框架,构建一个竹编非遗宣传网站,通过丰富的展示形式和交互体验,提升公众对竹编这一非…

vueUse库Sensors模块各函数简介及使用方法---上篇

vueUse库是一个专门为Vue打造的工具库,提供了丰富的功能,包括监听页面元素的各种行为以及调用浏览器提供的各种能力等。其中的Browser模块包含了一些实用的函数,以下是这些函数的简介和使用方法: vueUse库Sensors模块各函数简介及使用方法 vueUseSensors函数1. `onClickOu…

Java基础知识(13)(包括网络编程,反射,动态代理)

Java基础知识(13) (包括网络编程,反射,.动态代理) 目录 Java基础知识(13) 一.网络编程 1. 网络编程基础 (1)什么是网络编程 (2&#xff09…

项目构思以及相关ER图

首先是登录界面,我们首先绘制一个界面,在界面里面存储两个文本框,用于读取用户输入的文本,然后由客户端传到服务器里面和数据库进行对比,如果密码和账号对应的时候就可以进入到学习通的主界面 注册,首先注…

内网工具之ADFind的使用

ADFind是一款C语言编写的域中信息查询工具,可以在域中任何一台主机上使用,在内网渗透中的使用率较高 下载地址,该地址下载工具不需要压缩包密码 https://github.com/mai-lang-chai/AD-Penetration-Testing-Tools/blob/master/AdFind.zip参数…

什么是 IIS

什么是 IIS 一、什么是 IIS二、IIS 的功能三、IIS 几点说明四、IIS 的版本五、IIS 常见的组合 欢迎关注【云边小网安】 一、什么是 IIS IIS:指 Internet Information Services ,是一种由微软公司开发的 Web 服务器应用程序。IIS:是一种 Web …

【busybox记录】【shell指令】ls

目录 内容来源: 【GUN】【ls】指令介绍 【busybox】【ls】指令介绍 【linux】【ls】指令介绍 使用示例-默认输出: 列出目录内容 - 默认输出 列出目录内容 - 不忽略以.开头的文件 列出目录内容 - 不忽略以.开头的文件,只忽略.和..文件…

猜猜歇后语

页面 在输入框中填写你猜的答案,点击“显示答案”按钮,显示正确答案。 页面代码 function showAnswer(element){var elem$(element);elem.next().show();} //# // 初始化DataGrid对象 $(#dataGrid).dataGrid({searchForm: $(#searchForm),columnModel:…

effective c++ 和 more effective c++中知识点

Effective C 视 C 为一个语言联邦(C、Object-Oriented C、Template C、STL) 宁可以编译器替换预处理器(尽量以 const、enum、inline 替换 #define) 编译器可以进行类型检查,避免预处理宏可能导致的类型错误。而且比预…

Webstorm免费安装教程

一、介绍 WebStorm 具有智能化的代码编辑功能,如代码补全、重构、代码导航、错误检测等等,这些功能可以帮助开发人员提高编码效率,减少出错的可能性。同时,WebStorm 也集成了各种流行的前端框架和库,如 React、Angula…

每日OJ题_贪心算法四④_力扣397. 整数替换

目录 力扣397. 整数替换 解析代码 力扣397. 整数替换 397. 整数替换 难度 中等 给定一个正整数 n ,你可以做如下操作: 如果 n 是偶数,则用 n / 2替换 n 。如果 n 是奇数,则可以用 n 1或n - 1替换 n 。 返回 n 变为 1 所需…

1057: 有向图的出度计算

解法&#xff1a; #include<iostream> using namespace std; int arr[100][100]; int main() {int vertex, edge;cin >> vertex >> edge;int i, j;while (edge--) {cin >> i >> j;arr[i][j] 1;}for (int i 0; i < vertex; i) {int sum 0;…

【Java难点】多线程-高级

悲观锁和乐观锁 悲观锁 synchronized关键字和Lock的实现类都是悲观锁。 它很悲观&#xff0c;认为自己在使用数据的时候一定有别的线程来修改数据&#xff0c;因此在获取数据的时候会一不做二不休的先加锁&#xff0c;确保数据不会被别的线程修改。 适合写操作多的场景&…

TypeScript学习日志-第二十四天(webpack构建ts+vue3)

webpack构建tsvue3 一、构建项目目录 如图&#xff1a; shim.d.ts 这个文件用于让ts识别.vue后缀的 后续会说 并且给 tsconfig.json 增加配置项 "include": ["src/**/*"] 二、基础构建 安装依赖 安装如下依赖&#xff1a; npm install webpack -D …

Vue简介

Vue.js 是一款流行的 JavaScript 前端框架&#xff0c;用于构建用户界面和单页面应用程序&#xff08;SPA&#xff09;。它的核心库专注于视图层的渲染&#xff0c;同时也提供了诸如路由(VueRouter)、状态管理(Vuex,Pinia)等功能的插件&#xff0c;使得开发复杂的交互式应用变得…

ACC-UNet: A Completely Convolutional UNet Model for the 2020s

文章目录 ACC-UNet: A Completely Convolutional UNet Model for the 2020s摘要方法实验结果 ACC-UNet: A Completely Convolutional UNet Model for the 2020s 摘要 这十年以来&#xff0c;计算机视觉领域引入了 Vision Transformer&#xff0c;标志着广泛的计算机视觉发生了…

基于SpringBoot+Vue社区老人健康信息管理系统

摘 要 如今社会上各行各业&#xff0c;都喜欢用自己行业的专属软件工作&#xff0c;互联网发展到这个时候&#xff0c;人们已经发现离不开了互联网。新技术的产生&#xff0c;往往能解决一些老技术的弊端问题。因为传统社区老人健康信息管理系统信息管理难度大&#xff0c;容错…