php 开源 采集,迅睿CMS 火车头内容采集

采集工具:火车采集器 v7.6

采集模块:新闻 News

一、编写采集入库脚本接口

新建:./api/caiji.php

/**

* 数据采集

*/

define('IS_API', basename(__FILE__, '.php')); // 项目标识

define('SELF', pathinfo(__FILE__, PATHINFO_BASENAME)); // 该文件的名称

require('../index.php'); // 引入主文件

新建:./dayrui/My/Api/Caiji.php

$this->_module_init('news'); // news 是模块目录

if ($_GET['action'] == 'category') {

// 显示栏目

foreach ($this->module['category'] as $t) {

if ($t['child'] == 0 && $t['tid'] == 1) {

echo '

'.$t['name'].'<=>'.$t['id'].'

'.PHP_EOL;

}

}

} else {

// 入库数据

$data = $_REQUEST;

// 发布者id 1

$data['uid'] = 1;

// 发布者账号 admin

$data['author'] = 'admin';

// 主表字段

$fields[1] = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR));

$cache = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR.'_category_data'));

$cache && $fields[1] = array_merge($fields[1], $cache);

// 附表字段

$fields[0] = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR.'_data_0'));

$cache = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR.'_category_data_0'));

$cache && $fields[0] = array_merge($fields[0], $cache);

// 去重复

$fields[0] = array_unique($fields[0]);

$fields[1] = array_unique($fields[1]);

$save = [];

// 主表附表归类

foreach ($fields as $ismain => $field) {

foreach ($field as $name) {

isset($data[$name]) && $save[$ismain][$name] = $data[$name];

}

}

if (!$data['catid']) {

exit('栏目为空');

}

$save[1]['uid'] = $save[0]['uid'] = $data['uid'];

$save[1]['catid'] = $save[0]['catid'] = $data['catid'];

$save[1]['url'] = '';

$save[1]['status'] = 9; //9表示正常发布,1表示审核里面

$save[1]['hits'] = 0;

$save[1]['displayorder'] = 0;

$save[1]['link_id'] = 0;

$save[1]['comments'] = 0;

$save[1]['avgsort'] = 0;

$save[1]['inputtime'] = $save[1]['updatetime'] = SYS_TIME + rand(0, 7200);

$save[1]['inputip'] = '127.0.0.1';

// 验证标题重复

if ($this->content_model->table(SITE_ID.'_'.MOD_DIR)->where('title', $save[1]['title'])->counts()) {

echo '重复';exit;

}

$rt = $this->content_model->save(0, $save);

if ($rt['code']) {

exit('成功');

} else {

exit('失败');

}

}

exit;

脚本文件中可以定义发布者等一些预定义字段默认值,如果你不会php的话可以保持默认

然后关闭系统的跨站提交验证。

二、火车采集器编写web发布规则

e971d5225e417dc7fa4fdf0ffcf139ae.png

三、新建一个在线发布模块

48f5dfafa22459e0c50d3b6650a0a2f0.png

四、填写获取栏目列表的参数

3e87bccd5a4eddc74308a8cfe3b3e692.png

按照上面的格式写就ok了

五、内容发布规则参数

9d946889363d2e5e07719d9ca9bdb3c1.png

1 发布地址,按照上面的就ok

2 表单参数,这里是你采集的字段

3 成功标志码:成功

六、保存模块

3f4ddb5be3c92c34e840f879dbae8776.png

七、然后返回web发布配置里面

ac5e01fec28dbc2928716daa7dfdf91a.png

按照图中的参数配置,点“获取栏目”,如果可以获取到就表示成功了一大半了

八、测试入库发布

2e841b8963fc9419cf4ef160d0d6fb14.png

九、后台查看采集内容

19d75b112708e4b7d72ce652b4e8d9f6.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534199.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

英文数据集txt_YOLOv5在建筑工地中安全帽佩戴检测的应用(已开源+数据集)

点击上方“计算机视觉cv”即可“进入公众号”重磅干货第一时间送达前言随着人工智能的发展&#xff0c;现在越来越多的场景需要人工智能。在工厂的厂区中以安全为首&#xff0c;但工人普遍缺乏佩戴安全帽意识&#xff1b;工厂环境复杂&#xff0c;有各种各样的禁止进入的区域&a…

检测到目标url存在内部ip地址泄露_Cendertron,动态爬虫与敏感信息泄露检测

Cendertron&#xff0c;动态爬虫与敏感信息泄露检测Cendertron Crawler RendertronCendertron https://url.wx-coder.cn/HinPM 是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具。其依托于 xe-crawler 的通用爬虫、调度与缓存模型&#xff0c;新增了 Monkey Test…

屏幕坏点检测图片_iPhone新机如何检测质量 iPhone新机检测质量步骤【详解】

iPhone新机怎么检测好坏_iPhone新机检测质量方法 说实话&#xff0c;苹果对于iPhone的品控把握确实一代不如一代&#xff0c;特别是去年发布的iPhone7系列&#xff0c;很多用户都反映自己新买的手机存在划痕、屏幕发黄、掉漆等问题。那么当我们购买一部全新的iPhone7时&#xf…

excel单元格斜线_怎么在excel中画斜线?怎么在excel表格中画斜线?

在excel表格中画斜线的技巧教程&#xff1a;1.在Excel中打开一个空白工作簿。 2.您可以在任何大小的单元格中执行此操作&#xff0c;但是如果先将其增大则更容易理解。为此&#xff0c;我们只需单击并按住第1行和第2行之间的线&#xff0c;然后将其拖动到所需的高度即可。然后对…

xbox one s驱动_理想照进现实 理想ONE开始接受预定

2016年4月22日&#xff0c;车和家创始人&CEO李想在源码资本第二届码会年会首谈车和家&#xff0c;改造城市出行。车和家 创始人&CEO 李 想2016年码会年会演讲2019年4月10日&#xff0c;增程式智能电动车「理想ONE」正式公布售价并开始接受预订&#xff0c;并将于2019年…

date设置时间_解决 IDEA 无法找到 java.util.Date 的问题

原文首发于 https://studyidea.cn/问题最近在项目中频繁使用到 java.util.Date&#xff0c;但是使用 IDEA 提示查找 Date 类&#xff0c;却无法找到 java.util.Date。可以看到&#xff0c;智能提示的结果没有 java.util.Date。没办法&#xff0c;只能暂时手动导入该包。最近闲下…

mysql插入语句例句,一句简单的MySql插入语句怎么写 ?

守候你守候我insert into 表名 values(default,"名字","2011-04-15 12:22:25"); //default可以换成null------------------------------insert into 表名 (name,datetime) values("名字","2011-04-15 12:22:25");使用SQL语法大写&…

路由器下一跳地址怎么判断_网络基本功三:细说路由器

介绍以太网交换机工作在第二层即数据链路层&#xff0c;用于在同一网络内部转发以太网帧。但是&#xff0c;当源和目的IP地址位于不同网络时&#xff0c;以太网帧必须发送给路由器。路由器负责在不同网络间传输报文&#xff0c;通过路由表来决定最佳转发路径。当主机将报文发送…

python函数的作用域_python学习第五篇 函数 变量作用域

原博文 2019-07-18 23:40 − 函数 函数是组合好的&#xff0c;可以重复使用的&#xff0c;用来实现单一或相关联功能的代码片段作用 能提高应用的模块性和代码的重复利用率函数的创建 第一函数的规则 1.函数代码块一def关键字开头&#xff0c;后接函数标识符名称和圆括号‘&…

python pip使用_Python——pip的安装与使用

pip 是 Python 包管理工具&#xff0c;该工具提供了对Python 包的查找、下载、安装、卸载的功能。目前如果你在 python.org 下载最新版本的安装包&#xff0c;则是已经自带了该工具。Python 2.7.9 或 Python 3.4 以上版本都自带 pip 工具。pip 官网&#xff1a;https://pypi.o…

php文章列表样式,PHPCMS V9 文章列表循环样式自定义方法

在此&#xff0c;再次分享Whidy的文章"phpcms文章列表循环不同样式制作方法"&#xff0c;下面CMSYOU来与大家具体分享&#xff0c;原地址为http://whidy.net/phpcms-list-with-different-style.html&#xff0c;在这里感谢。大家在用PHPCMS系统做网站的时候,有时候在…

查看ie保存的表单_解决浏览器保存密码自动填充问题

解决浏览器保存密码自动填充问题问题描述话说有一天&#xff0c;我如往常一样打开我的开发网站进行登录操作。浏览器很平常的在我们进行登录操作之后询问我是否需要记住密码&#xff0c;懒惰如我点击了记住密码。一切都很正常的进行着&#xff0c;没有什么异常发生。然而&#…

python mysql 正则表达式,MySQL之正则表达式(REGEXP)

MySQL中正则表达式通常被用来检索或替换符合某个模式的文本内容&#xff0c;根据指定的匹配模式匹配文中符合要求的特殊字符串。例如&#xff0c;从一个文件中提取电话号码&#xff0c;查找一篇文章中重复的单词或替换用户输入的敏感语汇等&#xff0c;这些地方都可以使用正则表…

pyecharts anaconda_Pyecharts安装使用和绘图案例

一次偶然的机会&#xff0c;接触了pyecharts&#xff0c;发现做图交互效果非常棒&#xff0c;便深究、摸索、入坑。这篇文章主要讲述自己在安装和使用中遇到的问题&#xff0c;解决方法&#xff0c;最后还会有pyecharts中自己比较喜欢的绘图功能。pyecharts是一款将python与ech…

如何把密度函数化为标准正态二维分布_概率微课:第三章(22) 二维随机变量及分布函数定义...

主要内容二维随机变量及分布函数定义更多系列视频概率微课&#xff1a;第二章(1) 随机变量的定义概率微课&#xff1a;第二章(2) 离散型随机变量概率微课&#xff1a;第二章(3) 两点分布及伯努利试验概率微课&#xff1a;第二章(4) 二项分布1概率微课&#xff1a;第二章(5) 二…

php中的缓,php中的缓存机制解释

php缓存的理解&#xff0c;先列出ob系列函数的作用&#xff1a;ob_start(func) 开启php缓存&#xff0c;回调函数是对缓存内数据的处理函数ob_gzhandler 作为 ob_start 的回调函数&#xff0c;对数据进行gz压缩ob_implicit_flush(true/false) 打开或关闭apache缓存&#xff0c…

php 下拉菜单多选get,Jquery实现select二级联动多选下拉菜单

前言平时虽然也有写前端&#xff0c;但是对于一些复杂的功能实现仍是一知半解。这次项目需要实现一个多选下拉菜单&#xff0c;并且该菜单要和上级下拉菜单保持联动。更加麻烦的是&#xff0c;我需要完成以下操作&#xff0c;以省、市二级联动菜单为例&#xff1a;选择河北省 &…

idea快捷键打开run的窗口_看了上篇文章,你不了解的IDEA操作……

注意作者&#xff1a;卡洛小豆。换种方式写文章&#xff0c;写的不好请多多见谅。未经授权&#xff0c;禁止转载夜&#xff0c;结束了一天的喧嚣后安静下来&#xff0c;伴随着远处路灯那微弱的光。风&#xff0c;毫无预兆地席卷整片旷野&#xff0c;撩动人的思绪万千。那是一个…

arma模型_Eviews经典案例 | 初学者必看!ARMA模型精讲

【本期分析师介绍】希音老师&#xff0c;《数据分析学堂》金牌分析师&#xff0c;对eviews的时间序列、ARMA、VAR、VECM、ARCH、GARCH等操作有深入的研究和实战经验&#xff0c;累计服务客户1000。今天邀请希音老师给大家分享eviews的详细操作步骤。长文预警!可在文末联系麻瓜学…

c# 路径下的最近文件夹_C#8.0的两个有趣的新特性以及gRPC

最近每天忙着跑很多地方&#xff0c;回家就不想动了&#xff0c;没什么心情写东西。今天有空&#xff0c;稍微写一点。下文中&#xff1a;关于C#语法特性的部分需要Visual Studio 2019支持。关于.NET Core的部分需要安装.NET 3.0 Preview4&#xff0c;低版本或许也可以但我没实…