php 开源 采集,迅睿CMS 火车头内容采集

采集工具:火车采集器 v7.6

采集模块:新闻 News

一、编写采集入库脚本接口

新建:./api/caiji.php

/**

* 数据采集

*/

define('IS_API', basename(__FILE__, '.php')); // 项目标识

define('SELF', pathinfo(__FILE__, PATHINFO_BASENAME)); // 该文件的名称

require('../index.php'); // 引入主文件

新建:./dayrui/My/Api/Caiji.php

$this->_module_init('news'); // news 是模块目录

if ($_GET['action'] == 'category') {

// 显示栏目

foreach ($this->module['category'] as $t) {

if ($t['child'] == 0 && $t['tid'] == 1) {

echo '

'.$t['name'].'<=>'.$t['id'].'

'.PHP_EOL;

}

}

} else {

// 入库数据

$data = $_REQUEST;

// 发布者id 1

$data['uid'] = 1;

// 发布者账号 admin

$data['author'] = 'admin';

// 主表字段

$fields[1] = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR));

$cache = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR.'_category_data'));

$cache && $fields[1] = array_merge($fields[1], $cache);

// 附表字段

$fields[0] = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR.'_data_0'));

$cache = $this->get_cache('table-'.SITE_ID, $this->content_model->dbprefix(SITE_ID.'_'.MOD_DIR.'_category_data_0'));

$cache && $fields[0] = array_merge($fields[0], $cache);

// 去重复

$fields[0] = array_unique($fields[0]);

$fields[1] = array_unique($fields[1]);

$save = [];

// 主表附表归类

foreach ($fields as $ismain => $field) {

foreach ($field as $name) {

isset($data[$name]) && $save[$ismain][$name] = $data[$name];

}

}

if (!$data['catid']) {

exit('栏目为空');

}

$save[1]['uid'] = $save[0]['uid'] = $data['uid'];

$save[1]['catid'] = $save[0]['catid'] = $data['catid'];

$save[1]['url'] = '';

$save[1]['status'] = 9; //9表示正常发布,1表示审核里面

$save[1]['hits'] = 0;

$save[1]['displayorder'] = 0;

$save[1]['link_id'] = 0;

$save[1]['comments'] = 0;

$save[1]['avgsort'] = 0;

$save[1]['inputtime'] = $save[1]['updatetime'] = SYS_TIME + rand(0, 7200);

$save[1]['inputip'] = '127.0.0.1';

// 验证标题重复

if ($this->content_model->table(SITE_ID.'_'.MOD_DIR)->where('title', $save[1]['title'])->counts()) {

echo '重复';exit;

}

$rt = $this->content_model->save(0, $save);

if ($rt['code']) {

exit('成功');

} else {

exit('失败');

}

}

exit;

脚本文件中可以定义发布者等一些预定义字段默认值,如果你不会php的话可以保持默认

然后关闭系统的跨站提交验证。

二、火车采集器编写web发布规则

e971d5225e417dc7fa4fdf0ffcf139ae.png

三、新建一个在线发布模块

48f5dfafa22459e0c50d3b6650a0a2f0.png

四、填写获取栏目列表的参数

3e87bccd5a4eddc74308a8cfe3b3e692.png

按照上面的格式写就ok了

五、内容发布规则参数

9d946889363d2e5e07719d9ca9bdb3c1.png

1 发布地址,按照上面的就ok

2 表单参数,这里是你采集的字段

3 成功标志码:成功

六、保存模块

3f4ddb5be3c92c34e840f879dbae8776.png

七、然后返回web发布配置里面

ac5e01fec28dbc2928716daa7dfdf91a.png

按照图中的参数配置,点“获取栏目”,如果可以获取到就表示成功了一大半了

八、测试入库发布

2e841b8963fc9419cf4ef160d0d6fb14.png

九、后台查看采集内容

19d75b112708e4b7d72ce652b4e8d9f6.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534199.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

英文数据集txt_YOLOv5在建筑工地中安全帽佩戴检测的应用(已开源+数据集)

点击上方“计算机视觉cv”即可“进入公众号”重磅干货第一时间送达前言随着人工智能的发展&#xff0c;现在越来越多的场景需要人工智能。在工厂的厂区中以安全为首&#xff0c;但工人普遍缺乏佩戴安全帽意识&#xff1b;工厂环境复杂&#xff0c;有各种各样的禁止进入的区域&a…

浪潮集团PHP,浪潮php实习第一天(初识php)

先推荐几个比较好的php初学者资料php manual.chm(可在csdn下载频道下载&#xff0c;可查到大部分函数)比较好的开发工具1 eclipse PDT(对eclipse比较熟悉的比较适应)2.zendStudio(公认的最好的php集成开发环境)php没有想象中的那么难学&#xff0c;不仅仅是它的语法&#xff0c…

检测到目标url存在内部ip地址泄露_Cendertron,动态爬虫与敏感信息泄露检测

Cendertron&#xff0c;动态爬虫与敏感信息泄露检测Cendertron Crawler RendertronCendertron https://url.wx-coder.cn/HinPM 是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具。其依托于 xe-crawler 的通用爬虫、调度与缓存模型&#xff0c;新增了 Monkey Test…

wamp2 php配置,wamp安装后自定义配置的方法

WampServer是目前应用非常广泛的PHP集成开发环境&#xff0c;本文就来讲述Wamp安装后自定义配置的方法。供大家参考借鉴。具体如下&#xff1a;wamp2.5安装完毕后&#xff0c;自己手动重新设置了apache的默认根目录。但是发现本机可以访问&#xff0c;别人不能访问。提示信息为…

屏幕坏点检测图片_iPhone新机如何检测质量 iPhone新机检测质量步骤【详解】

iPhone新机怎么检测好坏_iPhone新机检测质量方法 说实话&#xff0c;苹果对于iPhone的品控把握确实一代不如一代&#xff0c;特别是去年发布的iPhone7系列&#xff0c;很多用户都反映自己新买的手机存在划痕、屏幕发黄、掉漆等问题。那么当我们购买一部全新的iPhone7时&#xf…

php 安全mysql,关于php:我从mysql注入安全吗?

本问题已经有最佳答案&#xff0c;请猛点这里访问。这是否足以避免SQL注入&#xff1f;这里只需要mysql_real_escape_string()方法。在将数据插入数据库之前&#xff0c;不应该执行htmlentities()或urlencode()。这些方法通常是在呈现您提供给用户的视图期间编写的代码。避免SQ…

excel单元格斜线_怎么在excel中画斜线?怎么在excel表格中画斜线?

在excel表格中画斜线的技巧教程&#xff1a;1.在Excel中打开一个空白工作簿。 2.您可以在任何大小的单元格中执行此操作&#xff0c;但是如果先将其增大则更容易理解。为此&#xff0c;我们只需单击并按住第1行和第2行之间的线&#xff0c;然后将其拖动到所需的高度即可。然后对…

php报表数据打印机,通过打印机打印带打印功能的php表

我有以下php表,我如何只在php表中添加打印功能&#xff1f;点击一个按钮,下面的表格通过打印机打印,我试过’CTRL P’,我只得到页面的html部分示例页眉,页脚,导航栏,而不是结果php结果echo "FILEIDFirstnameLastnameIssue DateInterest RateTermsBalance OutstandingBalan…

xbox one s驱动_理想照进现实 理想ONE开始接受预定

2016年4月22日&#xff0c;车和家创始人&CEO李想在源码资本第二届码会年会首谈车和家&#xff0c;改造城市出行。车和家 创始人&CEO 李 想2016年码会年会演讲2019年4月10日&#xff0c;增程式智能电动车「理想ONE」正式公布售价并开始接受预订&#xff0c;并将于2019年…

two+few+arguments+php,PHP5.5 ~ PHP7.2 新特性整理

PHP5.5 ~ PHP7.2 新特性整理一、从PHP 5.5.x 移植到 PHP 5.6.x使用表达式定义常量在之前的 PHP 版本中&#xff0c; 必须使用静态值来定义常量&#xff0c;声明属性以及指定函数参数默认值。 现在你可以使用包括数值、字符串字面量以及其他常量在内的数值表达式来 定义常量、声…

date设置时间_解决 IDEA 无法找到 java.util.Date 的问题

原文首发于 https://studyidea.cn/问题最近在项目中频繁使用到 java.util.Date&#xff0c;但是使用 IDEA 提示查找 Date 类&#xff0c;却无法找到 java.util.Date。可以看到&#xff0c;智能提示的结果没有 java.util.Date。没办法&#xff0c;只能暂时手动导入该包。最近闲下…

mysql插入语句例句,一句简单的MySql插入语句怎么写 ?

守候你守候我insert into 表名 values(default,"名字","2011-04-15 12:22:25"); //default可以换成null------------------------------insert into 表名 (name,datetime) values("名字","2011-04-15 12:22:25");使用SQL语法大写&…

vue key重复_【第2112期】 import { reactive } from #39;vue#39;

前言今日早读文章由Anthony Fu授权分享。Anthony Fu&#xff0c;是 Vue 的 Core Team 的一员&#xff0c;在 Vue主要负责 vue/composition-api 这个项目的维护。这是一个面向 Vue 2 的插件&#xff0c;它在 Vue 2 中增加了 Vue 3 的 Composition API 的支持。最近也加入了 Vite…

matlab系统稳定性分析,控制系统稳定性分析的MATLAB实现

收稿日期 :200706220 基金项目 :周口师范学院青年基金资助项目(No. ZKNUQN200621) 作者简介 :刘  伟(1976 - ) ,女 ,河南太康人 ,助教 ,硕士 ,主要从事电力系统及其自动化仿真研究. 第 25 卷 第 2 期 周口师范学院学报 2008 年 3 月 Vol. 25 No. 2 Journal of Zhoukou Normal …

路由器下一跳地址怎么判断_网络基本功三:细说路由器

介绍以太网交换机工作在第二层即数据链路层&#xff0c;用于在同一网络内部转发以太网帧。但是&#xff0c;当源和目的IP地址位于不同网络时&#xff0c;以太网帧必须发送给路由器。路由器负责在不同网络间传输报文&#xff0c;通过路由表来决定最佳转发路径。当主机将报文发送…

HTML多选mysql,html多选下拉框 | 学步园

一个jquery ui,实现html的多选下拉框&#xff0c;在下拉里面加checkbox&#xff0c;不改变页面的提交特性&#xff0c;只是动态的改变select选中的多选数据。jsp页面例子&#xff1a;pageEncoding"UTF-8" import"java.util.*,java.text.*"%>String path…

利用逆矩阵解线性方程组_经典Jacobi方法用于求解矩阵特征值

1、引言求解线性方程组在许多领域中都有重要应用&#xff0c;写成矩阵的形式&#xff1a; 。求解 可以写成&#xff1a; &#xff0c;这里需要求解矩阵 的逆。《线性代数》中给出的方法主要有两类&#xff1a;1、设置增广矩阵&#xff0c;利用高斯消元法&#xff0c;通过初等行…

filename: core/loader.php,使用第三方包后出现的这个错误,你们都遇到过吗?

使用了一些第三方包&#xff0c;经常会发现&#xff0c;引入某些第三方包后(比如在laravel5.6中引入viacreative/sudo-su)&#xff0c;使用命令行工具会遇到这样的错误提示&#xff0c;卸载了第三方包后重新安装vendor目录问题立马解决。真是把人头发都愁白了&#xff1a;PHP F…

python函数的作用域_python学习第五篇 函数 变量作用域

原博文 2019-07-18 23:40 − 函数 函数是组合好的&#xff0c;可以重复使用的&#xff0c;用来实现单一或相关联功能的代码片段作用 能提高应用的模块性和代码的重复利用率函数的创建 第一函数的规则 1.函数代码块一def关键字开头&#xff0c;后接函数标识符名称和圆括号‘&…

js post中文乱码 php,AJAX之POST数据中文乱码如何解决

本文主要和大家分享AJAX之POST数据中文乱码如何解决&#xff0c;前端使用encodeURI进行编码&#xff0c;希望能帮助到大家。var param encodeURI(param);$.ajax({url: url,methodtype: "POST",async: false,timeout: 60000,contentType: "application/json&quo…