java对外发布接口文档_java之接口文档规范

一、xxxxxx获取指定任务爬取的所有url的接口

接口名称:xxxxxx获取指定任务爬取的所有url的接口

访问链接:

http://IP:PORT/crwalTask/findUrlExceptionById?ctId=ctIdVal&time=timeVal&limit=limitVal

传入参数类型:String,int

参数内容:

d8487a88f15f161ecbb511a37c54209a.png

返回类型:JSONArray

返回内容:

476524a7030d358950145bf8e53dbc40.png

调用方法Demo

f12d4a9165be0c481992f693fe5165bc.png

45d4990ca000170a06f9b53d87e16a39.png

1 public static void main(String[] args) throws Exception {

2 //爬虫访问接口地址

3 String req_url = "http://192.168.1.105:8080/crwalTask/findUrlExceptionById?ctId=ctIdVal&time=timeVal&limit=limitVal";

4 JSONArray jsonArray = httpRequest(req_url,"ba716af7-105c-481b-bf28-2e9231529947",SelectUtil.time,SelectUtil.number);//200

5 System.out.println(jsonArray);

6 }

7

8 public class SelectUtil {

9 public static final String time = "2018-03-05".replaceAll(" ", "=");//按时间筛选 格式"yyyy-mm-dd"或"yyyy-mm-dd HH:mm:ss"

10 public static final int number = 162;//查询限制数量

11 }

12 /**

13 * 获取指定任务爬取的所有url信息

14 * @param req_url 访问指定任务爬取的url的链接地址

15 * @param ctId 指定的任务Id

16 * @param time 查询时间

17 * @param limit 查询限制的条数

18 * @return

19 */

20 public static JSONArray httpRequest(String req_url,String ctId,String time,int limit) {

21 req_url = req_url.replace("ctIdVal",ctId);

22 req_url = req_url.replace("timeVal",time);

23 req_url = req_url.replace("limitVal",String.valueOf(limit));

24 StringBuffer buffer = new StringBuffer();

25 JSONArray jsonArray = null;

26 try {

27 URL url = new URL(req_url);

28 HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();

29

30 httpUrlConn.setDoOutput(false);

31 httpUrlConn.setDoInput(true);

32 httpUrlConn.setUseCaches(false);

33

34 httpUrlConn.setRequestMethod("POST");

35 httpUrlConn.connect();

36

37 // 将返回的输入流转换成字符串

38 InputStream inputStream = httpUrlConn.getInputStream();

39 InputStreamReader inputStreamReader = new InputStreamReader(inputStream, "utf-8");

40 BufferedReader bufferedReader = new BufferedReader(inputStreamReader);

41

42 String str = null;

43 while ((str = bufferedReader.readLine()) != null) {

44 buffer.append(str);

45 }

46 bufferedReader.close();

47 inputStreamReader.close();

48 // 释放资源

49 inputStream.close();

50 inputStream = null;

51 httpUrlConn.disconnect();

52 if("".equals(buffer.toString())){

53 String exception = "[\"exception\",\"查询的记录数超过240\"]";

54

55 jsonArray = JSONArray.fromObject(exception);

56 }else{

57 jsonArray = JSONArray.fromObject(buffer.toString());

58 }

59 } catch (Exception e) {

60 System.out.println(e.getMessage());

61 }

62

63 return jsonArray;

64 }

View Code

需要的Jar包:

commons-beanutils-1.9.3.jar

commons-collections-3.2.2.jar

commons-lang-2.6.jar

commons-logging-1.2.jar

ezmorph-1.0.6.jar

json-lib-2.4-jdk15.jar

Sql脚本

alter table urlpathmapper add exceptionInfo varchar(2048) comment 'URL运行错误信息'

alter table urlpathmapper add title varchar(256) comment '爬取标题'

alter table crawltaskmanage add checkFile varchar(8) comment '文件是否校验0是1否'

alter table crawltaskmanage add SimHashValue int(8) comment 'SimHash算法重复度比较值'

希望与广大网友互动??

点此进行留言吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/527165.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java怎么跟qtp脚本传参数_QTP多个Action之间传递参数的方法详解

脚本的朋友们都会碰到多个Action之间传递参数的问题,想当年我也是研究了好久才成功的,网上虽然有很多文章都在讲这个问题,但是大多都是雷同的抄来抄去不能解决实际问题,也有可能是我太笨了吧。下面我们来详细讲一下QTP多个Action之…

mysql 哈希缓存_MySQL数据库性能优化思路总结

本文主要是自己记录在MySQL开发学习过程中遇到的数据库新能优化方向利用缓存缓存这个方面,可以说是一个技术,也可以说是一个思路和方向从技术手段上讲使用一些缓存插件,只需要确定创建、更新缓存的时机,以及清理缓存的时机就可以了…

java画好看坦克_坦克大战第一节——画出自己的坦克(新手篇)

刚刚开始学习java,对java不是很熟悉,但是自己的兴趣挺喜欢java。现在自己在自学java做一个小游戏,坦克大战。自己现在完成了画出自己的坦克和坦克的移动方向。希望各位大神指导一下我这个刚刚学java的新手小白。我会每完成一个阶段&#xff0…

java中timer类包_Java~util包中Timer的使用, 演示cancel方法 和 对比schedule和scheduleAtFixedRate方法...

TimerTimer类的主要作用就是设置计划任务,但封装任务的类却是TimerTask类执行计划任务的代码要放人TimerTask的子类中,因为TimerTask是一个抽象类。而且要重写其run方法 因为这是一个抽象方法.常见问题任务执行完了, 但进程并没有销毁,通过源码查看构造方…

scala java抽象理解_Scala之类、特质和抽象类

1. 类1.1. 类的定义类的定义://定义Point类,构造器带有两个参数class Point(var x: Int, var y: Int) {//无返回值的类方法def move(dx: Int, dy: Int): Unit {x x dxy y dy}//没有参数但是返回值为String类型的重写方法override def toString: Str…

centos eclipse java_CentOS7 安装 Eclipse

咳咳, 虽然大神的 Linux 都是命令行的, 但是谁让 LZ 是 LJ, 桌面开俩终端不觉得更好么。。。CentOS7 安装 Eclipse, 比在 Window 系统下安装 Eclipse 要复杂得多。。参考 : https://segmentfault.com/a/11900000026517…

iap java md5_苹果应用内支付(iOS IAP)的流程与常用攻击方式

1. 客户端直接verify苹果的receipt 如果verify成功 自行发放商品2. 客户端将receipt传给server,由server进行验证并发放商品按照安全性原则, 客户端的所有信息都是不可信的,而且支付是业务中的核心模块,所以应该选择第二种。下面简要介绍下,第二种方式的简单流程。1. 客户端支付…

java opencv orb_opencv python ORB算法

理论ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法,这个算法是由Ethan Rublee, Vincent Rabaud, Kurt Konolige以及Gary R.Bradski在2011年一篇名为“ORB:An Efficient Alternative to SIFTor SURF”的文章中提出.ORB算法分为两部分&#…

php中define的参数_php中define的用法有哪些

php中define的用法:1、【define()】函数定义一个常量;2、定义常量名称及值,代码为【define(name,value,case_insensitive)】;3、定义一个大小写敏感的常量。php中define的用法:1、define()函数理解1define()函数定义一…

php 判断是否文件,php 判断是否一个文件的函数is_file()应用举例

php手册中关于此函数的介绍。php is_file 判断是否为文件的代码is_file() 函数检查指定的文件名是否是正常的文件。is_file — Tells whether the filename is a regular file用法bool is_file ( string $filename ) $file 为必选参数如果文件存在且为正常的文件则返回 TRUE。例…

php 登陆微博,PHP调用微博接口实现微博登录的方法示例

在平时项目开发过程中,除了注册本网站账号进行登录之外,还可以调用第三方接口进行登录网站。这里以微博登录为例。微博登录包括身份认证、用户关系以及内容传播。允许用户使用微博帐号登录访问第三方网站,分享内容,同步信息。1、首…

php计算结果排序,php-按从数组计算出的值对数组进行排序

我从阵列中的数据库中获得了用户的经纬度我有我的经纬现在,我要计算距离并使用该距离对数据库中的用户进行排序$mylat $_SESSION[lat];$mylng $_SESSION[lng];$statement $pdo->prepare("SELECT * FROM users");$statement->execute();$users $statement-&…

php获取音频的时长,PHP编程获取音频文件时长的方法【基于getid3类】

本文实例讲述了PHP编程获取音频文件时长的方法。分享给大家供大家参考,具体如下:问题:昨天在新增论坛功能的时候,移动端显示音频文件需要知道是多长的音频;具体解决方案如下:首先就是数据库中增加保存音频文…

php strlen ctf,CTF中的PHP反序列化漏洞简单分析

[PHP] 纯文本查看 复制代码<?php class start_gg{public $mod1;public $mod2;public function __construct() #把$mod1赋值为Call类对象{$this->mod1 new Call();}public function __destruct(){$this->mod1->test1();}}class Call{public $mod1;…

2017php行情,2017年蔬菜行情特点及未来蔬菜价格走势分析

2017年蔬菜行情整体特点一、菜价走势前期低迷&#xff0c;后期逐渐回升&#xff1a;1.2017年1&#xff5e;10月的蔬菜平均价处于近3年同期的最低点&#xff1b;2.1&#xff5e;5月菜价创近5年同期最低。南方产区的实心菜花、散菜花、西兰花、团生菜、白萝卜、大白菜&#xff0c…

php毕设,php毕设

于不要钱&#xff01;这里值得提一句&#xff0c;必须是通过牛客网链接新注册的华为云账号&#xff0c;并且要实名认证&#xff0c;24岁以下自动会认定学生身份&#xff0c;这样才可以参加本次活动正好毕设的项目要用到云服务器&#xff0c;这个活动出现的太及时了&#xff0c;…

java实现layui静态表格分页,layui——数据表格分页实例

layui实现数据表格table分页功能&#xff0c;异步加载&#xff0c;表格渲染。总体流程&#xff1a;layui的数据表格设置分页参数开启可以从请求中看到如下图&#xff0c;所以我们需要在后端控制器接收分页数据page和limit进行操作&#xff0c;下面直接上代码分页链接框架&#…

php去掉数字前的符号,php导出excel如何处理使得表格数字值前面的0不被去掉

“首先&#xff0c;我们了解一下excel从web页面上导出的原理。当我们把这些数据发送到客户端时&#xff0c;我们想让客户端程序(浏览器)以excel的格式读取它&#xff0c;所以把mime类型设为&#xff1a;application/vnd.ms-excel&#xff0c;当excel读取文件时会以每个cell的格…

php繁体输出,PHP输出控制功能在简繁体转换中的应用

概要&#xff1a;本文对PHP的输出控制功能进行了简单介绍并对其在简繁体转化中的应用给出了具体思路和实例一 PHP 输出控制功能介绍PHP作为当今流行的脚本语言之一&#xff0c;具有编写简便&#xff0c;执行速度快&#xff0c;扩充性好等优点。PHP的输出信息控制函数可以让你控…

php专家预约系统设计,基于ThinkPHP框架的IT服务预约系统的设计与实现

2014 年 11 月 中国高等教育学会教育信息化分会第十二次学术年会论文集 1 文章编号&#xff1a;1000-5641(2014)00— 基于ThinkPHP 框架的IT 服务预约系统的设计 与实现 何秀全 (上海外国语大学信息技术中心&#xff0c;上海 200083) 摘要&#xff1a;一些高校 IT 部门需要提供…