jar包下载：https://github.com/CrawlScript/WebCollector/blob/master/webcollector-2.73-alpha-bin.zip
使用介绍(超详细)：https://blog.csdn.net/wangmx1993328/article/details/81667284?utm_source=blogxgwz0#commentBox
网页抽取算法介绍：
1.https://blog.csdn.net/dreamzuora/article/details/83623754
2.https://blog.csdn.net/AJAXHu/article/details/48382381
【优秀文章保存】webcollector抽取新闻正文
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/509118.shtml
如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！相关文章
Problem E: 校庆
Problem E: 校庆 Time Limit: 1 Sec Memory Limit: 128 MBSubmit: 1520 Solved: 574Description 2017年10月28日是zstu的120周年校庆，撒花，撒花。为此KI决定设计一个程序，来庆祝我们的校庆： 给出某一天的日期year-month-date…
【转载】Jsoup设置代理ip访问
转载地址：https://blog.csdn.net/qq_36980713/article/details/80913248
import java.io.IOException;
import java.util.*;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import org.jsoup.Jsoup;
import org.jsoup.nod…
【转载保存】webCollector使用教程
github：https://github.com/CrawlScript/WebCollector gitee(里面新闻的例子不错): https://gitee.com/education
【转载保存】hadoop三个配置文件的参数含义说明core-site.xml、hdfs-site.xml、...
https://www.iyunv.com/thread-17698-1-1.html
【转载保存】mapreduce优秀文章
Hadoop MapReduce执行过程详解及MR中job参数及设置map和reduce的个数（带hadoop例子）：https://blog.csdn.net/helloxiaozhe/article/details/79246400
MapReduce–倒排索引：https://blog.csdn.net/jianjian1992/article/details/4…
爬虫遇到路径转换的解决方案
String href n.attr("abs:href");//jsoup自带的路径转换方法，有的时候行不通if("".equals(href)) {href n.attr("href");if (href.indexOf("http") < 0) {href getAbsoluteURL(url, href);}}SuppressWarnings("…
利用正则匹配url是否合法对于有的url会浪费过长时间使程序卡死，切记！
改进：改成匹配url是否为以某个结尾的，至于非法的url就让Jsoup.connect(url)把异常抛弃 //启动该正则匹配特别的慢
// public static String regex "^([hH][tT]{2}[pP]:/*|[hH][tT]{2}[pP][sS]:/*|[fF][tT][pP]:/*)(([A-Za-z0-9-~]).)([A-Za-z0-9-~…
【转载保存】Selenium Webdriver元素定位的八种常用方式
转载地址：https://www.cnblogs.com/qingchunjun/p/4208159.html
4245: KI的斐波那契 递归
4245: KI的斐波那契 Time Limit: 1 Sec Memory Limit: 128 MBSubmit: 562 Solved: 213Description KI十分喜欢美丽而优雅的斐波那契数列,最近他新认识了一种斐波那契字符串,定义如下 f (0) b, f (1) a, f (2) f (1) f (0) ab, f (3) f (2) f (1) aba, f (4) f (3) …
jetty9更改post请求长度
添加如下代码即可： static {System.setProperty("org.eclipse.jetty.server.Request.maxFormContentSize", String.valueOf(Integer.MAX_VALUE));System.setProperty("org.eclipse.jetty.server.Request.maxFormKeys", String.valueOf(Integer.…
Z 的解决)
java.lang.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncStarted()Z 的解决
jetty 9 嵌入式开发时，启动正常，但是页面一浏览就报错如下：
java.lang.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncStarted()Z 原因：jetty 9 依赖的servlet-api是3.X版本，如果项目中还有其它第…
Hive的UDF概念
首先我们学习hadoop的时候，为了让我们不太会java语言但是对SQL很熟悉的工程师能够操作基本的mapreduce计算过程，Hive被设计出来了。Hive就好比是hadoop在执行MR（mapreduce）程序的一个操作系统，因为我们可以用简单的SQL…
QAQ的幸运数字 数学
QAQ的幸运数字 Time Limit: 1000MS Memory Limit: 65536KBSubmit StatisticProblem Description 金牌巨 QAQ 经常靠涨人品 (Rising RP) 来 A 题。他的幸运数字是 4 和 7，因此他也经常在第 4 发或第 7 发提交时过题（误）。 一天，突 …