java爬虫基础知识,Java网络爬虫基础知识

引言

Java 网络爬虫具备很好的扩展性可伸缩性，其是目前搜索引擎开发的重要组成部分。例如，著名的网络爬虫工具 Nutch 便是采使用 Java 开发，该工具以 Apache Hadoop 数据结构为依托，提供了良好的批解决支持。

Java 网络爬虫涉及到 Java 的很多知识。本篇中将会详情网络爬虫中需要理解的 Java 知识以及这些知识主要使用于网络爬虫的哪一部分，具体包括以下内容：Maven 的用；

log4j 的用；

对象的创立；

集合的用；

正则表达式的用；

HTTP 状态码；

其余。

Maven 的用

Maven 是什么

Maven 是由 Apache 软件基金会所提供一款工具，使用于项目管理及自动构建。我们知道在构建一个 Java 工程时，需要用到很多 Jar 包，例如操作数据库需要用到 mysql-connector-java 以及其相关依赖的 Jar 包。而 Maven 工具便可以很方便的对我们在项目中用到的开源 Jar 包，进行很好的管理，比方下载某 Java 工程需要的 Jar 包及相关依赖 Java 包。

Maven 如何用

Maven 用项目对象模型(Project Object Model，POM)来配置，项目对象模型存储在名为 pom.xml 的文件中。以 Java 为例，我们可以在 Eclipse 中创立一个 Maven 工程。其中，Maven Dependencies 便存放着由 Maven 管理的 Jar 包。

正如前面所说，构建一个 Java 工程需要用很多 Jar 包，比方，在 Java 网络爬虫中，我们需要使用到数据库连接、请求网页内容、解析网页内容的相关 Jar 包时，我们可以在上图所示的 pom 文件中增加如下语句：

mysql

mysql-connector-java

5.1.35

org.jsoup

jsoup

1.8.2

org.apache.httpcomponents

httpclient

4.2.3

之后，我们会惊讶地发现，工程的 Maven Dependencies 中自动下载了相关 Jar 包以及其依赖的 Jar 包。

读者可以在 Maven Repository 网站中检索自己想要的 Jar 包，以及 Maven 操作语句。

log4j 的用

log4j 是什么

log4j 是一个基于 Java 的日志记录工具，曾是 Apache 软件基金会的一个项目。目前，日志是应使用软件中不可或者缺的部分。

log4j 怎样用

1. 用 Maven 下载 log4j 的 Jar 包，代码如下：

log4j

1.2.17

2. 在 src 目录下创立 log4j.properties 文本文件，并做相关配置(关于每个配置的具体含义，读者可参考博文《详细的 Log4j 用教程》):

### 设置###

log4j.rootLogger = debug,stdout,D,E

### 输出信息到控制抬 ###

log4j.appender.stdout = org.apache.log4j.ConsoleAppender

log4j.appender.stdout.Target = System.out

log4j.appender.stdout.layout = org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

### 输出DEBUG 级别以上的日志到=error.log ###

log4j.appender.D = org.apache.log4j.DailyRollingFileAppender

log4j.appender.D.File = E://logs/log.log

log4j.appender.D.Append = true

log4j.appender.D.Threshold = DEBUG

log4j.appender.D.layout = org.apache.log4j.PatternLayout

log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n

### 输出ERROR 级别以上的日志到=error.log ###

log4j.appender.E = org.apache.log4j.DailyRollingFileAppender

log4j.appender.E.File =E://logs/error.log

log4j.appender.E.Append = true

log4j.appender.E.Threshold = ERROR

log4j.appender.E.layout = org.apache.log4j.PatternLayout

log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n

3. 实例程序，如下所示：

package log4j;

import org.apache.commons.logging.Log;

import org.apache.commons.logging.LogFactory;

public class Test {

static final Log logger = LogFactory.getLog(Test.class);

public static void main(String[] args) {

System.out.println("hello");

logger.info("hello world");

logger.debug("This is debug message.");

logger.warn("This is warn message.");

logger.error("This is error message.");

}

基于此程序，我们即可以看到在我们工程的根目录下会产生一个日志文件 error.log 和 log.log。

在网络爬虫中，我们可以用日志记录程序可能出错的地方，监控程序的运行状态。

对象的创立

在 Java 中，经常用 new 关键字来创立一个对象。例如，在爬取京东商品的id、product_name(商品名称)、price(价格)时，我们需要将每个商品的信息封装到对象里。

JdInfoModel jingdongproduct = new JdInfoModel();

在爬虫中，我们要操作 JdInfoModel 类中的变量(即id、product_name、price)，可以用 private 变量定义的方式。并且，用 set() 与 get() 方法对数据进行设置(爬取数据的封装)和获取用(爬取数据的存储)。下面的代码为 JdInfoModel 类：

package model;

public class JdInfoModel {

private int id;

private String product_name;

private double price;

public int getId() {

return id;

}

public void setId(int id) {

this.id = id;

}

public String getProduct_name() {

return product_name;

}

public void setProduct_name(String product_name) {

this.product_name = product_name;

}

public double getPrice() {

return price;

}

public void setPrice(double price) {

this.price = price;

}

集合的用

网络爬虫离不开对集合的操作，这里涉及到 List、Set、Queue、Map 等集合的操作。

List 和 Set 集合的用

List 的特征是其元素以线性方式存储，集合中可以存放重复对象。比照而言，Set 集合中的对象不按特定的方式排序，并且没有重复对象。在网络爬虫中，可以用 List存储待爬的 URL 列表。例如：

//List集合的创立

Listurllist =new ArrayList();

urllist.add("https://movie.douban.com/subject/27608425");

urllist.add("https://movie.douban.com/subject/26968024");

//第一种遍历方式

for( String url : urllist ){

System.out.println(url);

}

//第二种遍历方式

for( int i=0; iSystem.out.println(i+":"+urllist.get(i));

}

//第三种遍历方式

Iteratorit = urllist.iterator();

while ( it.hasNext() ){

System.out.println(it.next());

}

同时我们也可以用上面 List来封装具体的实例，即爬虫所采集到的数据。Set 集合的用与 List 集合相似，这里就不过多讲解了。

Map 的用

Map 是一种把键对象和值对象进行映射的集合，它的每一个元素都包含一对键对象和值对象，其中键对象不可以重复。Map 不仅在网络爬虫中常使用，也常在文本挖掘算法的编写中用。在网络爬虫中，可以用 Map 过滤少量重复数据，但并建议用 Map 对大规模数据去重过滤，起因是 Map 有空间大小的限制。比方，用网络爬虫爬取帖子时，可能遇到置顶帖，而置顶帖可能会与下面的帖子重复出现。以下程序为 Map 的用案例：

//Map的创立

Mapmap = new HashMap();

//值的增加，这里假设是爬虫中的产品id以及每个产品id对应的销售量

map.put("jd1515", 100);

map.put("jd1516", 300);

map.put("jd1515", 100);

map.put("jd1517", 200);

map.put("jd1518", 100);

//第一种方法遍历

for (String key : map.keySet()) {

Integer value = map.get(key);

System.out.println("Key = " + key + ", Value = " + value);

}

//第二种方法遍历

Iterator> entries =map.entrySet().iterator();

while (entries.hasNext()) {

Entryentry = entries.next();

System.out.println("Key = " + entry.getKey() + ", Value = " + entry.getValue());

}

//第三种方法遍历

for (Entryentry : map.entrySet()) {

System.out.println("key= " + entry.getKey() + " and value= " + entry.getValue());

}

Queue 的用

队列(Queue)用链表结构存储数据，是一种特殊的线性表，它只允许在表的前台进行删除操作，而在表的后台进行插入操作。LinkedList 类实现了 Queue 接口，因而我们可以把 LinkedList 当成 Queue 来使用。Queue 常使用来存待爬 URL 队列。

Queuequeue = new LinkedList();

//增加元素

queue.offer("https://www.douban.com/people/46077896/likes/topic/");

queue.offer("https://www.douban.com/people/1475408/likes/topic");

queue.offer("https://www.douban.com/people/3853295/likes/topic/");

boolean t = true;

while (t) {

//假如Url队列为空,中止执行程序,否则请求Url

if( queue.isEmpty() ){

t = false;

}else {

//请求的url

String url =queue.poll();

System.out.println(url);

//这里要写请求数据,获取相应状态码，假如状态码为200,则解析数据;假如为404，url移除队列；否则该url重新如列

}

正则表达式的用

正则表达式，是在解析数据(HTML 或者 JSON 等)时，常使用的方法。举个列子，我想从下面的语句中提取使用户的 id(75975500)：

后面，我会详情解析工具 jsoup，其可以解析取得“http://i.autohome.com.cn/75975500”。接着，便可以用正则表达式提取 75975500。

String url = "http://i.autohome.com.cn/75975500";

String user_id = url.replaceAll("\\D", ""); //取代所有的非数字字符

System.out.println(user_id);//输出的结果即为75975500

如下表所示，是 Java 中少量常使用的基本正则表达式。

HTTP 状态码

当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含 HTTP 状态码的信息头(Server Header)使用以响应浏览器的请求。在网络爬虫向后端请求一个 URL 地址时，便会返回状态码，该状态码中包含丰富的信息。例如，200表示请求成功，成功获取到了后端传的数据(HTML 或者 JSON 等)；301资源(网页等)被永久转移到其它 URL；404请求的资源(网页等)不存在等。以下是 HTTP 状态码的分类。