Java网络爬虫实操（8）

上一篇：Java网络爬虫实操（7）

大家好，本篇文章介绍一下NetDiscovery爬虫框架里的downloader对象

1) 前言

面向对象设计仍然是目前编程的核心思想，从下面截图可以了解爬虫框架的主要对象：

程序在本地组织好一个request后，交给downloader从网络上抓取数据到本地，然后由parser处理本地的这些数据，最终生成可用的信息。

2) downloader介绍

downloader我们也称为下载器，主要功能就是访问网络并成功抓回我们要的数据：例如html网页、json/xml数据、二进制流（图片、office文档等）目前NetDiscovery支持的downloader实现有：

面向接口编程是这个框架的重要设计思想之一。

以下介绍部分downloader代码，这些代码的共同点是实现了Downloader接口。

作为程序开发者，你也可以实现接口com.cv4j.netdiscovery.core.downloader.Downloader，创建自己的下载器类。

UrlConnectionDownloader 这个用的是jdk自带的包，java.io、java.net

//1、构建一个URL对象
url = new URL(request.getUrl());
//2、获取一个HttpURLConnection对象
conn = url.openConnection();
//3、一堆设置
conn .setDoOutput(true);
conn .setDoInput(true);
conn .setRequestMethod("POST");
......
//4、访问网络服务
conn.connect();
//5、执行成功的话，获取结果
conn.getResponseCode();
conn.getInputStream();
复制代码

HttpClientDownloader 这个是用开源包apache httpclient实现的，代码就更加简洁优雅了。

//1、获取一个HttpManager对象(框架自己封装的)
HttpManager httpManager = HttpManager.get();
//2、然后把request扔进去，等结果就可以了.request也是框架封装的
httpManager.getResponse(request)
//3、等来结果后，进行处理@Overridepublic Response apply(CloseableHttpResponse closeableHttpResponse) throws Exception {String charset = null;if (Preconditions.isNotBlank(request.getCharset())) {charset = request.getCharset();  //针对一些还是GB2312编码的网页} else {charset = "UTF-8";}String html = EntityUtils.toString(closeableHttpResponse.getEntity(), charset);Response response = new Response();response.setContent(html.getBytes());response.setStatusCode(closeableHttpResponse.getStatusLine().getStatusCode());if (closeableHttpResponse.containsHeader("Content-Type")) {response.setContentType(closeableHttpResponse.getFirstHeader("Content-Type").getValue());}return response;}
复制代码