java爬虫jsoup_Java爬虫之利用Jsoup自制简单的搜索引擎

内容导读

在上述代码中，url为输入词条(暂时仅限于英文)，进入while循环可一直搜索，当输入为’exit’时退出。contentText为该词条的百度百科简介的网页形式，通过正则表达式将其中的文字提取出来。代码虽然简洁，但是功能还是蛮强大的，充分说明Java也是可以做爬虫的。

6969Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为： https://jsoup.org/，其API使用手册网址为：https://jsoup.org/apidocs/overview-summary.html .6969本次分享将实现的功能为：利用Jsoup爬取某个搜索词语(暂仅限英文)的百度百科的介绍部分，具体的功能介绍可以参考博客：Python爬虫——自制简单的搜索引擎。在上篇爬虫中我们用Python进行爬取，这次，我们将用Java来做爬虫，你没看错，就是Java.6969在Eclipse中加入Jsoup包，下载网址为：https://jsoup.org/download .6969爬虫的具体代码如下：

package baiduScrape;/* * 本爬虫主要利用Java的Jsoup包进行网络爬取 * 本爬虫的功能：爬取百度百科的开头介绍部分 * 使用方法：输入关键字(目前只支持英文)即可 */import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import java.net.*;import java.io.*;import java.util.Scanner;public class BaiduScrape { public static void main(String[] args) { Scanner input = new Scanner(System.in); String baseUrl = "https://baike.baidu.com/item/"; String url = ""; // 如果输入文字不是"exit"，则爬取其百度百科的介绍部分，否则退出该程序 while(true) { System.out.println("Enter the word(Enter 'exit' to exit):"); url = input.nextLine(); if(url.equals("exit")) { System.out.println("The program is over."); break; } String introduction = getContent(baseUrl+url); System.out.println(introduction+'\n'); } } // getContent()函数主要实现爬取输入文字的百度百科的介绍部分 public static String getContent(String url){ // 利用URL解析网址 URL urlObj = null; try{ urlObj = new URL(url); } catch(MalformedURLException e){ System.out.println("The url was malformed!"); return ""; } // URL连接 URLConnection urlCon = null; try{ urlCon = urlObj.openConnection(); // 打开URL连接 // 将HTML内容解析成UTF-8格式 Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url); // 刷选需要的网页内容 String contentText = doc.select("div.lemma-summary").first().text(); // 利用正则表达式去掉字符串中的"[数字]" contentText = contentText.replaceAll("\\[\\d+\\]", ""); return contentText; }catch(IOException e){ System.out.println("There was an error connecting to the URL"); return ""; } }}在上述代码中，url为输入词条(暂时仅限于英文)，进入while循环可一直搜索，当输入为’exit’时退出。contentText为该词条的百度百科简介的网页形式，通过正则表达式将其中的文字提取出来。代码虽然简洁，但是功能还是蛮强大的，充分说明Java也是可以做爬虫的。6969接下来是愉快的测试时间：