Java流与链表：探索java.util.stream与LinkedList的交汇点

在现代Java开发中，流（Streams）和链表（LinkedList）都是强大且常用的数据处理工具。java.util.stream提供了高效的方式来处理数据流，而LinkedList则是java.util包中的经典集合实现。本文将探索它们的交汇点，展示如何将二者结合使用，并通过代理IP技术实现网络爬虫的实例。

概述

流（Streams）是一种用于处理数据序列的抽象，可以执行大规模数据操作如过滤、排序和聚合。链表（LinkedList）是双向链表的实现，适用于频繁插入和删除操作的数据结构。在实际开发中，结合使用流和链表，可以编写出简洁且高效的代码。

细节

LinkedList的基本操作

LinkedList是Java集合框架的一部分，提供了丰富的操作方法。以下是一些基本的使用示例：

import java.util.LinkedList;public class LinkedListExample {public static void main(String[] args) {LinkedList<String> list = new LinkedList<>();// 添加元素list.add("A");list.add("B");list.add("C");// 遍历元素for (String element : list) {System.out.println(element);}// 删除元素list.remove("B");// 输出修改后的列表System.out.println("Updated List: " + list);}
}

使用Stream处理LinkedList

结合Stream可以更高效地处理LinkedList中的数据。以下示例展示了如何对LinkedList进行过滤和映射操作：

import java.util.LinkedList;
import java.util.List;
import java.util.stream.Collectors;public class StreamWithLinkedList {public static void main(String[] args) {LinkedList<String> list = new LinkedList<>();list.add("A");list.add("B");list.add("C");list.add("D");// 使用Stream过滤并映射元素List<String> filteredList = list.stream().filter(element -> !element.equals("B")).map(String::toLowerCase).collect(Collectors.toList());System.out.println("Filtered List: " + filteredList);}
}

实现网络爬虫

为了实现网络爬虫并使用代理IP，我们需要用到HttpClient库。以下示例展示了如何使用HttpClient结合代理IP抓取网页内容：

首先，添加依赖项（如果使用Maven）：

<dependency><groupId>org.apache.httpcomponents.client5</groupId><artifactId>httpclient5</artifactId><version>5.1.2</version>
</dependency>

然后，编写代码实现爬虫功能：

import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.net.ProxySelector;
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.util.LinkedList;
import java.util.List;
import java.util.stream.Collectors;public class ProxyCrawler {public static void main(String[] args) {// 使用亿牛云爬虫代理的配置信息String proxyHost = "www.16yun.cn";int proxyPort = 12345;String proxyUser = "your_username";String proxyPass = "your_password";// 设置代理HttpClient client = HttpClient.newBuilder().proxy(ProxySelector.of(new InetSocketAddress(proxyHost, proxyPort))).authenticator(new ProxyAuthenticator(proxyUser, proxyPass)).build();// 目标URL列表LinkedList<String> urls = new LinkedList<>();urls.add("http://example.com/page1");urls.add("http://example.com/page2");urls.add("http://example.com/page3");// 抓取网页内容List<String> results = urls.stream().map(url -> fetchContent(client, url)).collect(Collectors.toList());// 输出抓取结果results.forEach(System.out::println);}private static String fetchContent(HttpClient client, String url) {try {HttpRequest request = HttpRequest.newBuilder().uri(URI.create(url)).build();HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());return "URL: " + url + ", Content: " + response.body();} catch (Exception e) {return "Error fetching " + url + ": " + e.getMessage();}}
}class ProxyAuthenticator extends java.net.Authenticator {private final String user;private final String password;public ProxyAuthenticator(String user, String password) {this.user = user;this.password = password;}@Overrideprotected java.net.PasswordAuthentication getPasswordAuthentication() {return new java.net.PasswordAuthentication(user, password.toCharArray());}
}