post请求搜索功能爬虫

<!--爬虫仅支持1.8版本的jdk-->
<!-- 爬虫需要的依赖-->
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.2</version>
</dependency>

<!-- 爬虫需要的日志依赖-->
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    <version>1.7.25</version>
</dependency>
爬虫配置文件位置及存放位置

package day02;
import org.apache.http.HttpEntity;
import org.apache.http.NameValuePair;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
import java.io.IOException;
import java.net.URISyntaxException;
import java.util.ArrayList;
import java.util.List;public class pacohngde {public static void main(String[] args) throws IOException{//注意这个方法是爬取网址所有位置//1.打开浏览器,创建Httpclient对象//        CloseableHttpclient httpclient = Httpclients.createDefault();CloseableHttpClient aDefault = HttpClients.createDefault();// 组合示例https://search.bilibili.com/all?keyword=药水哥&search_source=1//下面操作说白了就是吧位置组合起来使用主要用于搜索  说白就是把网站组合起来使用搜索功能//创建HttpPost对象,设置url访问地址HttpPost httpPost = new HttpPost()HttpPost httpPost = new HttpPost("https://search.bilibili.com/all");//设置参数//声明List集合,封装表单中的参数List<NameValuePair> params = new Arraylist<NameValuePair>();List<NameValuePair> params = new ArrayList<>();params.add(new BasicNameValuePair("keyword","药水哥"));//创建表单的Entity对象,第一个参数就是封装好的表单数据,第二个参数就是编码UrlEncodedFormEntity urlEncodedFormEntity = new UrlEncodedFormEntity(params,"utf8");httpPost.setEntity(urlEncodedFormEntity );System.out.println("要爬取的网址"+httpPost);//3.按回车,发起请求,返回响应,使用httpclient对象发起请求CloseableHttpResponse response = aDefault.execute(httpPost);//4.解析响应,获取数据//判断状态码是否是200     200为正常型号  其他为异常if(response.getStatusLine().getStatusCode()== 200){//获取爬取数据HttpEntity httpEntity =response.getEntity();//将爬取数据解析为utf-8格式String content = EntityUtils.toString(httpEntity,"utf8");//打印System.out.println(content);}//释放资源response.close();//关闭网页aDefault.close();}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/797225.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年下半年网络工程师上午真题及答案解析

1.当计算机突然断电时&#xff0c;( )中存储的信息会丢失。 A.光盘 B.ROM C.RAM D.硬盘 2.进程的状态有就绪态、运行态、阻塞态&#xff0c;其中( )的变化是不可能直接发生的。 A.就绪态到运行态 B.阻塞态到就绪态 C.运行态到阻塞态 D.阻塞态到运行态 3.分…

老板们注意了,AI可能在悄悄威胁你的工作

前天,科技新闻大佬The Register发了一篇文章,说的是AI在科研领域的管理角色越来越大,可能会让管理岗位变得过时,听起来是不是有点儿疯狂? ESMT Berlin的研究小伙伴们发现,AI能够以更大的规模和效率来管理研究项目,比如审查科学文献和预测创新化合物等等,而不是取代人类…

docker用来解决什么问题

2024年4月6日&#xff0c;周六下午 Docker用于解决软件开发、部署和运行过程中的一系列问题&#xff0c;包括但不限于以下几点&#xff1a; 环境一致性问题&#xff1a;在软件开发和部署过程中&#xff0c;由于不同环境的配置差异&#xff0c;经常会出现“在我的电脑上可以运行…

漂亮国的无人餐厅的机器人骚操作

导语 大家好&#xff0c;我是智能仓储物流技术研习社的社长&#xff0c;你的老朋友&#xff0c;老K。行业群 新书《智能物流系统构成与技术实践》 知名企业 读者福利&#xff1a; &#x1f449;抄底-仓储机器人-即买即用-免调试 智能制造-话题精读 1、西门子、ABB、汇川&#x…

线性结构与非线性结构

线性结构与非线性结构 数据结构包括:线性结构和非线性结构。 线性结构 1)线性结构作为最常用的数据结构&#xff0c;其特点是数据元素之间存在一对一的线性关系。 2)线性结构有两种不同的存储结构&#xff0c;即顺序存储结构和链式存储结构。 顺序存储的线性表称为顺序表&a…

react api:createContext

使用 createContext 创建组件能够提供与读取的 上下文&#xff08;context&#xff09;。 ** const SomeContext createContext(defaultValue) 在任意组件外调用 createContext 创建一个上下文。 import { createContext } from ‘react’; const ThemeContext createConte…

P2036 [COCI2008-2009 #2] PERKET(DFS)

# [COCI2008-2009 #2] PERKET ## 题目描述 Perket 是一种流行的美食。为了做好 Perket&#xff0c;厨师必须谨慎选择食材&#xff0c;以在保持传统风味的同时尽可能获得最全面的味道。你有 n 种可支配的配料。对于每一种配料&#xff0c;我们知道它们各自的酸度 s 和苦度 b。…

深入探讨string类的奥秘

标题&#xff1a;深入探索C String类的奥秘 一、String类简介 在C编程中&#xff0c;字符串处理是非常常见的一种操作。C标准库为我们提供了一种名为String的类&#xff0c;用于处理字符串。String类在头文件中定义&#xff0c;它提供了许多成员函数和友元函数&#xff0c;使…

大模型日报2024-04-07

大模型日报 2024-04-07 大模型资讯 EURUS&#xff1a;针对推理优化的大型语言模型套件&#xff0c;取得开源模型多项基准测试的最先进成果 摘要: EURUS是一套针对推理能力进行优化的大型语言模型&#xff08;LLMs&#xff09;&#xff0c;在多项多样化的基准测试中取得了最先进…

算法练习----力扣每日一题------7

原题链接 1483. 树节点的第 K 个祖先 - 力扣&#xff08;LeetCode&#xff09; 题目解析 要求编写一个TreeAncestor类&#xff0c;需要为其写两个函数。该类是一个无规律的多叉树&#xff0c;多叉树的父节点一定是0号节点 1. TreeAncestor(int n, vector<int>&…

Android Hal service compatibility matrix

hal service 1&#xff09;增加声明xml文件 <manifest version"1.0" type"framework"><hal format"aidl"><name>ltd.faw.native_log_service</name><interface><name>INativeLogServiceInterface</name…

学习vue3第十四节 Teleport 内置组件介绍

<Teleport></Teleport> 作用目的&#xff1a; 用于将指定的组件或者元素传送到指定的位置&#xff1b; 通常是自定义的全局通用弹窗&#xff0c;绑定到 body 上&#xff0c;而不是在当前元素上面&#xff1b; 使用方法&#xff1a; 接收两个参数 to: 要将目标传…

MySQL数据库——4、数据类型

在 MySQL 数据库中&#xff0c;数据类型用于定义表中列&#xff08;字段&#xff09;可以存储的数据类型。MySQL 提供了丰富的数据类型&#xff0c;可以满足不同类型数据的存储需求。 MySQL 中一些常用的数据类型及其用途&#xff1a; 整数类型&#xff08;Integer Types&…

图片切换案例

<!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <title>图片切换案例</title> </head> …

Day105:代码审计-PHP原生开发篇SQL注入数据库监控正则搜索文件定位静态分析

目录 代码审计-学前须知 Bluecms-CNVD-1Day-常规注入审计分析 emlog-CNVD-1Day-常规注入审计分析 emlog-CNVD-1Day-2次注入审计分析 知识点&#xff1a; 1、PHP审计-原生态开发-SQL注入&语句监控 2、PHP审计-原生态开发-SQL注入&正则搜索 3、PHP审计-原生态开发-SQ…

LeetCode-热题100:55. 跳跃游戏

题目描述 给你一个非负整数数组 nums &#xff0c;你最初位于数组的 第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标&#xff0c;如果可以&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 示例 1&…

Java文件流操作

一、文件创建和删除 public static void main(String[] args) throws IOException {File file new File("..\\hello-world.txt");//..表示在上机目录下创建hello-world.txtSystem.out.println(file.getPath());//返回当前相对路径System.out.println(file.getCanoni…

vue项目 设置浏览器地址栏图标及名称

在vue项目中&#xff0c;怎样设置浏览器tab图标及名称呢&#xff1f; 方案一 1.静态配置vue项目ico 1.1将需要展示的ico放到项目文件中 1.2在项目根目录public文件中的index.html添加如下代码 <link rel"icon" href"<% BASE_URL %>favicon.ico"…

联邦学习目前面临的挑战以及解决方案

学习目标&#xff1a; 联邦学习目前面临的挑战以及解决方案 学习内容&#xff1a; 联邦学习是一种新兴的人工智能基础技术&#xff0c;它在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下&#xff0c;在多参与方或多计算结点之间开展高效率的…

224.0.0.1到224.0.0.9的IP地址

224.0.0.1到224.0.0.9的IP地址属于D类组播地址&#xff0c;具体含义如下&#xff1a; 224.0.0.1&#xff1a;代表本子网中的所有系统&#xff08;All Systems on this Subnet&#xff09;&#xff0c;用于向该子网上的所有主机包括路由器发送信息。224.0.0.2&#xff1a;代表本…