python如何获取请求的url_听说你在学习:如何通过代码请求URL地址

最近比较忙碌,都没有时间更新公众号文章,表示比较惭愧。最近翻看了一下自己的博客,发现这篇文章的内容还是挺实用,所以,想分享给大家,欢迎阅读。在后续,我会从一个范围的角度进行编写一系列文章,便于各位深层次的理解,而不是片面的了解知识点,并且会有规律性的更新文章,期望你的持续关注。

另外,我也官宣一下自己的花名为【小蜗牛】,愿我们都能像小蜗牛一样,一步一个脚印,坚持不懈,达到我们的梦想彼岸。

f6eafb4004102350a5a05233ee05c3e3.png

情景引入

旁白:

今天兴致极好,开开心心的与小白玩着“网页小游戏”
1.小白

真开心呀,好久没有玩这些网页游戏了呢。
2.小蜗牛

确实,工作一来,哪有这样的闲情逸致。
1.小白

不过,你看,咱们玩的游戏都是通过网页链接请求,然后返回给咱们这么多对应的响应内容,它这里感觉好神奇。2.小蜗牛

当然,它里面涉及到的内容还是非常多,可不是一下就能完整掌握的,你这思考问题的能力大大加强了嘛!
1.小白

这可不嘛,学习到老才行呢。不过,我经常听到同事说,快给我一个接口地址,我要向你发出请求获取信息啦,这里面到底是怎么实现的,一直都没有机会去请教他们。2.小蜗牛

虚心求教,这是非常值得的,不要害怕,不懂就要问,这才是应该有的态度。既然,这样的话,那我就给你科普科普。这不,正好咱们也可以“中场休息”一会,再继续游戏呢。
1.小白

好呀好呀!学习,游戏两不误,岂不是人生一大快事!2.小蜗牛

小白,你已经长大了!!

引言

当我们输入一个URL然后回车,页面会显示出对应的功能信息,那么它这个过程到底是如何的呢?其实,这里面涉及到的内容会非常多,比如缓存,地址解析,http协议,网络请求,OSI模型,服务器数据组装,页面渲染等等。这里,就不会说得那么详细(PS:但是这个链路过程,建议各位看官可以好好的琢磨琢磨,分析分析),本文主要是针对,如果对一个已知URL发出请求并获取到其实时的响应信息;

实际场景

我想,在实际开发中经常会碰到这样的事情,就是:需要Http请求其他同事开发的接口,而获取对应需要的内容,比如下载一个URL的文件或者获取数据列表信息等等以及调用第三方公共接口信息。那么,必不可少的就是通过代码去发出一个http的请求。那么,具体如何操作呢?客观,慢慢往下看!

操作方法

现在的方法有很多,且不限于本文说到的几种方式哦!本文主要采取循序渐进的方式,并没有说哪一种方法就是最好的,具体问题具体分析,要以一种开放的心态看待这个问题。

HttpUrlConnection

请求步骤

PS:该方式是最原始的方式,所以值得学习其内部执行流程;

package com.hnu.scw.utils;import java.io.*;import java.net.HttpURLConnection;import java.net.URL;import java.net.URLEncoder;import java.util.Map;/** * @ Author     :scw * @ Date       :Created in 上午 10:34 2020/5/24 0024 * @ Description:请求URL的post方法工具类 * @ Modified By: * @Version: $version$ */public class HttpPostUtils {    /**     * 请求URL的post请求     * @param url  请求url地址     * @param parameters 请求参数     * @return 响应结果字符串     * @throws Exception 异常信息     */    public static String doRequestPostMethod(String url, Map<String, Object> parameters) throws Exception {        // 将参数转为String(PS:因为如果URL需要参数的话,那么都是采取字符串字节的形式)        String params = convertRequestParameter(parameters);        URL restURL = new URL(url);        // 请求失败的次数(PS:便于减少由于某次的网络抖动而影响请求)        int errorNumber = 0;        while( errorNumber < 3 ) {            try {                HttpURLConnection conn = (HttpURLConnection) restURL.openConnection();                // 设置请求超时时间(PS:可以不设置)                conn.setConnectTimeout(5000);                conn.setReadTimeout(5000);                // 请求方式(PS:这里采取POST请求,如果需要GET请求,则为GET)                conn.setRequestMethod("POST");                // 设置请求的数据格式为JSON                conn.setRequestProperty("Content-Type", "application/json;charset=UTF-8");                conn.setRequestProperty("Connection", "Keep-Alive");                // 是否从httpUrlConnection读入,默认情况下是true                conn.setDoOutput(true);                // 是否允许用户交互,假设为true,则允许用户交互的上下文中对此URL进行检查(比如对话框验证交互)。                conn.setAllowUserInteraction(false);                // 获取输出流(PS:这里方式很多,这里提供几种)                // 方式一                PrintStream ps = new PrintStream(conn.getOutputStream());                ps.print(params);                ps.close();                // 方式二               /* DataOutputStream out = new DataOutputStream(conn.getOutputStream());                out.write(params.getBytes("UTF-8"));                out.flush();                out.close();*/                // 建立连接                conn.connect();                // 获取响应输入流                BufferedReader bReader = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));                String line;                String resultStr = "";                // 拼接响应内容                while (null != (line = bReader.readLine())) {                    resultStr += line;                }                bReader.close();                // 返回相应结果(PS:为字符串格式)                return resultStr;            } catch (Exception e) {                // 错误次数+1                errorNumber++;            }        }        throw new Exception("当前网络异常存在抖动,请稍后再试");    }    /**     * 将map形式的参数转为字符串形式     * @param parameters 请求参数     * @return 请求参数字符串     */    private static String convertRequestParameter(Map<String, Object> parameters) throws UnsupportedEncodingException {        StringBuilder sb = new StringBuilder();        // 遍历接参数内容        for (Map.Entry<String,Object> param : parameters.entrySet()) {            if (sb.length() != 0) {                sb.append('&');            }            // 防止中文乱码            sb.append(URLEncoder.encode(param.getKey(), "UTF-8"));            sb.append('=');            sb.append(URLEncoder.encode(String.valueOf(param.getValue()), "UTF-8"));        }        return sb.toString();    }}

OkHttpClient

添加依赖

<dependency>            <groupId>com.squareup.okhttp3groupId>            <artifactId>okhttpartifactId>            <version>3.8.0version>        dependency>

请求步骤(GET和POST方式)

package com.hnu.scw.utils;import okhttp3.*;import javax.net.ssl.HostnameVerifier;import javax.net.ssl.SSLSession;import java.io.*;import java.net.HttpURLConnection;import java.net.URL;import java.net.URLEncoder;import java.util.Map;/** * @ Author     :scw * @ Date       :Created in 上午 10:34 2020/5/24 0024 * @ Description:请求URL的post方法工具类 * @ Modified By: * @Version: $version$ */public class HttpPostUtils {        /**     * 执行 POST 请求     * @param url  请求的URL     * @return 响应结果     */    public String doRequestPostByOkHttpClient(String url) {        // ssl的认证重写(PS:用于防止请求URL时有些系统会进行安全验证而导致请求失败)        OkHttpClient okHttpClient = new OkHttpClient.Builder().hostnameVerifier(                new HostnameVerifier() {                    @Override                    public boolean verify(String s, SSLSession sslSession) {                        return true;                    }                }        ).build();        // 如果是JDK1.8以上的,那么可以采取lambda重写匿名函数的方式       /* OkHttpClient okHttpClient = new OkHttpClient.Builder().hostnameVerifier(                (s, sslSession) ->{                    return true;                }        ).build();*/        // 设置请求的参数信息        RequestBody requestBody = new FormBody.Builder()                .add("key1", "test")                .add("key2", "hello")                .build();        // 封装请求头信息        Request request = new Request.Builder()                .url(url)                .post(requestBody)                .addHeader("Cookie", "JSESSIONID=299571E0E40DA6E9962E41B87A669BBB")                .addHeader("content-type", "application/json")                .addHeader("cache-control", "no-cache")                .build();        Call call = okHttpClient.newCall(request);        try {            Response response = call.execute();            // 返回相应结果            return response.body().string();        } catch (IOException e) {            e.printStackTrace();        }        return null;    }}

SpingRestTemplate

请求步骤(GET和POST方式)

方式一

package com.hnu.scw.utils;import okhttp3.*;import org.apache.poi.ss.formula.functions.T;import org.springframework.http.HttpEntity;import org.springframework.http.HttpHeaders;import org.springframework.http.MediaType;import org.springframework.http.ResponseEntity;import org.springframework.web.client.RestTemplate;import javax.net.ssl.HostnameVerifier;import javax.net.ssl.SSLSession;import java.io.*;import java.net.HttpURLConnection;import java.net.URL;import java.net.URLEncoder;import java.util.Map;/** * @ Author     :scw * @ Date       :Created in 上午 10:34 2020/5/24 0024 * @ Description:请求URL的post方法工具类 * @ Modified By: * @Version: $version$ */public class HttpPostUtils {        /**     * 执行 POST 请求 通过Spring 的restTemplate方式     * @param url 请求URL     * @param parameter 请求参数     * @return 响应结果字符串     */    public String doRequestPostByRestTemplate(String url, Object parameter) {        RestTemplate template = new RestTemplate();        HttpHeaders headers = new HttpHeaders();        // 设置请求的格式为:json        MediaType type = MediaType.parseMediaType("application/json;charset=UTF-8");        headers.setContentType(type);        HttpEntity entity = new HttpEntity(parameter,headers);        // POST方式,如果要用GET,则为getForObject即可        String result = template.postForObject(url, entity, String.class);        return result;    }    /**     * 执行 POST 请求 通过Spring 的restTemplate方式二     * @param url  请求URL     * @param parameter 请求参数(PS:一般为java实体)     * @param backDto 相应的结果实体     * @return 响应结果实体     */    public  T doRequestPostByRestTemplate(String url, Object parameter, Class backDto) {        RestTemplate template = new RestTemplate();        HttpHeaders headers = new HttpHeaders();        // 设置请求的格式为:json        MediaType type = MediaType.parseMediaType("application/json;charset=UTF-8");        headers.setContentType(type);        HttpEntity entity = new HttpEntity(parameter,headers);        // POST方式,如果要用GET,则为getForObject即可        String result = template.postForObject(url, entity, String.class);        // 将json字符串转为实体        return JSON.parseObject(result, backDto);    }}

方式二:

package com.hnu.scw.utils;import okhttp3.*;import org.apache.poi.ss.formula.functions.T;import org.springframework.http.HttpEntity;import org.springframework.http.HttpHeaders;import org.springframework.http.MediaType;import org.springframework.http.ResponseEntity;import org.springframework.web.client.RestTemplate;import javax.net.ssl.HostnameVerifier;import javax.net.ssl.SSLSession;import java.io.*;import java.net.HttpURLConnection;import java.net.URL;import java.net.URLEncoder;import java.util.Map;/** * @ Author     :scw * @ Date       :Created in 上午 10:34 2020/5/24 0024 * @ Description:请求URL的post方法工具类 * @ Modified By: * @Version: $version$ */public class HttpPostUtils {        /**     * 执行 POST 请求 通过Spring 的restTemplate方式的方式二     * @param url 请求URL     * @param parameter 请求参数     * @return 响应结果实体类型     */    public <T> T doRequestPostByRestTemplateEntity(String url, Object parameter, Class<T> backDto) {        RestTemplate template = new RestTemplate();        HttpHeaders headers = new HttpHeaders();        // 设置请求的格式为:json        MediaType type = MediaType.parseMediaType("application/json;charset=UTF-8");        headers.setContentType(type);        HttpEntity entity = new HttpEntity(parameter,headers);        // POST方式,如果要用GET,则为getForEntity即可        ResponseEntity<T> tResponseEntity = template.postForEntity(url, entity, backDto);        return tResponseEntity.getBody();    }}

81e2b386ef2c4b5a8c43ba2e28c6b458.png

总结

  1. 本文讲述的方式各自有各自的应用场景,并不存在哪一种就是最好的形式(PS:当然不仅仅只有这些方式,比如还有apache的httpClient,CloseableHttpClient以及springCloud中常见的Fegin)。

  2. 实际工作中发出http的请求是相对的多,对于其内部的执行流程和实现原理要去掌握(PS:网络协议+socket+netty都是需要掌握)。

  3. 针对常用的场景和技术要学会去总结,分析各自的利弊,而不要只会用而不明白其内部。

  4. 通过阅读本文内容之后,建议将“输入一个URL地址,然后回车敲击显示结果”,这个链路的整个过程都去学习和掌握,你会发现更多的美哦!

小彩蛋:如果觉得公众号文章内容看起来显得比较多,那么还可以在我的博客中进行查阅哦,还有更多的惊喜等着你的光顾。

https://blog.csdn.net/Cs_hnu_scw/article/details/106311101

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/572528.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在sql中将表建在别的构件中用什么语句_SQL实战

学习主题&#xff1a;SQL学习目标&#xff1a;1 掌握子查询1. 什么是子查询(1) 什么是子查询&#xff1f;答&#xff1a;当一个查询是另一个查询的条件时&#xff0c;称之为子查询。简而言之&#xff1a;嵌套查询(2) 子查询执行的顺序是什么&#xff1f;答&#xff1a;先进行内…

数据结构入门之链表(C语言实现)

这篇文章主要是根据《数据结构与算法分析--C语言描述》一书的链表章节内容所写&#xff0c;该书作者给出了链表ADT的一些方法&#xff0c;但是并没有给出所有方法的实现。在学习的过程中将练习的代码记录在文章中&#xff0c;并添加了一些在测试中需要的函数&#xff0c;因此可…

php 验证码需开启gd2

转载于:https://www.cnblogs.com/zhangj391/p/6794555.html

python中如何将字典直接变成二维数组_python基础知识(列表、字典、二维数组)...

记得改参数&#xff01;&#xff01;&#xff01;(1)简述列表(list)结构的特点。List(列表)List的元素以线性方式存储&#xff0c;可以存放重复对象&#xff0c;List主要有以下两个实现类&#xff1a;ArrayList : 长度可变的数组&#xff0c;可以对元素进行随机的访问&#xff…

mysql动态代理_超全MyBatis动态代理详解(绝对干货)

前言假如有人问你这么几个问题&#xff0c;看能不能答上来Mybatis Mapper 接口没有实现类&#xff0c;怎么实现的动态代理JDK 动态代理为什么不能对类进行代理(充话费送的问题)抽象类可不可以进行 JDK 动态代理(附加问题)答不上来的铁汁&#xff0c;证明 Proxy、Mybatis 源码还…

python pygame鼠标点击_Python中pygame的mouse鼠标事件用法实例

本文实例讲述了Python中pygame的mouse鼠标事件用法。分享给大家供大家参考&#xff0c;具体如下&#xff1a;pygame.mouse提供了一些方法获取鼠标设备当前的状态pygame.mouse.get_pressed - get the state of the mouse buttons get the state of the mouse buttonspygame.mous…

java 建模_Java设计模式菜鸟系列(两)建模与观察者模式的实现

观察者(Observer)模式定义&#xff1a;在对象之间定义了一对多的依赖关系&#xff0c;这样一来。当一个对象改变状态时&#xff0c;依赖它的对象都会收到通知并自己主动跟新。Java已经提供了对观察者Observer模式的默认实现&#xff0c;Java对观察者模式的支持主要体如今Observ…

php多条件查询

需要查询的表格 代码&#xff1a; <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns"http://www.w3.org/1999/xhtml"> <head> <…

Airbert: In-domain Pretraining for Vision-and-Language Navigation

题目&#xff1a;Airbert&#xff1a;视觉和语言导航的域内预训练 摘要 为了解决VLN数据集稀缺的问题&#xff0c;本文创建了一个数据集BNB。我们首先从在线租赁市场的数十万个列表中收集图像标题 (IC) 对。接下来&#xff0c;我们使用 IC 对提出自动策略来生成数百万个 VLN …

实例讲解webpack的基本使用第二篇

这一篇来讲解一下如何设置webpack的配置文件webpack.config.js 我们新建一个webpack-demo的项目文件夹&#xff0c;然后安装webpack 执行如下命令 在项目文件夹下&#xff0c;建一个dist文件夹来放打包后的文件&#xff0c;以及一个src文件夹来放我们的代码文件 再建立一个inde…

java system.out.read_一个java文件操作小程序 system.out.in buffer read

按键 i buffer readabc123ET 0 97 代码停在此&#xff0c;等待输入 触发代码运行dET 0 …

java 当地时间_【JAVA】获取当地时间

Java代码 importjava.text.SimpleDateFormat;SimpleDateFormat formatter newSimpleDateFormat ("yyyy年MM月dd日 HH:mm:ss ");Date curDate newDate(System.currentTimeMillis());//获取当前时间String str formatter.format(curDate);impo…

java 优化线程_Java | 多线程调优(下):如何优化多线程上下文切换?

通过上一讲的讲解&#xff0c;相信你对上下文切换已经有了一定的了解了。如果是单个线程&#xff0c;在 CPU 调用之后&#xff0c;那么它基本上是不会被调度出去的。如果可运行的线程数远大于 CPU 数量&#xff0c;那么操作系统最终会将某个正在运行的线程调度出来&#xff0c;…

Go -- log4go日志

折腾&#xff1a; 【已解决】go语言中实现log信息同时输出到文件和控制台(命令行&#xff09; 期间&#xff0c;已经通过io的MultiWriter搞定了同时输出信息到文件和console&#xff0c;但是不支持level。 所以&#xff0c;再去试试这个log4go。 github.com/keepeye/log4go 【折…

Jmeter响应中中文乱码怎么解决?

在jmeter的bin目录下有一个jmeter.properties的文件&#xff0c;打开它&#xff0c;搜索sampleresult.default.encoding&#xff0c;把它的注释打开&#xff0c;也就是把最前面的#去掉&#xff0c;改成sampleresult.default.encodingUTF-8&#xff0c;保存&#xff0c;重新打开…

三星java3倍拍照手机_全世界拍照最强的两款手机,一个是三星,一个是它

原标题&#xff1a;全世界拍照最强的两款手机&#xff0c;一个是三星&#xff0c;一个是它要说到手机拍照&#xff0c;三星S7毫无疑问是现阶段公认拍照最好的安卓手机&#xff0c;而这很大一定程度上取决于F1.7大光圈和先进的双核对焦技术。而在最近非常火的一款国产新机OPPO R…

java中抓阄_如何进行抓阄

展开全部步骤&#xff1a;1、设计总体中的N个个体编号。2、把号码写在号e68a84e8a2ad3231313335323631343130323136353331333431366366签上&#xff0c;将号签放在一个容器中搅拌均匀。3、每次从中抽取一个号签&#xff0c;连续不放回抽取n次。4、将取出的n个号签上所对应的n个…

ARMV8 datasheet学习笔记5:异常模型

1.前言 2.异常类型描述 见 ARMV8 datasheet学习笔记4&#xff1a;AArch64系统级体系结构之编程模型&#xff08;1&#xff09;-EL/ET/ST 一文 3. 异常处理路由对比 AArch32、AArch64架构下IRQ 和Data Abort 异常处理流程图对比. 3.1 IRQ 路由 3.1.1. AArch32 IRQ 路由 图 AAr…

leetcode 三数之和 python_16.leetcode题目讲解(Python):最接近的三数之和

题目如下&#xff1a;题目这道题可以用排一些特殊情况&#xff0c;减少计算量&#xff0c; 参考代码如下&#xff1a;class Solution:def threeSumClosest(self, nums, target):""":type nums: List[int]:type target: int:rtype: int"""# 如果只…

给GridView设置行高

近期在工作中遇到了这样一个问题,使用一个GridView展示数据,item中仅仅是一个TextView,可是里面显示的文字多少不固定多少,必须所有展示出来. 遇到的问题: 1.把item中的宽和高设置match_parent,还是设置成wrap_content,当内容过多的时候,会覆盖下一行的显示的内容. 2.没有一个属…