HttpClient 禁用自动重定向

HttpClient 禁用自动重定向

Intro

前段时间写了一个小工具来帮助我们简化一个每个月一次的小任务,每个月我们公司的 BI Team 会给我们上个月访问量比较高的博客文章的 url,然后我们会根据 BI 提供博客的 url 去找到对应的博客 id,然后更新到配置中,网站会读取这个配置来显示比较受欢迎的博客文章

Redirection

我们的博客文章有一个特点,如果访问的地址只有博客文章的路径,会自动跳转到带 id 的地址,比如你访问:

https://cn.iherb.com/blog/8-natural-remedies-for-heartburn-and-acid-reflux 会自动跳转到 https://cn.iherb.com/blog/8-natural-remedies-for-heartburn-and-acid-reflux/347 ,后面新增的 347 就是对应的博客文章的 id,BI team 的同事给到我们的就是示例中的 8-natural-remedies-for-heartburn-and-acid-reflux

就是服务器端做了一个重定向,通过 浏览器的 Network 我们可以看到发生了一个 302 重定向

HttpClient AutoRedirect

根据上面的重定向,我们使用代码是不是也可以做呢,这样我们就可以做到比较自动化了,来尝试一下

var articlePath = "/8-natural-remedies-for-heartburn-and-acid-reflux/";
var httpClient = new HttpClient()
{BaseAddress = new Uri("https://cn.iherb.com/blog/")
};
using var res = await httpClient.GetAsync(articlePath[0].TrimStart('/'));
Console.WriteLine(res.RequestMessage.RequestUri.ToString());
Console.WriteLine(res.StatusCode);

猜一猜上面的代码输出结果是什么?

输出结果如下:

和你预想的结果一样吗,可以看到输出的请求地址实际上并不是我们请求的地址,这是因为默认地,HttpClient 会自动跟随重定向,如果服务器重定向了一个请求,HttpClient 会读取 response header 中的 Location 来请求下一个地址,请求地址和 response 显示的是最终一次请求的信息。

你也可以选择禁用自动重定向,下面就是一个禁用重定向的示例:

using var httpClient = new HttpClient(new HttpClientHandler()
{AllowAutoRedirect = false
})
{BaseAddress = new Uri(BaseUrl)
};
using var res1 = await httpClient.GetAsync(articlePath[0].TrimStart('/'));
Console.WriteLine(res1.RequestMessage.RequestUri.ToString());
Console.WriteLine(res1.StatusCode);

我们可以通过指定 HttpClientHandlerAllowAutoRedirect 属性来禁用自动重定向,禁用后的输出结果如下:

可以看到这个请求的请求地址是我们实际请求的地址,没有发生重定向

那么针对哪些请求会做重定向处理呢?通过查阅源码发现对于这些响应会尝试重定向 300/301/302/307/308, 可以参考:https://github.com/dotnet/runtime/blob/74246130d505c9243396f4a8837634e8ab3065bb/src/libraries/System.Net.Http/src/System/Net/Http/SocketsHttpHandler/RedirectHandler.cs#L87

Practice

我们已经知道 HttpClient 会自动重定向,而且我们只需要拿到重定向后的地址即可,那我们就可以禁用自动重定向,直接读取 Response Header 里的 Location 中的值,就可以拿到要重定向的 URL 了,于是就有了下面的代码来获取博客文章的 id

private async Task<int> GetArticleId(string path)
{using var response = await httpClient.GetAsync(path.TrimStart('/'));var statusCode = (int)response.StatusCode;if(statusCode != 302){return -1;}var newLocation = response.Headers.Location.ToString();int.TryParse(newLocation[(newLocation.LastIndexOf('/') + 1)..], out var articleId);return articleId;
}

通过上面的代码我们就可以相对高效的拿到博客文章的 id,再进一步整理一下构造成我们最终配置所需要的格式

var articleIds = await Task.WhenAll(articlePath.Select(path => GetArticleId(path)));
var json = new
{articlelist = articleIds.Select(x=> new{ id=x })
}.ToJson();

这样以后我们再统计只需要拷贝一下新的数据,跑一下脚本就可以了~~

More

因为我们只关注 Response Header ,所以我们也可以把上面的 GET 请求换成 HEAD 请求,这样返回的响应就只有 Header,没有 Body 更加简洁一些

从业务的角度来看,我们可以尝试让别的 Team 同事直接提供一个 API 来返回这样的数据,这样我们就不必这样搞了 ^^

References

  • https://github.com/WeihanLi/SamplesInPractice/blob/master/HttpClientTest/NoAutoRedirectSample.cs

  • https://github.com/dotnet/runtime/blob/main/src/libraries/Common/src/System/Net/Http/HttpHandlerDefaults.cs

  • https://github.com/dotnet/runtime/blob/74246130d505c9243396f4a8837634e8ab3065bb/src/libraries/System.Net.Http/src/System/Net/Http/SocketsHttpHandler/RedirectHandler.cs#L87

  • https://stackoverflow.com/questions/14731980/using-httpclient-how-would-i-prevent-automatic-redirects-and-get-original-statu

  • https://www.w3.org/Protocols/rfc2616/rfc2616-sec9.html

  • https://docs.microsoft.com/en-us/dotnet/api/system.net.http.httpclienthandler.allowautoredirect?WT.mc_id=DT-MVP-5004222&view=net-5.0

  • https://docs.microsoft.com/en-us/dotnet/api/system.net.http.httpclienthandler.maxautomaticredirections?view=net-5.0&WT.mc_id=DT-MVP-5004222

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/300141.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenAI“单手解魔方”被公开质疑,Gary Marcus称七大问题涉嫌误导

全世界只有3.14 % 的人关注了青少年数学之旅近日&#xff0c;“OpenAI的机器手在4分钟内单手成功还原魔方”引起刷屏&#xff0c;然而&#xff0c;这一成就被著名机器学习怀疑论者马库斯质疑了&#xff0c;马库斯逐条列举OpenAI的误导性说法&#xff0c;机器学习圈却都撑OpenAI…

android 带弧形背景,[Android日常]绘制弧形渐变背景

最近要修改用户空间头部信息显示&#xff0c;参考了好多APP的用户空间&#xff0c;都有一个弧形的背景&#xff0c;看着挺漂亮的。实现这种效果&#xff0c;有两种实现方式&#xff1a;1、作图&#xff1b;2、通过代码进行绘制。今天就讲讲如何通过canvas进行绘制。一、用到的知…

超强的绕口令

今天看到这样一个绕口令&#xff0c;自己读了半天&#xff0c;越读错的越多&#xff0c;呵呵&#xff0c;贴出来大家一起来玩玩1、初入江湖&#xff1a;化肥会挥发 2、小有名气&#xff1a;黑化肥发灰&#xff0c;灰化肥发黑 3、名动一方&#xff1a;黑化肥发灰会挥发&…

世界顶级精英们的人生哲学 【转】

1.别为你自己和别人下定论&#xff0c;你所看到听到的可能只是一面&#xff0c;为这个失去可能的朋友&#xff0c;很不值。 2.你可以有喝醉的时候&#xff0c;我们可以接受&#xff0c;但是你要明白和真正的朋友一醉才能让伤心事方休&#xff0c;否则&#xff0c;你只会是别人的…

记一次 .NET 某云采购平台API 挂死分析

一&#xff1a;背景 1. 讲故事大概有两个月没写博客了&#xff0c;关注我的朋友应该知道我最近都把精力花在了星球&#xff0c;这两个月时间也陆陆续续的有朋友求助如何分析dump&#xff0c;有些朋友太客气了&#xff0c;给了大大的红包&#xff0c;哈哈????&#xff0c;手…

来自女朋友的灵魂拷问!| 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅【1】【2】【3】【4】【5】【6】【7】【8】【9】

android 栏目编辑,android – 编辑文本导致内存泄漏

介绍&#xff1a;我有一个应用程序具有以下结构&#xff1a;ActionBar顶部(ActionBarSherlock)ViewPagerIndicator下面(对于选项卡)ViewPager(主机片段)我有一个问题,我的一个碎片导致了相当大的内存泄漏.我将问题缩小到以下情况&#xff1a;导致泄漏的片段只会在其onCreateVie…

Spring 事物传播特性

Spring 事物传播特性 这是Spring官方的定义 一共有7种 摘自源码省略了一部分 public interface TransactionDefinition {int PROPAGATION_REQUIRED 0;int PROPAGATION_SUPPORTS 1;int PROPAGATION_MANDATORY 2;int PROPAGATION_REQUIRES_NEW 3;int PROPAGATION_NOT_SUPPORT…

6月,回忆我失去的爱情

6月&#xff0c;夏天早已到来 自4月起&#xff0c;我一直放荡着。这个我在上个文章里已提到&#xff0c;哈哈 放荡两个月后&#xff0c;我回想我自己的爱情 我想明白为什么我会失去自己的爱情&#xff0c;哈哈 终于明白了是为什么&#xff0c;其实失去的这样的简单 我承认我有错…

《你必须知道的.NET》第1章学习笔记

面向对象中几个最基本的概念&#xff1a;类&#xff0c;对象&#xff0c;继承&#xff0c;封装和多态。 对象的出生&#xff0c;只是完成了对必要字段的初始化&#xff0c;其他数据要通过后面的操作来完成&#xff0c;如&#xff1a;属性的赋值&#xff0c;通过方法获取必要信息…

利用 PGO 提升 .NET 程序性能

引子.NET 6 开始初步引入 PGO。PGO 即 Profile Guided Optimization&#xff0c;通过收集运行时信息来指导 JIT 如何优化代码&#xff0c;相比以前没有 PGO 时可以做更多以前难以完成的优化。下面我们用 .NET 6 的 nightly build 版本 6.0.100-rc.1.21377.6 来试试新的 PGO。PG…

不作死就不会死,盘点那些死于自己发明的发明家

全世界只有3.14 %的人关注了青少年数学之旅还有他们死于自己的发明发明呼吸器&#xff1a;缺氧死亡 1772年&#xff0c;法国人希厄尔弗莱米奈特发明了可用于潜水的循环式再呼吸器&#xff0c;让呼出的气体实现循环。这是世界上第一个自持呼吸装置。不幸的是&#xff0c;弗莱米奈…

CIO们对数据中心虚拟化心存的六大疑虑

本文摘自&#xff1a;[url]http://industry.ccidnet.com/art/3915/20070428/1072803_1.html[/url] 巴塞罗那超级计算中心 数据中心虚拟化正在势不可挡地迅猛发展&#xff0c;据IDC预测&#xff0c;到2009年&#xff0c;虚拟化市场将在全球范围内将增长150亿美元。有专家预言&am…

启动Tomcat一闪而过解决

打开apache-tomcat-6.0.32/bing/catalina.bat在首行添加&#xff1a; set JAVA_HOMEC:\Program Files\Java\jdk1.6.0_07 就可以了。

android gdb 远程调试工具,Android下用gdb远程调试办法

Host: ubuntuTarget: Android ICS1. 将gdbserver和gdbclient分别放入target和host。两者都可在android源代码的prebuilt目录下找到。2. 在Target上启动gdbserver&#xff0c;在adb shell中执行$ /path/to/gdbserver :1111--attach PID其中PID为想要debug程序的进程号&#xff0…

如何在Domino中使用文本文件注册用户

具体的步骤如下&#xff1a; 1。先用以下的格式创建一个文本文件&#xff08;每个用户一行&#xff09;: ZhangSan;;;;passw0rd;e:\id\603server;zhangsan.id;603server/r6domain;;zhangsan.nsf;;;;;;;;;;;; LiSi;;;;passw0rd;e:\id\603server;lisi.id;603server/r6domain;;lis…

C# 对接微信支付时生成符合 RFC3339 标准的日期时间字符串

rfc3339 是一种包含时区信息的字符串标准格式。格式为YYYY-MM-DDTHH:mm:ssTIMEZONE&#xff0c;YYYY-MM-DD表示年月日&#xff0c;T出现在字符串中&#xff0c;表示time元素的开头&#xff0c;HH:mm:ss表示时分秒&#xff0c;TIMEZONE表示时区&#xff08;08:00表示东八区时间&…

盘点那些世间顶级直男hhhhhh | 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅【1】【2】【3】【4】【5】【6】【7】【8】【9】

android的单选按钮xml语法,android 控件 单项选择(RadioGroup,RadioButton)

1、继承关系和子类&#xff1a;2、定义&#xff1a;RadioButton表示单个圆形单选框&#xff0c;而RadioGroup是可以容纳多个RadioButton的容器3、XML重要属性&#xff1a;4、重要方法&#xff1a;5、实战&#xff1a;布局文件android:layout_width"wrap_content"andr…

.net项目开发工具(v2.0)功能完善专帖

首先&#xff0c;感谢你对本软件的支持。如果你有好的建议和要求&#xff0c;请记录于此&#xff0c;谢谢&#xff01; 原文&#xff1a;http://www.cnblogs.com/mrhgw/archive/2007/06/04/770278.html?Pendingtrue#Post