给 JDK 官方提了一个 Bug,结果...

图 by:石头@北京-望京

关于作者:程序猿石头(ID: tangleithu),现任阿里巴巴技术专家,清华学渣,前大疆后端 Leader。

背景

分享一下之前踩的一个坑,背景是这样的:

我们的项目依赖于一个外部服务,该外部服务提供 REST 接口供我方调用,这是很常见的一个场景。本地和测试环境测试都没有问题,一切就绪上了生产后,程序调用接口就总是网络不通。

需要说明的是本地、测试环境、生产环境通过不同的域名访问该外部服务。生产程序调用不通,神奇的是在生产环境通过 curl 等命令却能够正常调用对方接口。

What??

这 TM 就神奇了,唯一不同的就是发起 HTTP 请求的客户端了,估计就是 http客户端有问题了?通过最后排查发现,居然发现了一枚 “JDK 的 bug”,然后石头就提交到了 JDK 的官网……

下面我们就来重现一下这个问题。

server 端准备

这里用 Nginx 模拟了一下 上文提到的 REST 服务,假设调用正常返回 "Hello, World\n",Nginx 配置如下:

server {listen    80;server_name test_1.tanglei.name;location /testurl {add_header Content-Type 'text/plain; charset=utf-8';return 200 "Hello, World\n";}
}

不同的 client 请求

下面用不同的 Http client (分别用命令行curl,python的 requests包,和 Java 的 URL 等尝试)去请求。

  • curl 请求,正常。

[root@VM_77_245_centos vhost]# curl -i "http://test_1.tanglei.name/testurl"
HTTP/1.1 200 OK
Server: nginx
Content-Length: 13
Connection: keep-alive
Content-Type: text/plain; charset=utf-8Hello, World
[root@VM_77_245_centos vhost]#
  • python requests 正常。

>>> import requests
>>> r = requests.get("http://test_1.tanglei.name/testurl")
>>> r.text
u'Hello, World\n'
  • Java 的 java.net.URLConnection 同样正常。

static String getContent(java.net.URL url) throws Exception {java.net.URLConnection conn = url.openConnection();java.io.InputStreamReader in = new java.io.InputStreamReader(conn.getInputStream(), "utf-8");java.io.BufferedReader reader = new java.io.BufferedReader(in);    StringBuilder sb = new StringBuilder();int c = -1;while ((c = reader.read()) != -1) {sb.append((char)c);}reader.close();in.close();String response = sb.toString();return response;
}

上面的这个方法 String getContent(java.net.URL url) 传入一个构造好的 java.net.URL 然后 get 请求,并以 String 方式返回 response。

String srcUrl = "http://test_1.tanglei.name/testurl";
java.net.URL url = new java.net.URL(srcUrl);
System.out.println("\nurl result:\n" + getContent(url)); // OK

上面的语句输出正常,结果如下:

url result:
Hello, World

这就尼玛神奇了吧。看看我们程序中用的 httpclient 的实现,结果发现是有用 java.net.URI,心想,这不至于吧,用 URI 就不行了么。

换 java.net.URI 试试? (这里不展开讲URL和URI的区别联系了,可以简单的认为URL是URI的一个子集,详细的可参考 URI、URL 和 URN[1], wiki URI[2])

直接通过java.net.URI构造,再调用 URI.toURL 得到 URL,调用同样正常。

关键的来了,httpclient 源码中用的构造函数是另外一个:

URI(String scheme, String host, String path, String fragment)
Constructs a hierarchical URI from the given components.

我用这个方法构造URI,会构造失败:

new java.net.URI(uri.getScheme(), uri.getHost(), uri.getPath(), null) error: protocol = http host = null
new java.net.URI(url.getProtocol(), url.getHost(), url.getPath(), null) error: Illegal character in hostname at index 11: http://test_1.tanglei.name/testurl

所以问题发现了,我们的项目中依赖的第三方 httpclient包底层用到了 java.net.URI,恰好在 java.net.URI 中是不允许以下划线(_)作为 hostname 字段的。

即 uri.getHost() 和 uri.toURL().getHost() 居然能不相等。

这是 JDK 的 Bug 吧?

有理由怀疑,这是 JDK 的 Bug 吧?

从官网上还真找到了关于包含下划线作为hostname的bug提交issue,戳这里 JDK-8132508 : Bug JDK-8029354 reproduces with underscore in hostname[3],然后发现该 "bug" reporter 的情况貌似跟我的差不多,只不过引爆bug的点不一样。

该 "bug" reviewer 最后以 "Not an Issue" 关闭,给出的理由是:

RFC 952 disallows _ underscores in hostnames. So, this is not a bug.

确实,rfc952[4] 明确明确说了域名只能由 字母 (A-Z)、 数字(0-9)、 减号 (-) 和 点 (.) 组成。

那 OK 吧,既然明确规定了 hostname 不能包含下划线,为啥 java.net.URL 确允许呢?

造成 java.net.URI 和 java.net.URL 在处理 hostname 时的标准不一致,且本身 java.net.URI 在构造的时候也带了 "有色"眼镜,同一个url字符串 通过静态方法 java.net.URI.create(String) 或者通过带1个参数的构造方法 java.net.URI(String) 都能成功构造出 URI 的实例,但通过带4个参数的构造方法就不能构造了。

要知道,在 coding 过程中,尽早反馈异常信息更有利于软件开发持续迭代的过程。我们在开发过程中也应该遵循这一点原则。

于是我就去 JDK 官网提交了一个 bug,大意是说 java.net.URI 和 java.net.URL 在处理hostname的时候标准不一致,容易使开发人员埋藏一些潜在的bug,同时也还把这个问题反馈到 stackoverflow[5] 了

I am wondering, if hostname with underscore is not valid, why the result is differrent between java.net.URI and java.net.URL? Is it a bug or a feature? Here is the example.

java.net.URL url = new java.net.URL("http://test_1.tanglei.name"); 

System.out.println(url.getHost()); //test_1.tanglei.name 

java.net.URI uri = new java.net.URI("http://test_1.tanglei.name"); 

System.out.println(uri.getHost()); //null

这个 JDK bug issue 详细信息见 JDK-8170265 : underscore is allowed in java.net.URL while not in java.net.URI[6],openjdk JDK-8170265[7]

经过初步 Review,被认为是一个 P4 的 Bug,说的是 java.net.URL 遵循的是 RFC 2396 规范,确实不允许含有下划线的 hostname,java.net.URI 做到了, 而 java.net.URL 没有做到。

重点来了,然后,却被另外一个 Reviewer 直接个毙了。给出的原因是 java.net.URL 构造方法中,API 文档中说了本来也不会做验证即 No validation of the inputs is performed by this constructor.  在线 api doc 戳这里[8] (可以点连接,进去搜索关键字 "No validation")

当初没有收到及时反馈,就没有来得及怼回去。

其实就算 "No validation of the inputs is performed by this constructor." 是合理的,里面也只有3个构造函数有这样的说明,按照这样的逻辑是不是说另外的构造函数有验证呢..... (示例中的默认的构造函数都没有说呀)

这里有java.net.URL 的源码[9],看兴趣的同学可以看看。

恩,以上就是结论了。

不过,反正我自己感觉目前 Java API 关于这里的设计不太合理,欢迎大家讨论。

我在SO提问的这个回答[10]比较有意思,哈哈。

The review is somewhat terse, but the reviewer's point is the URL constructor is behaving in accordance with its specification. Since the specification explicitly states that no validation is performed, this is not a bug in the code. This is indisputable.

What he didn't spell out is that fixing this inconsistency (by changing the URL class specification) would break lots of peoples' 20+ year old code Java code. That would be a really bad idea. It can't happen.

So ... this inconsistency is a "feature".

后记

觉得本号分享的文章有价值,记得添加星标哦。周更很累,不要白 piao,需要来点正反馈,安排个 “一键三连”(点赞、在看、分享)如何????? 这将是我持续输出优质文章的最强动力。

附本文链接:

[1] URI、URL 和 URN: https://www.ibm.com/developerworks/cn/xml/x-urlni.html

[2]wiki URI: https://en.wikipedia.org/wiki/Uniform_Resource_Identifier

[3]JDK-8132508 : Bug JDK-8029354 reproduces with underscore in hostname: http://bugs.java.com/bugdatabase/view_bug.do?bug_id=8132508

[4]rfc952: https://tools.ietf.org/html/rfc952

[5]stackoverflow: https://stackoverflow.com/questions/44226003/conflicts-between-java-net-url-and-java-net-uri-when-dealing-with-hostname-conta

[6]JDK-8170265 : underscore is allowed in java.net.URL while not in java.net.URI: http://bugs.java.com/bugdatabase/view_bug.do?bug_id=8170265

[7]openjdk JDK-8170265: https://bugs.openjdk.java.net/browse/JDK-8170265

[8]在线 api doc 戳这里: https://docs.oracle.com/javase/8/docs/api/java/net/URL.html

[9]这里有java.net.URL 的源码: http://www.docjar.com/html/api/java/net/URL.java.html

[10]我在SO提问的这个回答: https://stackoverflow.com/questions/44226003/conflicts-between-java-net-url-and-java-net-uri-when-dealing-with-hostname-conta?answertab=active#tab-to


往期推荐

Java新特性:数据类型可以扔掉了?


动图演示:手撸堆栈的两种实现方法!


JDK15正式发布,新增功能预览!


关注下方二维码,收获更多干货!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/545814.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Of Study - Francis Bacon

Of StudyFrancis Bacon 弗朗西斯培根Studies serve for delight, for ornament, and for ability. Their chief use for delight, is in privateness and retiring; for ornament, is in discourse;and for ability, is in the judgment and disposition of business.For expe…

解决exe文件在别人电脑上运行缺失文件情况

这里就以vs2013为例:编译后生成的exe文件拷贝到别人电脑上运行是会弹出一个窗口说缺失MSVCR120.dll和MSVCR120D.dll这两个文件。(其他vs版本的编译器在所提示的缺失文件按下述方法也可解决)下面就介绍一种方法解决。 1、在VS2013软件中找到MS…

Java日历的getMinimalDaysInFirstWeek()方法和示例

Calendar类的getMinimalDaysInFirstWeek()方法 (Calendar Class getMinimalDaysInFirstWeek() method) getMinimalDaysInFirstWeek() method is available in java.util package. getMinimalDaysInFirstWeek()方法在java.util包中可用。 getMinimalDaysInFirstWeek() method is…

HighCharts: 设置时间图x轴的宽度

这个x轴宽度的设置整了好久,被老板催的要死highcharts的api文档很难找,找了半天也没找到,网上资料少,说的试了下,也没有,我用的图里api文档里没有介绍,这个属性不知道的话,根本不好找…

32张图带你彻底搞懂事务和锁!

作者 | 悟空聊架构来源 | 悟空聊架构(ID:PassJava666)转载请联系授权(微信ID:PassJava)本篇主要内容如下:本篇主要内容一、事务1.1 什么是事务为单个工作单元而执行的一系列操作。如查询、修改数…

C++总结篇(1)命名空间及引用

1、命名空间 1.1概念: 用我自己的话说就是规定一个空间,在该空间内定义的变量和函数只限于在该空间内使用,在该空间外无法直接调用。需要调用须加域名,这也就使得避免了同名变量或者函数引起的冲突。 1.2命名空间定义: 定义命名空…

分布式映射与集中式映射_K映射上的表达式映射和组包围

分布式映射与集中式映射In the previous article (Karnaugh Map 2, 3 and 4- variable) we have already discussed the designing of K-Map and various forms in which they are represented based on either they are being mapped for minterm or maxterm. 在上一篇文章( 卡…

phrases

短语 To get the better/best of you 打败,胜过To get the most/utmost out of 有效地使用或利用Overall trend Compactly- built a man of medium build Heavily-built Level off, remain stable, stay constantPlateau fluctuateThe outlay on cars are …

Datagridview拖放数据到TreeView

通过Datagridview控件可以显示数据库记录sender:表示支持.net framework类层次结构中所有类的基类对象.e:表示为mousedown 事件提供数据.private void treeview1_mouseenter(object sender,eventargs e)拖放可以选定单行或者多行.1.选定一条在控件中默认状态下行标题选定.按ctr…

JDK 竟然是这样实现栈的?

作者 | 王磊来源 | Java中文社群(ID:javacn666)转载请联系授权(微信ID:GG_Stone)前面的文章《动图演示:手撸堆栈的两种实现方法!》我们用数组和链表来实现了自定义的栈结构&#xff…

layui如何自定义layedit富文本编辑器工具栏

layui自带了layedit富文本编辑器&#xff0c;我们在使用过程中有时候不需要全部工具&#xff0c;或者想自定义工具栏&#xff0c;该如何弄呢&#xff1f;以下方法教大家自定义自己的layedit编辑器。 步骤1&#xff1a;定义存放编辑器的盒子 <div class"layui-form-it…

C++总结篇(2)类和对象

1、类 1.1类的定义: C是一门面向对象的语言&#xff0c;便就引入了类的概念&#xff0c;类在一定程度上与C语言中的结构体很相似。Class为定义类的关键字&#xff0c;如下示例&#xff1a; class student {char name[10];int age;int print(); };类不仅可以用class来定义&a…

小程序 || 语句_C ++条件语句| 查找输出程序| 套装1

小程序 || 语句Program 1: 程序1&#xff1a; #include <iostream>using namespace std;int main(){if (NULL) {cout << "Hello World";}else {cout << "Hii World";}return 0;}Output: 输出&#xff1a; Hii WorldExplanation: 说明&…

关于微信,运营商们就这点志向?

2019独角兽企业重金招聘Python工程师标准>>> 近期关于运营商威逼微信收费之事闹得沸沸扬扬&#xff0c;在虎嗅上看到有不少人发表了自己的看法也不乏给运营商或微信出点子的人&#xff0c;但我觉得都不是很妥&#xff0c;还是谈谈我的看法吧。 陈旧的思路&#xff…

阿里巴巴开源的Excel操作神器!

前提导出数据到Excel是非常常见的后端需求之一&#xff0c;今天来推荐一款阿里出品的Excel操作神器&#xff1a;EasyExcel。EasyExcel从其依赖树来看是对apache-poi的封装&#xff0c;笔者从开始接触Excel处理就选用了EasyExcel&#xff0c;避免了广泛流传的apache-poi导致的内…

再谈指针

C语言为什么高效&#xff1f;因为C语言有指针。指针是C语言的精华&#xff0c;同时也是C语言的难点&#xff0c;很多人一学到指针就表示头大&#xff0c;指针的指向往往把人搞得晕头转向&#xff0c;甚至有的人为了避免使用指针居然不惜多写几十行代码&#xff0c;无疑增加了工…

vc给exe更改图标

第一步&#xff1a;将制作好的ioc格式图标&#xff0c;拷贝到自己工程所在的res文件夹中第二步&#xff1a;在vc开发环境中&#xff0c;insert-->resourse--〉单击icon然后选择右边的import找到刚才添加到res中的图标文件第三步&#xff1a;将m_hIcon AfxGetApp()->Load…

人工智能ai知识_人工智能中基于知识的代理层

人工智能ai知识Every agent that has a knowledge base and an inference system is known as a knowledge-based agent. The knowledge base contains all the information the agent has. This information can either be the data that is embedded into the agent in prior…

Word 2003中为什么修改一个段落的文章结果整篇文档的格式都变?

问题比如说&#xff0c;我选定某一段把颜色改成***&#xff0c;结果整篇文档都变成***了&#xff0c;按撤退健&#xff0c;才能达到效果&#xff08;只有这段变成***&#xff0c;其他的不变&#xff09;。答案打开格式菜单中的[样式和格式]&#xff0c;找到样式中的“正文”。 …

链表反转的两种实现方法,后一种击败了100%的用户!

作者 | 王磊来源 | Java中文社群&#xff08;ID&#xff1a;javacn666&#xff09;转载请联系授权&#xff08;微信ID&#xff1a;GG_Stone&#xff09;链表反转是一道很基础但又非常热门的算法面试题&#xff0c;它也在《剑指Offer》的第 24 道题出现过&#xff0c;至于它有多…