阿里巴巴IPv6应用平台引领下一代互联网

在11月15日的GNTC IPv6专场峰会上，阿里巴巴网络架构师张先国先生首先分享了“阿里巴巴IPv6应用平台引领下一代互联网”主题演讲。演讲中讲述了阿里巴巴为何尽早启动IPv6项目、阿里巴巴PV6应用平台实践、以及阿里巴巴五大应用及集团各种平台如何构建在阿里云平台之上。

GNTC大会背景
GNTC 作为全球规模最大的网络技术盛会之一，是由下一代互联网国家工程中心主办，南京市江北新区等单位支持，2018年11月14日-16日在南京火热开幕。本届GNTC通过2场全体大会、7场技术峰会、1场测试活动及GNTC Awards颁奖典礼等特别活动，汇集来自20个国家、50余个国际组织、150多位技术专家，2000+位现场观众。

阿里巴巴网络架构高级专家张先国

以下为大家收录张先国演讲摘要：

阿里巴巴在2017年6月份就开始启动IPv6项目，主要原因：1）当时全球有5亿以上的IPv6活跃用户，分布在印度、美国、日本、欧洲这些国家，甚至东南亚也开始了增长。截至现在中国，移动端的IPv6终端已经达到了5亿。2）未来五年以内将有500亿的物联网终端进入互联网，如此大体量是IPv4无法支撑的。3）5G正在快速普及，其高带宽、低时延、海量接入的特点，无法继续使用地址转换、会话保持、单向访问的技术。

目前IPv6 项目改造进展和成果：

2018年双十一：阿里巴巴的当天交易额总数是2135亿，交易峰值每秒49万笔，淘宝背后有IPv6支撑全栈业务。IPv6的好处是，过去从服务端只能看到用户的家庭网关或者4G网关，也缺少很多大数据。采用IPv6绕过NAT，可以直接看到终端用户，进行精准分析和服务。
高德：导航能力非常专业准确，是DAU过亿的应用，双十一之前抓IPv6 用户访问图，一周数据每天早晚高峰服务非常平顺，IPv6在4G或者3G信号比漫游强，体验非常流畅。
优酷：日活过亿的应用，世界杯期间就开始了IPv6直播，阿里巴巴采用了IPv6的应用加速技术，让用户的观看更加流畅，因为省去了NAT转换流程，并且全国IPv6的网络是非常通畅的。

总体业务架构与面临挑战：

阿里巴巴总体的IPv6总体业务架构分为接入层互联网和应用。接入层大多知名品牌终端支持了IPv6。移动端访问运营商的互联网，然后进入阿里巴巴的数据中心。应用侧包括三层，网络、云、应用。基础网络包括接入网、骨干网、IDC网络、网关、服务器；另外就是云平台、云网络包括阿里巴巴的一些安全系统，CDN、DNS、SLB等，这两层之上是阿里巴巴改造的五大应用，运行在云平台之上。

这其中面临的挑战包含：1）阿里巴巴对接运营商比较复杂，因为在全国多个地域要开通IPv6，而早期网络对接是不成熟的，到目前为止还有一些问题正在排查解决优化。2）投资量大，因为大量的网络设备是过去的积累，阿里基础设施有上百万台服务器，涉及到总的硬件投资大概有几百亿以上。3）工作量大，因为涉及到变更、替换、升级，数百台的设备，数千条链路割接，还有大量的运营工作。

在网络架构方面，从外向内有五层网络，接入-广域-城域-应用网络-DCN网络，内网从双栈向IPv6 only演进，在这演进过程中，阿里巴巴在这个网络的升级演进过程相当于开着飞机换引擎，成本及稳定性成为两大挑战。另外就是技术方面的挑战，包含路由爆表、安全规则资源不足、管控适配等等。
在电商业务架构方面，首先移动端PC端都是采用统一接入，可以让用户体验更好，一次连接可以访问所有的模块，包括天猫超市、饿了么这些业务。但是IPv6演进也带来一些业务风险，包含600个以上的应用及5亿以上用户逐步切换到IPv6的过程以及面临DDoS攻击等风险。
在应用体验方面，因为阿里巴巴IPv6网络今年开始大规模的建设改造，包括运营商网络和企业的网络都是这样，这个网络是不成熟的，也有大量的连接失败率，及较高的网络延时。另外回落时间过长，还有大量的MTU导致的丢包问题，对网络应用都是一个挑战。

基于以上问题及挑战，阿里巴巴也逐渐发展了解决方案。阿里巴巴的网络优化方案分成三个层面：1）物理网络的覆盖 2）自研虚拟网络平台 3）应用调度三个领域。

在物理网络方面，阿里在全国超过20个IDC已经支持了IPv6，带宽每个区域出口达到了2T以上的带宽，北京、上海、深圳等等出口都超过了2个T。另外CDN在全国各地实现了IPv6的应用加速，可以保证更优质的业务体验。此外，阿里巴巴透过全国各地的探测系统、移动端APP实时发现用户质量问题，把这些质量数据问题送给网络大脑--活水，活水系统会把这些信息进行大数据分析，分析之后传送给控制器，再进行网络层调度和应用层的调度，包括SRTE网络调度、BGP路由调度，以及应用层DNS方案调度，加上有多个运营商出口，进行同城多出口的调度，也可以进行异地的调度。
在虚拟网络技术平台方面，以下这张图是阿里巴巴自研的一套网络平台，左边是转发层面业务，右边是管控层面系统。主要核心技术包含右边的Netframe转发支撑平台，拥有400G级IPv6的转发能力，另外就是AliBGP，实现跨厂商路由协议对接，解决了多厂商兼容性的问题；最后是AliGuard可以提供一个T能力的抗攻击能力，有效的防御黑产的攻击。
在应用链路和网络方面，应用层大概分三步，首先左侧是APP移动端：

进行DNS解析，包括PC端方案和移动端的解析方案
地址解析到静态加速一个域名，可以进行静态页面或者图片视频加载，这就指向CDN服务。
动态业务请求服务指向阿里巴巴的VIP，实现云上负载均衡。

当后端的业务需要客户的原始IP时，采用TOA携带用户原始的IP，流转到阿里巴巴的Proxy，把IP信息插入HttpHeader，携带原始IP传递给后端Nginx，可通过X-Forwarded-For方法获取real-IP。

在应用调度能力方面，因为阿里巴巴有大量应用都是日活超过一亿的，所以必须渐进式切换到IPv6，有两个方案：

PC端或者浏览器端：
域名请求先走到本地的运营商一般是本省，再向阿里云权威DNS。阿里云DNS能提供高达1T抗攻击能力的DNS服务，目前承载了全国1200万域名服务系统，并在全球18个region部署了Anycast技术。标准DNS也有缺点，因为调度是按省份，一个省全切上去，风险较大，生效较慢。
移动端HttpDNS：
需要在终端的APP嵌入SDK，需要域名解析的时候，终端通过Http协议请求，这样就绕过了传统Local DNS解析过程。有几个好处：a）域名精准调度，可以按照更细的百分比，而且还可以加灰度白名单，控制测试用户先上一些IPv6。b）域名防劫持，以前的标准DNS走UDP协议很容易被劫持，HTTP DNS很难被劫持或者是攻击。c）域名变更比以前快了很多，过去是五分钟生效，现在是秒级生效。