秒级启动万个容器，探秘阿里云容器镜像加速黑科技

阿里云容器与存储团队展开合作，利用DADI加速器支持镜像按需读取和P2P分发，实现3.01秒启动10000个容器，完美杜绝容器冷启动的数分钟漫长等待，以及镜像仓库大规模并行分发场景下的网络拥堵。

年关将至，各种年货节、秒杀商品、倒计时直播即将纷至沓来。这些业务的共同点都是流量瞬间暴增，必须在立刻筹备大量的服务器，并在极短时间内扩容容器承接线上流量，避免系统崩溃。除了需要集群节点的快速扩容，也对应用部署速度提出更高要求。

部署启动快常被认为是容器的核心优势之一：本地镜像实例化成容器的时间很短，即“热启动”；而在本地无镜像情况下的“冷启动”，需要先从镜像仓库下载镜像并解压缩后才能拉起容器，受网络和磁盘性能影响较大，耗时数分钟；大规模批量冷启动甚至可能导致Registry因网络拥堵而无法响应。

针对冷启动的痛点，阿里云推出一个全新存储引擎DADI加速器，将容器冷启动耗时缩短至数秒。方案沉淀自阿里集团内部大规模应用的数据访问加速经验，曾在双十一大促中为大规模容器集群扩容提供了秒级拉起能力。

本次测试场景是在 1000 台4核8G的节点组成的Kubernetes集群中进行，阿里云容器服务Kubernetes (ACK) 能在极短时间内扩容出 1000 台节点worker并加入到Kubernetes 集群中。ACK 的此能力在应对大促，秒杀，短时流量洪峰时具有亮眼的表现。

同时针对本次测试场景，利用Kubernetes 强大的扩展性和自定义控制器，加快在大规模集群中创建应用和删除应用的速度，保障了测试在极短时间内方便快捷的进行。

阿里云容器团队联合存储团队研发的DADI加速器在本次测试中启动10000个容器仅需3.01秒，10秒内启动了近60000个容器。

Figure 1 - 1万个容器的启动耗时为3.01秒，其中p999分位耗时2.97秒。

同时针对1万个容器的冷热启动进行对比，即在本地有无镜像缓存对启动时间的影响，热启动耗时2.91秒，其中p999耗时2.56秒

Figure 2 - 1万个容器的冷热启动耗时对比

DADI冷启动由于数据按需从P2P网络中获取，减轻了磁盘压力避免发生IO拥堵，因此长尾容器较少。

此外，还进行了限时摸高测试。在10秒的限制时间内利用1000台宿主机启动了59997个容器，在10.06秒时第6万容器启动完毕：

Figure 3 - 限时 10 秒摸高测试

注：上述图示数据，均在阿里云容器团队的容器服务ACK中进行。为方便获得每个容器的启动时间，采用C/S模式：worker中每个容器拉起后向测试的httpServer上报自己状态，以httpServer记录的请求时间作为容器启动耗时。

冷启动的关键优化，DADI大地加速器

一般而言，完整的容器应用镜像往往有数百M甚至上G的大小。在社区的容器Registry的实现中，镜像会以分层方式存储，每一层都是一个tgz包。当容器启动时，容器引擎会从容器Registry拉取所有的层，在本地实现解压后，通过层次化文件系统构建完整的容器rootfs。而容器启动过程中所需要的数据可能只占镜像文件中极小一部分比例。本次测试所用镜像完整大小为894M，容器启动所需数据仅15M，占比约1.6%。如何能避免下载完整镜像到本地而直接获取到这1.6%启动数据是加速容器启动的关键。

为何DADI加速器能为大规模容器集群扩容提供秒级拉起的能力？其核心在于“按需读取”容器运行时所需数据，避免传统容器 “下载镜像 -> 解压镜像 -> 启动容器”的启动步骤，容器启动耗时从分钟缩短至数秒。这其中包括以下三点优化工作：

镜像格式优化：为了避免下载+解压造成的高时延，DADI团队设计了一种新的镜像格式，内含索引，无需下载和解压完整镜像即可直接访问；
按需P2P数据读取: 为减轻批量扩容时对单点Registry带来的总体负载，DADI利用树形P2P网络对进行数据分发。即少数P2P根节点从Registry获取，其他节点（宿主机）之间可相互传输数据，批量扩容时可快速分发数据到所有节点；
高效的解压缩算法： DADI提供了一种新型的压缩文件格式，可按需单独解压用户访实际问的数据，且解压时间开销可忽略不计。

Figure 5 - 容器启动流程对比

利用DADI方案启动容器时，仅从镜像Registry下载几KB的镜像元数据，并创建虚拟设备Overlay Block Device挂载到容器工作目录上， Docker引擎会认为镜像已经加载完毕。在容器启动时所需的镜像数据则从本地缓存或者P2P 网络的上游节点按需下载。P2P网络可以充分缓解对Registry的访问压力。