云原生时代,谁是容器的最终归宿?

前言

“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式 API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。”来自CNCF。

K8S对网络,存储,计算进行了编排,已经成为了云原生的操作系统,给用户展现了一个新的界面,极大的简化了用户的运维,提升了资源的弹性,真正的做到了按需使用,降低了用户的成本。云原生快速被企业和开发者接受。Forrester 预测到2022年, 全球组织/公司在生成环境运行容器化应用,从今天不足30%的比例将大幅度提升到超过75%,企业应用容器化的趋势势不可挡。
1.png
2.png
容器在生产环境的应用的比例快速上涨,从2016年首次调查的23%,到2018年上涨到73%,实际到2020年已经上涨到84%
3.png
云原生应用正在引领各个应用领域实现云原生化,同时也在深刻改变着应用服务的方方面面。存储作为应用运行的基石,也在服务云原生化过程中提出了更多的需求。云原生存储为了满足云原生特性的要求,可用性、稳定性、扩展性、性能等核心能力都有大幅的优化。
作为国内最大的云产商,阿里云提供了丰富的云原生服务。和网络,计算的编排不同的是,存储需要考虑如何无缝的接入到K8S中进行编排和调度。K8S推出了CSI,通过统一的标准将存储和K8S进行了无缝的对接。本文讨论云原生容器对存储的挑战,面向云原生和容器等领域的发展,阿里云文件存储不断进行云原生适配和演进,完美应对云原生存储挑战,阿里云NAS是容器存储的自然选择。

云原生带来的存储挑战

新型工作负载容器化、迁云在存储方面遇到的性能、弹性、高可用、安全及生命周期等方面的问题,不但需要存储产品层次的改进,还需要在云原生的控制和数据层次的改进,推进云原生存储的技术演进。
1、存储性能挑战:云原生应用在大数据分析、AI 等场景得到广泛应用,这些场景对存储吞吐和IOPS的需求也非常高。在容器集群集中处理海量数据,同时启动数千Pod,弹出海量Pod对共享文件系统进行读写的场景下,重负载导致时延增加,高延迟毛刺增多,读写稳定性不足,同时云原生应用的快速扩容、极致伸缩等特性也会考验存储服务在短时间内迎接峰值流量的能力。

  • 集中式高吞吐对共享存储池冲击:高性能计算场景中,集中处理批量数据,同一个存储集群中带宽挤占,造成访问质量下降。
  • 峰值吞吐不足:大规模数据处理,文件数目少,峰值吞吐高,请求密集,接近独占集群的极限带宽。
  • 时延增加导致 GPU 等待:多机多卡 GPU 训练,读密集型的场景下,时延增加导致 IOwait 和 GPU wait。
    2、存储弹性挑战:云原生的极致弹性,给存储在弹性方面带来了新的挑战。随着云原生多元业务发展,在数据库和元数据管理应用在线扩容的场景下,本地盘存储容量无法弹性扩容。

3、存储高可用挑战:在应用运维、系统运维的场景下,存储随容器迁移的稳定性和高可用挑战。
4、存储的安全挑战:面向的容器隔离性要求场景,主要是多应用共享,文件系统多租户环境的容量配合,集群级文件系统共享访问的权限控制,用户应用的全链路数据加密等安全挑战。
5、存储的生命周期管理挑战:海量容器集群持久化数据存储面临数据冷热分级和成本挑战。

阿里云文件存储如何来应对这些挑战

针对以上在新的计算模式下,存储方面遇到的性能,弹性,高可用,安全,生命周期等方面的问题,不但是需要存储产品层次的改进,在云原生的控制和数据层次的改进,更需要在云原生应用层、存储云产品层、底层存储适配和存储核心层都需要做相应的改进和提升才有可能提供更加稳定,安全和高效的面向应用的云原生存储。

随着云原生技术的发展,各个公有云厂商都开始对其云服务进行云原生化改造或适配,提供更加敏捷、高效的服务来适应云原生应用的需求。阿里云存储服务也在云原生应用适配做了很多优化,阿里云文件存储支持 CSI 、Flexvolume存储驱动无缝的衔接了云原生应用和存储服务之间的数据接口。实现了用户使用存储资源时对底层存储无感知,而专注于自己的业务开发。

阿里云文件存储为云原生提供了一个完全弹性和共享的文件系统,按需使用,满足云原生极致的弹性。阿里云文件存储从性能,弹性,高可用,安全,生命周期管理等方面对云原生存储进行了打造和演进。

1、性能方面,AI,大数据分析,高性能计算领域,阿里云文件系统分散工作负载多文件系统和多个存储集群、多个可用区通过容器编排分散IO到多文件系统。支持客户端本地只读缓存技术、分布式存储,降低网络延迟和IO、GPU等待时间。可以支持刚性交付数十GB吞吐的能力,提升算力。
2、弹性方面,阿里云文件存储支持自由扩缩容,按量付费,是完全托管的文件系统。极速型NAS提供了百us的延时,在金融,互联网等典型的突发弹性场景中,能够在几分钟内启动数千个容器,并完成数据的极速加载、卸载。
3、高可用方面,阿里云文件存储支持容器快速Failover,同时支持存储快照、备份等企业级特性。
4、在安全方面,阿里云文件存储支持全面的AD/ACL权限管理,支持配额,打造了统一命名空间,支持对海量pod间的IO进行隔离和统一管理;文件存储产品支持传输加密、落盘加密等功能。
5、面对海量数据,阿里云文件存储提供了数据生命周期管理,自动归档冷数据,可以降低90%的用户成本。

为什么选择阿里云文件存储作为容器存储?

阿里云文件存储NAS为非结构化数据提供存储服务。随着云原生的快速发展,许多公司的容器化应用程序使用NAS存储数据,有些甚至存储PB级数据。阿里云在云原生布局上提供容器K8s服务(ACK)和弹性容器实例(ECI),容器实例使用NAS文件系统作为持久化存储。容器存储离不开共享文件存储。

阿里云文件存储是云原生、高可用、成本优化的完全托管的文件系统。阿里云文件存储有三款产品,通用型NAS,极速型NAS和并行文件系统CPFS。
4.png
阿里云NAS是容器存储的自然选择,因为它是一种完全托管的服务,配置简单,添加或删除数据时自动扩展,和容器基础架构一样灵活便捷。

通常,彼此共享数据的容器自然需要共享文件存储,长期运行的容器也可使用共享文件存储应对故障。阿里云文件存储同时满足容器应用场景对持久化存储弹性伸缩、灵活挂载、高性能的需求。此外,容器镜像的配置文件或初始加载数据存储可以在 NAS 文件存储上实现共享,在容器批量加载时实时读取,多 POD 间通过 NAS 共享持久化数据,在 POD 故障时可以进行故障切换。
6.png
7.png
随着新技术的发展,机器学习AI和基因处理等大量使用共享文件存储。我们通常看到如下一些示例: 
•Web服务:WordPress之类的内容管理应用程序受益于扩展到多个实例以实现性能和冗余,并且需要在多个实例之间共享上载、插件和模板。
•软件开发工具:JIRA和Git之类的开发人员工具需要在实例之间共享数据以实现高可用性,而代码则保留在多个阿里云可用区中以实现持久性。
•大数据分析和处理:诸如基因数据处理、Tensorflow机器学习框架需要通过文件系统接口访问数据,并且具有持久的共享存储,可以使多个用户和作业在同一组数据上并行运行。
•企业应用程序:共享Notebook(如Jupyter Jupyterhub)需要为notebook和user workplace提供持久存储,拥有共享存储可以使数据科学家轻松协作。

总结

以容器和云原生计算被企业快速接纳,Kubernetes 逐渐成为云原生时代的基础设施,容器服务成为云原生时代基础设施。新的工作负载推进云原生存储和云存储的演进,云原生控制平面实现效率方面能力,从数据面提升存储稳定和减小安全隐患,云存储继续夯实性能,容量,弹性,密度等基础能力,共建云原生环境下的存储生态。

阿里云文件存储是容器存储的自然选择,完美应对云原生存储在性能,弹性,高可用,安全,生命周期等方面的数据挑战。阿里云基于云原生文件存储技术的快速演进将不断赋能云原生和容器领域的快速发展。

 

原文链接:https://developer.aliyun.com/article/768759?utm_content=g_1000161278

本文为阿里云原创内容,未经允许不得转载

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/515392.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

腾讯云~安装MongoDB

文章目录一、 安装建议二、 安装步骤2.1. 下载2.2. 解压缩2.3. 重命名2.4. 配置环境变量2.5. 使其生效2.6. 配置MongoDB2.7. 启动MongoDB2.8. 网络安全组一、 安装建议 MongoDB 可以在mac/win/linux上安装,我个人建议在linux上安装会更好,这样测试起来更…

全部满分!阿里云函数计算通过可信云21项测试

今日,“2020 可信云线上峰会”正式召开。会上,中国信通院公布了混合云安全、云组网、函数即服务、消息队列、云计算安全运营中心等首次评估结果。阿里云函数计算通过了基础能力要求、平台可观测能力、服务性能、服务安全和服务计量准确性等 21 项测试&am…

Springboot集成Elasticsearch

在springboot中集成Elasticsearch&#xff0c;以我开发的博客系统项目为例,这是一篇文章内容。 准备 本次Elasticsearch使用的是单机版&#xff0c;版本为6.7.8&#xff0c;并且装好中文分词器。 Springboot集成Elasticsearch 首先在pom文件中引入Elasticsearch依赖。 <!-…

CentOS 替代品

我推荐替代产品&#xff1a;AlmaLinux 免费&#xff0c;和centos相似度都比较高&#xff0c;社区活跃度高 官网&#xff1a;https://almalinux.org/

卡顿人生,如何拯救?

原文链接&#xff1a;https://yqh.aliyun.com/detail/17536?utm_contentg_1000161682 本文为阿里云原创内容&#xff0c;未经允许不得转载。

三个月前被 K8S 弃用,Docker 火了!获 2300 万美元融资

整理 | 寇雪芹头图 | 下载于视觉中国出品 | CSDN云计算&#xff08;ID:CSDNcloud)美国加州时间 3月16号&#xff0c;Docker 宣布获得 2300 万美元的 B 轮融资。经过此轮融资&#xff0c;Docker的总资金达到5800万美元&#xff0c;主导本轮投资的是硅谷风投公司 Tribe Capital&a…

阿里腾讯今日头条纷纷翻牌子,ClickHouse到底有什么本事?

ClickHouse是近年来备受关注的开源列式数据库&#xff0c;主要用于数据分析&#xff08;OLAP&#xff09;领域。目前国内社区火热&#xff0c;各个大厂纷纷跟进大规模使用&#xff1a; 今日头条 内部用ClickHouse来做用户行为分析&#xff0c;内部一共几千个ClickHouse节点&am…

开启VScode的nvue、vue文件类型支持 - 代码高亮

装Vetur创建&#xff0c;配置&#xff0c;ok 注意&#xff1a;后面的值都是vue 效果图

Dubbo-go 发布 1.5 版,朝云原生迈出关键一步

引语 计算机技术浪潮每 10 年都有一次技术颠覆&#xff0c;相关知识体系最迟每 5 年都会革新一次&#xff0c;大概每两年贬值一半&#xff0c;在应用服务通信框架领域亦然。凡是有长期生命的通信框架&#xff0c;大概有 5 年的成长期和 5 年的稳定成熟期。每个时代都有其匹配的…

互联网究竟是怎么诞生的?

作者 | 小枣君来源 | 鲜枣课堂&#xff08;ID&#xff1a;xzclasscom&#xff09;1957年10月4日&#xff0c;苏联发射了人类第一颗人造卫星——斯普特尼克一号。斯普特尼克一号&#xff08;Спутник-1&#xff09;这颗卫星的升空&#xff0c;轰动了整个世界&#xff0c;也…

引入阿里云GA,商米加速IoT产品和解决方案全球化布局

在全球化战略布局下&#xff0c;今年以来&#xff0c;商米联合全球合作伙伴推出了多款智能IoT 产品和数字化解决方案&#xff0c;为商户提供更专业地服务。同时&#xff0c;今年6月份&#xff0c;商米还引入阿里全球加速GA&#xff0c;加速实现信息化办公系统全球部署&#xff…

企业方案 vscode

文章目录1. 下载插件2. 配置1. 下载插件 2. 配置 {"mithrilEmmet.vnodeFactoryFunctionName": "m", // Specifies the name of vnode factory function. E.g. for mithril, use m; for hyperscript, use h."mithrilEmmet.outputDefaultTagName"…

问答题:如何构建一套满足GPT-3的存储系统?

这几天GPT-3成为人工智能甚至整个科技圈最为热门的话题。作为著名人工智能科研公司 OpenAI 开发的文字生成 (text generation) 人工智能&#xff0c;GPT-3的相关论文在2020年5月份就已经发表&#xff0c;由于使用了45TB的数据&#xff0c;并采用了天文数字级别的1,750亿参数量而…

抖音实战~手机号一键注册登录流程(验证码)

文章目录一、 一键注册登录流程二、前端2.1. 验证码获取流程2.2. 验证码获取代码三、后端验证码3.1. 前置处理3.2. 拦截器添加3.3. 获取验证码一、 一键注册登录流程 二、前端 2.1. 验证码获取流程 1.点击->获取验证码调用后端获取验证码api接口2.验证码59秒倒计时3.重复点…

《2021中国数据资产化工具市场研究报告》隆重发布

早在五年前&#xff0c;数据是21世纪“新石油”的口号就已响彻行业。 在2020年4月&#xff0c;我国首次将“数据”与土地、劳动力、资本、技术并列为五大生产要素&#xff0c;并提出要“加快培育数据要素市场&#xff0c;完善数据要素的市场化配置机制”。企业作为市场主体&am…

秒懂云通信:如何用阿里云语音通知服务(小白指南)

简介&#xff1a; 手把手教你如何使用阿里云语音通知服务&#xff0c;超详细控制台步骤解析&#xff0c;快速上手&#xff01;更有1650元短信体验代金券和免费试用&#xff0c;点击速抢&#xff1a;https://yqh.aliyun.com/live/cloudcommunication-videos 一、如何开通阿里云…

Mysql如何统计表的大小

在开发中遇到一个问题&#xff0c;我要统计哪个表中的数据增长度快。于是就想要找出每个表的大小。 SELECT CONCAT(table_schema,.,table_name) AS Table Name, CONCAT(ROUND(table_rows/1000000,4),M) AS Number of Rows, CONCAT(ROUND(data_length/(1024*1024),4),M) AS Dat…

抖音实战~个人中心模块

文章目录一、个人中心主页1. 主页元素2. 表设计3. 计数方案评估二、用户信息查询~接口设计2.1. 用户信息查询流程图2.2. 用户信息查询流程三、用户信息更新~接口设计3.1. 流程图3.2. 流程简述四、用户背景图用户头像~接口设计4.1. 更新/上传图片流程图4.2. 更新/上传~流程简述五…

分布式系统架构与云原生—阿里云《云原生架构白皮书》导读

简介&#xff1a; 有幸作为阿里云MVP提前获得了阿里云云原生团队编写的《云原生架构白皮书》&#xff0c;希望通过自己对于云原生的理解为开发者提供一篇观后感或者是能够参考的博文 1 云原生与分布式系统架构的关系 1.1 云原生架构的定义 《云原生架构白皮书》中对于云原生…

纵行科技携手意法半导体推ZETA/LoRa双模智能路由,加速LPWAN 2.0泛在物联布局!

物联网在接入各行业的过程中使用了各种各样的行业标准和协议&#xff0c;联盟的形式可以加速聚拢物联网产业链生态&#xff0c;促进物联网应用更好更快地落地&#xff0c;因此成为物联网领域内厂商们欢迎的合作共赢方式。 ZETA就是众多物联网联盟中的一个&#xff0c;这是由基于…