新一轮科技革命和产业变革正重塑全球发展格局,以云计算为代表的新一代信息技术相互渗透,成为数字经济智能和创新发展新引擎。
过去 12 年,人们对云计算的讨论从原来的“为什么上云”,到“为什么不上云”,再到如今探索“云上创新”机遇。一年一次的阿里云峰会,正是与开发者一同见证最新云上技术创新与实践应用的行业峰会。
5 月 29 日,在 2021 阿里云峰会火热进行的第二天,CSDN 创始人&董事长、极客帮创投创始合伙人蒋涛,CSDN 副总裁于邦旭空降大会直播间,独家对话阿里云丁宇、贾扬清、华先胜、陈长城等技术大咖,深入揭秘云原生最前沿的实践与应用,云原生数据库 2.0 最新理念、大数据+AI 研发密码等烧脑话题,精彩对话不容错过:
对话丁宇:全云开发时代来了,开发者全面拥抱云原生
蒋涛:您在大会上分享《云原生推动全云开发与实践》,之前可能大家讲得比较多的是“云开发”“全民开发”,那“全云开发”对开发者来说有什么不同?
丁宇:软件研发流程漫长,涉及 IDE、开发框架、编程语言平台、代码仓库、镜像仓库、测试环境、CI/CD、采买资源、应用升级、运维、监控等,过去工具和能力并不完善,随着云原生迅速发展,正革新我们的开发模式。
通过行业调研,我们观察到开发者在对全云开发的接受度、投入度、使用度均在快速上升,因此我们认为全云开发时代已来。
蒋涛:怎么理解“云原生是释放价值的最短路径”?云原生如何助力当前企业数字化转型?
丁宇:2019 年,我们发现在国内线下 IT 投入已低于线上投入,因此我们提出一个观点“云计算的拐点到来了”。
云原生可较好地帮助我们构建应用层,另外拥有容错性好、易于管理、可弹性扩张等特性,企业数字化转型其实已经离不开云计算。
云原生为企业带来四大价值:
一是云原生以容器为代表,将基础设施非常平滑地搬到云上,帮助企业完成基础设施的云化。
二是核心技术系统互联网化,云原生将互联网技术标准化传递到传统线下企业。互联网的技术、思路、理念、组织形态可对传统企业升级能力,赋能创造:如低耦合、可扩展、小步快跑、快速迭代、敏捷开发、业务快速上线等。
三是驱动应用架构向现代化演进。我们常说“一云多芯”“云边一体”等理念,只因为解决企业协同的智能化、管理数字化而生,这些技术在云原生技术体系下,才能更好地推动企业 IT 体系变革。
四是多中台。云原生帮助企业构建起业务中台、数据中台、AI中台等,由于数字化转型关键的一点是用数据将业务数字化和智能化升级,以更好地驱动业务迭代和创新。
所以从以上四个方面来看,云原生是企业数字化转型的基石。
蒋涛:在云上实践中,能否举例说明企业从原来的 IT 系统演进为云原生体系,大约需要花费多长时间,需要解决哪些问题?
丁宇:这确实是一个相对漫长的过程,阿里云正要缩短这个过程。自 2006 年开始,阿里自研分布式架构体系,2009 年启动“双十一”活动、创办阿里云,随后用技术创新来帮助公司转型升级。2015 年提出“中台战略”,2017 年创立达摩院。
2018 年,阿里将过去近 20 年所沉淀的业务中台、数据中台、技术中台等技术能力全面和阿里云整合,所以说使用阿里云的用户是“站在巨人的肩膀上”。
在帮助客户企业上云时,如果 IT 基础不完备的话,可能需要漫长的演进过程。例如企业原有 IT 基础不便上云,如今想打造业务中台和数据中台的话,由于缺乏平滑路径,将产生高昂的迁移成本。如今我们也在不断提高自身的咨询、架构、方案实施的能力,来加速企业上云。
蒋涛:在云原生时代,开发者如何更好地发展?您有哪些建议?
丁宇:时间倒退回 5 年前,彼时开发者假如想创业的话,“兵器库”里优秀的工具较少,彼时开源工具没有那么普及。
随着云原生时代崛起,当前 CNCF 里的项目已覆盖软件开发生命周期的方方面面,且在每个领域都逐渐形成了技术标准和规范,开发者基于开源可快速搭建一套新的技术体系,所以说这是开发者最好的时代,开发者要全力拥抱云原生、开源、云计算,才能更大释放生产力。
另外,当企业走向商业化之路时,可使用云平台提供的丰富产品,今天生于云时代后的互联网公司大部分都在云平台上。因为云平台是不断进步、持续保持竞争力的平台,创业者可基于云平台可以快速驱动业务上线。
开源非常伟大,没有 Linux 就没有今天的互联网,开源将技术白盒化,大家可多研究开源、贡献开源、参与开源。
对话陈长城:一站式在线数据管理平台,敲开云原生数据库 2.0 之门
今天,阿里巴巴集团副总裁、阿里云智能数据库事业部高级研究员李飞飞宣布推出云原生数据库2.0——一站式在线数据管理平台 DMS,以及“阿里云数据库开源计划”,共建云原生数据库生态。
2020 年,在 Gartner 发布《2020 年度全球数据库魔力象限报告》,阿里云首次进入全球数据库领导者象限,值得一提的是,这是中国数据库 40 年来首次进入全球顶级数据库队伍。
自高举“升级传统商业数据库”旗帜以来,阿里云在云数据库投入众多,陆续推出自研产品:例如在企业级云原生数据库上,拥有云原生关系型事务数据库 PolarDB、分布式版 PolarDB-X;在 OLAP 领域,有云原生数据仓库 AnalyticDB、云原生数据湖分析 Data Lake Analytics;在 NoSQL 领域,拥有云原生多模数据库 Lindorm 和内存数据库 Tair。
然而在后疫情时代下,企业对云数据库的诉求发生改变。疫情加速了不少行业的业务在线化和数字化运营,伴随企业数字化转型加速,数据的存储和价值挖掘需求越发强烈,呈现数据量加速增长,数据类型多样化,云原生分布式三大趋势。
如今阿里云推出一站式在线数据管理平台 DMS,这背后有哪些思考?带着这些问题,CSDN 创始人&董事长、极客帮创投创始合伙人蒋涛和阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城展开对话:
蒋涛:今天推出的“云原生数据库 2.0”理念和产品,将会给企业带来哪些颠覆性变革?
陈长城:一站式在线数据管理平台 DMS 与传统的数据集成不同,我们从客户场景视角提出了一站式数据管理服务的理念,从数据生产和集成、数据实时处理(OLTP\NoSQL)、数据分析与发现OLAP、数据开发与管理,覆盖数据生产到应用的全生命周期。
其中最大的特点是企业能够用数据库的方式进行大数据量的管理,从单机数据库,到云原生分布式数据库如 PolarDB、再到按需集中到数据仓库进行分析、报表开发,以及数据归档和离线数据价值挖掘,实现库仓一体、在离线一体的存储和计算能力。
第二个变化是在线数据资产统一管理,低门槛按需建仓,敏捷分析的能力。云原生技术应用让数据库和数据仓库都在一个可控的环境,可以实时无缝打通,实现 DDL、扩缩容等运维无感知,这是传统数据集成做不到的,同时将 ETL 转换内置在链路里大大缩短传统数据集成链路,可将源端库直接作为数仓的 ODS 层进行计算加工,免去数据的物理搬迁问题。真正实现敏捷建仓、按需建仓。
蒋涛:对标其他产品,从一站式数据管理工具的角度上,阿里云的领先程度为多少?
陈长城:一站式在线数据管理平台 DMS 为满足企业多样化的业务场景需求,又满足数据集中的需求而生。传统的数据集中需要做数据的物理集中,一站式数据管理平台希望做到“按需建仓,敏捷开发”,我们是业界第一个提出这个概念,属于较领先的。
蒋涛:对数据库工程师而言,是否需要学新的技术才能用好这些工具?
陈长城:原来很多应用开发者在使用数据库,数据工程师或者数据科学家使用数仓,一站式在线数据管理平台通过统一打通数据库和数据仓库,使得更多应用开发者像数据工程师去处理数据,这个平台反而是降低技能门槛。
此外,无论是小微企业,还是中大型企业,均可在一站式数据管理平台DMS管理数据和相关开发。由于云原生数据仓库的存储资源是可以无限拓展的,可使得用户数据量膨胀过程中计算和处理分析的方式并没有发生大的改变。
蒋涛:这非常关键,当前所有公司都在进行数字化转型,随着数字化规模不断扩张,怎样让数据开发变得更容易,一站式数据管理是非常有价值的。
当前开源正在深刻影响 IT 界,如 MongoDB、PingCAP 等开源数据库项目拥有良好的影响,开源将是云数据库的未来吗?
陈长城:阿里云数据库本身也是依托开源数据库发展壮大起来,一直是开源社区的积极参与和推动者,一直在将实践过程中遇到的问题,修复的 Bug,原创的技术回馈开源社区,这次将一些更核心的,提升用户价值的技术开放出来,也算投桃报李,相得益彰。
阿里云在提供云数据库服务的长期实践过程中,对数据库技术有了更深的理解。在高可用、分布式、存储与计算分离等方向上积累和沉淀了很多技术,阿里云开源的目的还是期望吸引到更多的合作伙伴一起来共建,为行业用户提供更有价值的解决方案。
蒋涛:未来云数据库产品如何发展才会更有生命力?
陈长城:第一,应用云原生分布式数据库技术,当下业务快速膨胀的数据规模,多样化的数据类型,更复杂的业务特征,和对数据实时洞察的需求,这推动了传统数据库技术向可扩展、高可用、实时弹性等方向发展。通过云原生分布式技术,可以承载大数据量的在线处理和分析,也提供了高可用的生产保障,并对多模数据处理引擎提供了底层支撑,云原生分布式数据库将成为未来企业数据库的首选。
第二,可通过一站式在线数据管理平台 DMS 对企业数据资产进行统一管理,发挥数据价值。对企业数据生产存储、传输加工、计算分析提供全生命周期的服务能力。将企业各种数据库无缝打通,让数据自由流动,构建一体化的解决方案,才能降低企业数据处理和分析门槛,发挥数据价值。
对话贾扬清:大数据+ AI 掀起“敏捷制造”浪潮
在大会上,阿里巴巴集团副总裁、阿里云智能计算平台事业部高级研究员贾扬清做《云上大数据与AI开发范式的演进》的分享。贾扬清除了是深度学习的顶尖技术专家外,还是阿里巴巴开源技术委员会负责人。
在 4 月发布的《GitHub 2020年数字化洞察力报告》显示,阿里开源项目成为中国企业中最活跃的项目。目前阿里在 GitHub 开源项目数已超过 2600 个,覆盖大数据、AI、云原生、数据库、中间件、硬件等多个领域,Star 数 5 月首次超过100万, 全世界有 100 多万开发者为阿里点亮 GitHub Star,接近 3 万的爱好者参与到阿里开源项目贡献之中。
蒋涛:大数据平台和 AI 平台的融合演进是如何的?
贾扬清:如今我们观察大数据与 AI 开发范式的发展模式是沿着“小作坊”到“大平台”再到“敏捷制造”的方向演进,从面向资源的开发,向面向需求的开发转变。
小作坊,比如云下单机运行,在云下开发会面临很多挑战,包括自建环境麻烦、扩展难、协同困难、数据间不打通,成本高、升级困难等问题,于是我们开始向云转移,数据开始标准化,有了统一的工具,开发环境能够快速构建,协同效率也提升了。当我们有更快速灵活以及高效运维等需求出现时,敏捷制造出现了,一切都是“云原生”,能够满足灵活、快速地开发和部署,用更简单的方式按需使用,敏捷制造可让大家更容易触达数据和算法。
蒋涛:“敏捷制造”面向的对象是哪类人?
贾扬清:针对开发者而言。“敏捷制造”起承上启下的作用:对上是开发者,对下是系统。对上希望开发者在触达数据和算法时尽量简单,大数据方向,我们希望开发者可通过一个比较简单的界面,例如像 Excel 一样,可以非常快速读出数据做观察。AI方向,我们用一个大家都比较熟悉的Notebook做开发。
今天我们在云上有一系列产品,DataWorks一站式数据开发与数据治理平台,能够把复杂的大数据演变为触手可及的“小数据”;PAI云原生机器学习平台,能够满足AI模型训练到部署各环节,让你开发非常简单,只要拉起开发环境就可以训练,训练之后,模型部署的过程也很容易。
“敏捷制造”是很重要的一次范式转变。
蒋涛:大数据和 AI 融合后,未来将对业务形态、行业形态发生变革吗?
贾扬清:我觉得会有更新的变化。以媒体行业举例,最早的报纸是“千人一面”,当新闻运用算法推荐后,就像钟摆一样,“从一面迅速摆到另一面”,通过算法分析用户对内容的点击率,进行“千人千面”推荐。但完全基于算法可能会产生很多垃圾信息,因此,通过AI算法和大数据分析内容,可以把“钟摆”再往回摆,能够把这些能力赋能给专业编辑、KOL等,大家利用算法的力量分析内容的同时,创作优质内容,把算法能力和编辑能力结合起来,给用户更好阅读体验,升级行业价值。
蒋涛:在融合趋势下,让普通开发者更好地运用 AI 和大数据的话,开发者是否需要学习更多知识?
贾扬清:开发者要学更多东西,要有更多好奇心。只要大家有好奇心,相互迭代边界,然后咬合起来,都往前走一步,如此一来,就像两节火车厢结合在一起,共同成长。
蒋涛:作为阿里开源技术委员会负责人,能分析下当前国内开源发展进程吗?
贾扬清:总体而言,国内开源群体和开源意识与国际相比,存在一定差距。但近几年来,国内对开源的重视和热情迅速提升,呈现指数级成长。
在阿里内部,正设计开源激励机制,让大家将开源作为工作的一部分,一起来拥抱开源、贡献开源、引导开源。在内部推动开源文化,开源只是第一步,不是结束,后面会继续考核社区增长,通过这样的方式让大家感觉到我们是为了开源、为了社区做开源。
此外,我们通过在全球主流基金会上贡献开源项目,来获取更多主导权。还携手友商共同将项目从闭源走向开源。
对话华先胜:行业行业,无行业不 AI
人工智能技术经历 60 多年发展,可寻找适合的 AI 商业化落地场景,并让AI在场景中产生核心价值,是 AI 创业者头疼的难题。
阿里巴巴集团副总裁、IEEE院士、达摩院城市大脑实验室负责人华先胜表示,无行业不AI。为何他如此说呢?下面我们一起看看:
华先胜:AI 从单点能力逐渐走向平台化,目的是便于开发者规模化开发,让广大 IT 工程师应用 AI 能力到各行各业里。
城市大脑AI中台便是这样的平台,开发者在城市管理、城市治理等场景下利用中台技术做应用层面的创新。工业视觉中台,可帮助开发者简单、高效地生产出AI能力,解决多种多样、复杂多变的工业场景中的问题,共同推动 AI 在工业场景的落地应用。
蒋涛:企业和开发者在应用 AI 落地时,可能会遇到哪些困难?
华先胜:这是一个特别重要的问题,我们多年来不断实践、总结、探索,想让 AI真正落到实处,最关键的点是让AI产生真正的核心价值。AI 价值有三种境界:锦上添花、雪中送炭、无中生有。我们要提供“雪中送炭”的核心能力,甚至要用核心技术创造出来的新的场景,达到“无中生有”的境界,所以我们要做的是:一是价值导向,二是在价值基础上关注核心价值。在此基础上,卓越的算法技术仍然是关键之一,而平台化也是非常重要的规模化落地方式。
今天城市大脑已到第二种和第三种价值。比如在交通感知、交通流量等场景中,过去是靠人为来观察,在杭州上线了城市大脑后,相当于增加了 15000 名交警来助力观察交通状况,已为杭州每天报告几万起交通事件和事故。这是过去没法做到的事情,算法和算力为交通优化提供准确、全面、实时的信息,便于交警快速处理事故、挽救生命、降低拥堵。
蒋涛:不少人认为 AI 应用落地难、AI 难以盈利,您如何看待这两个问题?
华先胜:一是提升 AI 能力,AI 从业者应理性认识到 AI 强大的一面,也有局限性的一面,所以需要不断增进技术,让技术的准确率、覆盖率和效率不断提升。
二是要深入行业,解决行业的核心问题,产生不可替代的业务价值,才有人愿意买单。不能停留在做“锦上添花”的能力上,虽然添朵“花”也有价值,但不会成为行业的刚需,商业化也难以成功。
蒋涛:未来 AI 还有哪些发展较好的应用场景?
华先胜:举几个例子:一是智慧城市,智慧城市涉及的场景众多,相信 AI 能在其中有较好的落地。
二是工业场景。由于工业领域行业多样,同一行业的工厂不同,同一工厂的生产线不同,甚至同一生产线的配置也会发生变化,因此工业场景的AI能力需要平台化,打造平台化来赋能更多的行业开发者和行业专家进行创新。
三是医疗健康领域,AI 在影像、制药研发、基因计算等均有很好的应用。
另外,教育场景也是 AI 大有可为的场景,核心在于教学的效率和质量显著提升,或者说是实现规模化的个性化教育。
在农业场景上,AI 还可应用在育种、检测、自动化、精准种植、灾害预测等。
在互联网领域,媒体、娱乐、电商等均看到 AI 技术的身影。以上均是较典型的场景,还有很多没有涉及的数字化场景。未来社会是数字社会,人工智能、大数据和云计算等技术将是未来数字经济的关键推动力。
蒋涛:以前是 AI 技术热,现在 AI 应用深入到各行业。开发者有很多机会,那么 AI 时代,开发者如何提高自己的技能呢?
华先胜:人工智能技术是未来的趋势,我希望广大开发者能具备 AI 能力,同时这是我们的目标,希望提供平台化的 AI 能力让广大开发者能快速运用 AI 能力致力于各行各业数字化、智能化,支撑、推动、引领数字经济的发展。
还没看过瘾?立即点击 2021 阿里云峰会了解更多精彩动态吧:
https://summit.aliyun.com/2021