对话阿里云李飞飞:下一代企业级数据库6大技术方向

简介: 对话李飞飞,不仅仅是一次简单的采访,对老鱼来说,也是一种收获,因为,在数据库领域李飞飞拥有敏锐的触角,对数据库发展趋势有着独到的见解和洞察。

老鱼笔记.jpg

题图:DTCC 2020大会专访合影(左:老鱼 右:李飞飞)

点击 对话李飞飞视频采访 观看采访视频

对话李飞飞,不仅仅是一次简单的采访,对老鱼来说,也是一种收获,因为,在数据库领域李飞飞拥有敏锐的触角,对数据库发展趋势有着独到的见解和洞察。

 

在2020年12月结束的DTCC2020,“百库争鸣”或许是参会者最大的感触。据不完全统计,目前有名有姓的国产数据库产品多达200种。

百花齐放,百家争鸣,这正是用户所需要的。数据库被国家列为“卡脖子”的35项关键技术之一。只有对数据库基础研究越重视,参与的企业越多,关注的人越多,才有可能诞生更好的数据库软件。

下一个10年,数据库发展趋势是什么?用户需要什么样的数据库?这可能是很多从业者都想知道的问题,而这些问题,在DTCC2020大会上就有答案。

大会第一天,阿里巴巴集团副总裁,阿里云智能数据库产品事业部负责人李飞飞就分享了他对数据库领域的观察,并指出了下一代企业级数据库的6个关键技术方向。

6.png

众所周知,Gartner最新公布的2020 年度全球云数据库魔力象限评估结果,国内有3家厂商进入,其中阿里云更是挺进了第一阵营——领导者(LEADERS)象限。这意味着在云数据库这条赛道上,中国数据库并没有落后于人,并且真正走进世界一流。

11.26Gartner1.jpg

很多人或许没留意到,今年Gartner将OPDBMS(Operational Database Management Systems)和DMSA(Data Management Solutions for Analytics)两个本是分开领域合二为一,成为CDBMS(Cloud Database Management Systems)。

为什么Gartner要这样做?因为Gartner认为“There is Only One Cloud Database DBMS Market”。这不仅意味着CDBMS魔力象限竞争更为激烈,含金量更高,也意味着一种趋势,数据库和数据仓库是可以融合的。

因此,阿里云对下一代企业级数据库关键技术的判断还是极具参考价值的。

但对于6种关键技术,外界其实还存在一些不同的声音。比如,有一种声音认为,HTAP只是一种场景需求,并非一种趋势。分布式是未来吗?软硬件一体化是不是又回到了被锁定的老路?

为此,老鱼在会后特意专访李飞飞,就这些问题展开探讨。

 

以下为本次专访对话内容精选:

老鱼:在您看来,过去的10年,中国数据库技术发展呈现怎样的趋势?下一个10年会朝怎样的方向发展?

李飞飞:过去十年,数据库领域最大的趋势,我觉得是从传统数据库架构向云原生架构演进的趋势。

云厂商的崛起,是过去十年非常典型的特征。没有人会想到,突然有一天,亚马逊也开始做数据库了,并悄无声息的就已达到了全球数据库领先位置。我认为,这跟云计算新赛道带来的机遇是密不可分的。

云计算带来的云原生技术体系催生了云原生数据库和云原生数据仓库。像AWS Aurora,AWS Redshift, Snowflake, 阿里云PolarDB、AnalyticDB(ADB)。我认为,都是新赛道带来的全新发展机遇,这是一个非常典型且有着时代代表性的趋势,向云原生演进。

另外一个大趋势,是分布式技术的深度发展。过去十年,分布式技术从一个比较初级的形态发展到今天,有了今天的分布式数据库和分布式数据仓库。

接下来的十年,有哪些趋势?

第一、云原生和分布式会发生深度融合,架构上无缝融合,提供更好的弹性、高可用能力。

第二、智能化技术深度融合,在数据库中,如何用AI和相关技术,去做到智能化的运维管控,比如索引推荐,MySQL治理、异常检测等。

第三、数据库大数据一体化,包括HTAP以及离在线一体化,在过去的十几年里,数据库领域和大数据领域是分开的,一个做离线,一个做在线,相安无事。但从应用角度或客户视角看,越来越多的客户和应用需要最好是一套系统来解决数据从生产、处理、存储、消费全链路的过程,客户越来越希望减少数据移动和存储成本,避免天天做数据同步。如果能够实现离在线一体化或能够实现HTAP事务分析一体化或离线计算在线查询一体化,那这些问题都可以迎刃而解。这也是我认为,下个十年非常关键的趋势。这也是为什么Gartner将OPDBMS(Operational Database Management Systems)和DMSA(Data Management Solutions for Analytics)两个本是分开领域合二为一背后的核心逻辑。

第四、多模,除了结构化数据,怎么去处理文本、图片等非结构化和半结构化数据?用数据库方法去融合处理这些数据。

第五、软硬件一体化,一定要关注硬件发展,比如:NVM、高速网络等新硬件对数据库系统设计带来的冲击。

第六、安全可信,这是个永恒的话题。不是最新趋势,但会不断演进。如何结合区块链技术在数据库系统里提供不可篡改性,如何将加密技术做到数据库里对数据进行全程加密保护。


老鱼:关于HTAP还是颇有些争议。有观点认为,HTAP只是一种细分使用场景,还谈不上不是未来数据库的趋势,并且不建议把OLTP和OLAP业务完全混合,认为在典型的OLTP处理场景就使用面向OLTP设计的数据库,否则,既达不到OLAP的扩展性,又无法满足OLTP的实时、高性能等要求。您怎么看?

李飞飞:中国有句古话,鱼和熊掌不可兼得。如果,今天有人告诉用户说“我今天做了个HTAP数据库可以替换传统的OLTP数据库,也可以替换传统的OLAP数据仓库,传统的OLTP、OLAP系统都没有用了”,那是不可能的。

如果用户就是在线交易场景、高并发、读写冲突非常高,这种情况下还要做OLAP,做多表聚合查询,是非常复杂的。此种情况下,和高并发事务放在一起,一定会有挑战。

那为什么还要讲HTAP,我认为并不是要彻底取代传统OLTP或彻底取代传统OLAP数据库,HTAP有自己的市场。一些在线事务、在线交易的场景下,如果做一些不太复杂的分析,或者做复杂分析但隔离级别要求没那么高,对实时性要求也不那么高,在这种场景下,能不能做到既做OLTP又做OLAP?那是有可能的。

比如,在我们事务处理里,都做三副本,三副本里可以做行列转换,两个副本可以是行存,第三个副本是列存,去读列存副本,并保证高隔离机制高实时可见要求,在这种场景下是没问题的。但如果做非常复杂,时效性要求非常高的分析计算,还是要专门的OLAP系统。

另外,将离线和在线一体化,既能做在线交互式分析也能做离线ETL是刚需。这个过程中,既然要做实时增、删、改、查又要做交互式分析和复杂离线计算(但是前提是在一定的隔离级别以下,比如RC),一定会产生HTAP场景,但这个HTAP和理想中的HTAP既能支持高隔离级别、高并发还能做复杂分析是两个概念。

我觉得,未来的场景一定是有复杂分析计算场景、数据库大数据一体化场景,不管从那种角度, OLAP支持一定级别的OLTP, OLTP做得非常好还能兼顾一定的OLAP,这种场景是存在的。


老鱼:这几年,分布式数据库非常火,很多企业都在试水,有成功的,也有失败的,有种说法,数据量不上一定规模,没有超高峰值,没有高并发的场景就没必要用分布式数据库,因为,很可能不能获得什么明显优势。您怎么看?

李飞飞:在今天的演讲中,我旗帜鲜明的提到,不能为了分布式而分布式。今天分布式很火,有众多原因。在美国市场,分布式OLTP数据库商业化成功的案例并不多。以Oracle为例,并没有将分布式作为最重要的主攻方向。

这其中包括美国分布式数据库鼻祖Google Spanner以及出来创业的CockRoachDB,商业化规模也有待进一步提升。分布式解决的核心问题是水平拓展问题,但有前提条件,你的业务逻辑和数据分布方法是基本完美匹配的,这样可以做到完美的并行分布式处理,这没问题。但理想很美好,现实很骨干,很多业务场景没办法做到完美,即使能做到,业务逻辑随着时间会变化,数据分布就可能会发生变化。

还有一种可能,一份数据有多个不同的业务,就像电商场景,既有买家又有卖家,你这数据到底是按买家ID来做,还是按卖家ID来做。不同业务场景需求不一样,无论是按哪个逻辑去做分库,最终会导致跨库分布式事务处理和分布式查询。在今天的场景下,如果要保证高级别的ACID,高并发场景下如果业务逻辑和数据分布不一致,一定会带来大的读写冲突和事务处理成本,这是分布式数据库无法完美解决的问题。

我们不能为分布式而分布式,而是要看业务场景,什么样的业务场景需要分布式改造?比如业务逻辑相对成熟固定,数据分布也比较稳定,不大可能发生突然的数据分布变化,这种场景下做一个分布式设计,那没问题,还可以提供完美水平拓展能力。如果不是这种场景,或者并非超高并发,大部分业务系统和应用其实并不需要分布式改造。

传统单机系统也有非常明显“短板”,用云原生能力对资源进行池化,实现资源解耦,可以对应用做透明集中式部署,能完美解决了这个场景。

再往后怎么办,将分布式能力和云原生能力结合起来,将两者的优势结合起来。我觉得这才是下一代系统应该去做的一些突破。


老鱼:您刚才提到的趋势里,有软硬一体,以前我们经常吐槽友商一款产品软硬一体带来锁定。现在又回到了软硬一体的路上,这到底是进步还是倒退?

李飞飞:软硬一体,不能理解为软硬一体绑定部署,如果是软硬一体绑定部署就回到了以前那条老路上。虽然以前的产品有很多设计思想值得我们借鉴,实际上,有些产品先于云厂商意识到资源池化、资源解偶的重要性,并早于云厂商做了这些工作,但很可惜,是紧耦合的方式去做的,所以,市场的反应没有那么好。

今天我讲软硬一体,并不是要去做这种软硬件紧耦合在一起的部署,而是说,要去结合硬件的特点来设计和优化数据库系统。尤其是能规模化部署的硬件,客户并不需要为软硬件一体化设计,因为这种硬件已经是通用硬件,这个非常关键。

软硬件一体化优化,是每家数据库厂商都必须要做的,因为系统本质是安全、高效的使用有限的硬件资源,必须结合硬件的特点来优化和设计系统。但问题是,不能针对特定、特殊硬件去做紧耦合,这样倒逼用户去改造硬件,这个成本太大。但是对普适性硬件如果视而不见,不针对硬件特点去发展会落伍。

总的来说,我想表达的软硬件一体化的逻辑,是针对具备普适性、规模化铺开的硬件,根据硬件不断发展的特性,快速敏锐捕捉新特性,在数据库系统设计里把硬件特性发挥出来。


老鱼:今年阿里云首次进入Gartner全球领导力象限,您怎么看待这次入选?阿里云数据库未来将如何去保持跟扩大自己的领导优势?

李飞飞:阿里云只是中国数据库的一个代表。今年不仅阿里云进入全球领导者象限,我们看到,有2家友商也首次进入了魔力象限,我觉得,这是历史性突破。

阿里云进入全球领导者象限,代表着中国数据库行业整体水平已经达到世界领先行列。进入第一阵营了,这是非常值得骄傲和自豪的,也给我们后续的发展奠定了非常好的基础。

尤其是今年Gartner将大数据管理分析和传统事务数据库合二为一,在这个背景下取得这个成绩,非常难能可贵。

我们看到各大云厂商以及Oracle、IBM等老牌和新贵Databricks、Snowflakes都在里面。后续竞争,我相信每一年会越来越激烈,怎么去保持?

第一,从市场中来、回到市场中去,贴着客户需求去发展,而不是自嗨。

比如;今天我们看到,阿里云在公共云市场份额非常大,但也看到混合云市场机会非常大,针对混合云市场,如何去打造我们的产品和技术?这是新的挑战。这种挑战甚至可以说,美国云厂商遇到的挑战都没有我们多。

中国互联网为什么在某种程度上发展的比美国还要好?因为市场驱动、客户驱动、应用驱动,中国有这么多人口,有密集城市,所以中国的互联网应用在某些程度发展的反而比美国好,因为它有驱动应用发展和创新的条件。在混合云市场,中国也具备这样的条件。

美国IT数字化程度非常高,进入云计算之前,其数字化程度非常高。所以美国的企业对拥抱公有云相对中国市场是非常自然而然的事情。但中国市场不一样,中国市场有中国市场的特点。

传统政企对公共云的拥抱肯定没有美国市场度高。所以,在中国混合云市场在相当长一段时间里会是一个核心赛道,这个市场上怎么发力?技术产品怎么设计?从市场需求出发,结合市场特点,做出一些差异化有特色的产品非常关键,这是第一点。

第二点,既然是全球领导者,那么,在全球市场上的表现就非常重要。阿里云不仅做中国市场,也要走出国门。在今天的环境下,在欧美市场会有一些挑战,但在东南亚市场,在欧美市场之外还有广阔的市场空间等着我们去增长。

这些市场,阿里云要直面国外云厂商的竞争,在与它们的PK中去赢得客户。今年,阿里云能进入全球领导者象限很关键的原因是,阿里云有很多海外客户,很多是从国外云厂商迁移过来,这对Gartner而言,是非常重要的信号,说明阿里云做得更好,客户用脚来投票,这是非常有说服力的。


老鱼:阿里云数据库产品线,今年相比去年有什么变化?

李飞飞:我们会进一步聚焦,OLTP核心产品是PolarDB及分布式版PolarDB-X。OLAP有两个核心产品,分别是云原生数据仓库AnalyticDB和云原生数据湖分析DLA。NoSQL领域也是两个核心产品,云原生多模数据库Lindorm和云原生内存数据库Tair。

还有托管产品RDS和NoSQL、和工具类产品。对托管产品,阿里云更多是在管控平台这一层投入,结合云原生和智能化的技术把托管的优势发挥出来。比如自动化实例管理、高可用等。

阿里云的核心思路还是聚焦在主赛道上,在核心自研产品上加大投入,托管产品和生态伙伴达成很好的合作关系,发挥托管平台优势。比如MongoDB,以前我们还在MongoDB上投入研发,现在兵力都收缩回来,我们跟MongoDB签了个协议,用它的最新版,不是挺好的吗?从数据库内核产品再到运维服务再到应用开发ISV,借助和发展生态的力量是我们的核心战略。

作者:老鱼笔记

原文链接

本文为阿里云原创内容,未经允许不得转载

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514371.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

云企业网CEN-TR打造企业级私有网络

简介: 为了满足企业大规模、多样化的组网和网络管理需求,云企业网(CEN)提出了转发路由器TR(Transit Router)的概念。在每个地域内创建一个转发路由器,可以连接大量VPC、VBR,作为您在…

孩子不念书了学计算机,李玫瑾教授:孩子是不是学习的料不用等长大,上幼儿园就能看出来...

读书是通往成功的一个捷径,但却并非所有人都能走这个捷径。虽然家长都不信,也不想相信,但有些孩子就是不适合学习,如果走一些其他的路可能还会有不一样的人生,但要是在学习这一条路上一条走到黑,未来一定不…

这个数据仓库,竟然把淘宝和京东干翻了。。

守着金山讨饭吃,乍听有些不可思议,但不少企业正遭遇这样的窘况。大数据被誉为“新石油”,如何管理并洞悉数据的价值,是企业未来发展的核心竞争力。进入大数据时代,数据规模与日俱增。另一方面,数据仓库的市…

如何做好性能压测丨压测环境设计和搭建

简介:一般来说,保证执行性能压测的环境和生产环境高度一致是执行一次有效性能压测的首要原则。有时候,即便是压测环境和生产环境有很细微的差别,都有可能导致整个压测活动评测出来的结果不准确。 一般来说,保证执行性能…

疫情之下的科技普惠:阿里云科技驱动中小企业数字化

2020 年到2021年,一场疫情给全球经济发展带来了重创。在受到疫情影响之时,各行各业尽展众相,一些企业进行着自我变革;一些企业还未来得及自救,却已被淘汰。更受疫情冲击的,是各行各业中的中小型企业&#x…

一则有趣的机场广告

作者:小枣君来源:鲜枣课堂前几天路过深圳宝安机场时,有一个大屏广告,成功地吸引了我的注意。我把它拍了下来,如图所示。广告中,一位商务人士从胸前口袋里,掏出了一个银灰色的小盒子。广告语写着…

3+1保障:高可用系统稳定性是如何炼成的?

简介: 影响系统稳定性的架构设计有哪些?一个可持续保障的研发运维流程机制是怎样的?如何培养团队技术人员的意识和能力?本文作者以团队技术负责人的视角,从三大技术要素和一个业务要素,分享在稳定性建设上的…

从KPI到OKR,高阶产品人如何推动业务高速增长

简介: 不管是核心大目标,还是O(Objectives),或者北极星指标,奇妙等式等等,最后都需要核心组织协同方式来推动整个目标聚焦以及过程的落地。 作为产品经理人,相信很多人都遇到过以下的…

有没有五金产品展开计算机软件,花样算法猫腻不断 全屋定制这本账真心不好算...

花样算法猫腻不断 全屋定制这本账真心不好算人民网2017-03-14 09:50[摘要]选材差不多、尺寸也差不多,在不同定制品牌之间,不要说终的产品价格相差多少,就光中间的计价过程估计就能让人头疼好一阵子了。说到定制家具产品的账要怎么算。有过消费…

从Hadoop到云原生,谈如何消除程序员35岁危机

作者:小智 来源:智领云科技前言35岁这个“职场枯荣线”,确实真实存在。不知从何时起,很多企业将入职门槛限定在35岁以下,“35岁”已然成为职场中年的魔咒。尤其是程序员这个群体,年龄绝对是最难以隐忍的痛点…

Serverless Kubernetes:理想,现实与未来

简介: 当前 Serverless 容器的行业趋势如何?有哪些应用价值?如果 Kubernetes 天生长在云上,它的架构应该如何设计?Serverless 容器需要哪些基础设施?阿里云容器服务产品负责人易立及阿里云 Serverless Kube…

这只猫在云端定居了?边缘计算在天猫精灵云应用上的落地实践

IoT的概念早已飞入寻常百姓家,在你我的日常生活中发挥着“智能”作用。比如,智能家居、智慧照明、GPS 导航、手机计步器等。未来,随着用户和技术的延伸和拓展,物联网的信息交换和通信价值将会被继续放大。 那么问题来了&#xff…

Gartner发布2021年新兴技术成熟度曲线,三大新兴技术趋势主题

Gartner通过信任、增长和变革三大新兴技术趋势主题发布推动创新的关键新兴技术。需特别关注非同质化通证、量子机器学习、生成式人工智能、同态加密以及组装式应用和网络等关键技术 编辑 | 宋慧 供稿 | Gartner 头图 | 付费下载于视觉中国 根据全球领先的信息技术研究和顾问公…

如何通过数据智能玩转私域流量新生态

简介: 流量三分天下的局面,催生了私域流量的诞生。从第三方数据流量监测角度观察,2020年,以及在未来几年内,在私域流量方面会出现什么样的趋势和新机会?友盟统计分析产品总监冯成蹊,就“如何通过…

深圳入户计算机一级证加分吗,2021年深圳积分入户,哪些职称证书可以加分?...

深圳入户问题记录今年已经拿到自考本科,社保刚交一年,听说职称证书可以加分,明年打算考,请问哪些证书可以加分,容易考吗?在深圳积分入户分值项中,职称也是可以加分的。职称(Professional Title)…

Unet网络实现叶子病虫害图像分割

作者|李秋键 出品|AI科技大本营(ID:rgznai100) 智能化农业作为人工智能应用的重要领域,对较高的图像处理能力要求较高,其中图像分割作为图像处理方法在其中起着重要作用。图像分割是图像分析的关键步骤,在复杂的自然背景下进行图像分割, 难度…

阿里毕玄:提升代码能力的4段经历

简介: 对于程序员而言,我始终认为代码是展现能力的关键。一个优秀程序员写的代码,和一个普通程序员写的代码是很容易看出差别的,代码是展示程序员硬实力的名片。如何提升写代码的能力,始终是一个关键的话题&#xff0c…

c语言 cstring “+”: 运算符不起任何作用;应输入带副作用的运算符_国家计算机二级考试C语言选择题高频考点汇总,干货满满...

【考点1】C语言的构成1.源程序由函数构成,每个函数完成相对独立的功能。2.每个源程序中必须有且只能有一个主函数,可以放在任何位置,但程序总是从主函数开始执行。3.函数体:在函数后面用一对花括号括起来的部分。4.每个语句以分号…

钉钉推出“钉工牌”,门禁、差旅、员工福利一码通用

钉工牌将工作身份验证与支付功能相整合,不同于传统物理工牌,它是一张数字时代的“活”工牌。 编辑 | 宋慧 出品 | CSDN云计算 8月24日,钉钉向1700万企业组织正式推出“钉工牌”。企业开通此项功能后,员工可以用手机里的数字工牌刷…

快速了解云原生架构

简介: 云原生架构本质上也是一种软件架构,最大的特点是在云环境下运行,也算是微服务的一种延伸。 起源 1. 云原生(Cloud Native)的由来 云原生的概念最早开始于 2010 年,在当时 Paul Fremantle 的一篇博…