2019年技术盘点云数据库篇(一):UCloud专家谈云数据库:千锤百炼 云之重器

作者 | 刘丹

出品 | CSDN云计算(ID:CSDNcloud)

 

公有云逐渐成为企业运行 IT 设施的新趋势,那么作为企业最核心的系统—数据库,数据上云也成为大数据时代的必然选择。对企业来说,数据可视为其命脉,因此数据迁移上云就意味着将企业“命脉”搬到云平台。事实上,数据上云有两种形式,数据库直接上云或者选择云数据库,而云数据库利用其云原生的优势具备了许多过去数据库产品不具备的优势,包括可靠性、弹性、存储容量以及成本等,正逐渐被更多的企业所接受。

随着愈来愈多的企业用户接受并选择云数据库,云数据库产品不断发展创新,并不断满足各行各业的业务需求。CSDN凭借自身技术社区的专业度、客观性,为开发者梳理出关于云数据库近年来的发展历程,并赋能企业发展的新思路。为此,我们采访了数家提供云数据库平台的云服务厂商,本期,我们的主角是UCloud。

千锤百炼终成器 云数据库的演进与实践

据Gartner报告预测,云数据库市场份额将会在下一个五年中翻倍,为满足各类应用和使用场景对云数据库的需求, 数据库的架构演进将是未来十年数据库转型的主要方向之一。谈及云数据库的发展,专注数据库领域近十年的UCloud云数据库负责人罗成对详细道来自己的感受。

“数据库仍然是重要的、核心的基础软件之一,不论是传统商业数据库模式还是如今的云数据库模式,均为企业应用的基础组件。”罗成对强调。云数据库作为数据库服务化的延伸,让企业用户摆脱了诸如昂贵的商业许可、繁重的运维工作、高门槛的系统架构设计等原有束缚。不过在云上,企业用户对云数据库的要求反而更高了。

“云数据库正在大步向前的不断演进,其背后的驱动力正是源于用户渐进式的需求。起初是数据库托管,现阶段是面向使用或者业务场景的多样化需求,未来将会是真正的零维护。”云数据库的不断演进,同时也对云服务商带来了更多的考验,例如对云数据库模式的探索,对用户深层次需求和痛点的思考,要求云服务商对云数据库理念和愿景的坚持。这样的持续性考验更要求云数据库厂商需要在技术上具备一定的前瞻性,且具有长期规划和演进的生命力。

当然,稳定性、可靠性、安全性、高性能、高可用等依旧是衡量一款云数据库的重要指标。硬件更新换代,新技术、新架构的落地,以及基础设施的不断演进,都可能是云数据库的一次重构升级,突破原有设计约束,采用更优的解决方案满足用户需求。由此可见,一款云数据库只有历经多年运营、规模级企业用户的磨砺,才能称得上是一款合格的产品。而累计服务成千上万家企业用户,达到数以万计的实例数规模,PB级以上的数据量,多样化丰富的产品线,这无疑都是对云数据库产品研发与运营、技术可靠性的一场综合性考验,面对巨大的挑战,云厂商必将历经千锤百炼助力云数据发展的使命。

传统数据库与云数据库是马车与汽车之别 云数据库的持续价值不容小觑

2019年,Gartner在《在云上的数据库管理系统的未来发展》的报告中,阐述了数据库市场正在发生的变化。其中云服务商,AWS、Google、Alibaba凭借在各自云数据库的优势产品,在数据库领域持续发力,市场份额逐渐增多,直接威胁到了传统商业数据库的地位。

而2019年UCloud针对平台用户的调研中发现,高达六成的企业积极拥抱云数据库的,1/4的用户处于观望状态,相信未来会尝试云数据库或者采用云数据库和自建数据库并存的混合模式。对此,罗成对表示,企业对于拥抱云数据库的意愿是积极的,其在负责运营UCloud云数据库时间中,深感云数据库为企业用户带来的持续价值。

面对云数据库的发展与变化,UCloud云数据库在产品与技术上也在不断寻求突破与创新。据罗成对介绍,UCloud公有云在2012年推出后,成功商用7年时间,累积了大量的企业用户,秉承着“用户的需求就是UCloud下一个产品”的公司产品理念,其云数据库类产品的研发过程紧密围绕着用户需求点来展开,直接服务于平台上大量的用户。其中,云数据库产品UDB、云缓存类数据库UMem、分布式数据库UDDB等产品自商用以来,都取得了良好的发展,并持续向企业用户侧渗透,服务更多企业用户。在此期间,UCloud在产品上一直遵循“简单易用”的设计理念,提供高性价比而有竞争力的云数据库产品。因为我们坚信只要产品围绕用户,加上技术上的持续积累,必然会走出一条不一样的道路。

回顾UCloud云数据库发展历程 三条路径可循

目前, AWS、阿里、腾讯、UCloud等众多拥有丰富数据资源或计算实力的互联网企业正走在云计算大潮的前列。各大云计算平台服务商都在急速提升平台优势,拓宽合作层面,因此各企业利用现有的云平台进行数据计算和处理,推出创新服务,是企业和平台供应商的共赢之道。为此,罗成对回顾了UCloud云数据库的发展历程,是有三条路径可循的,其关键点具体如下。

首先,紧跟开源社区步伐。2013年,UDB从最流行的开源数据库MySQL起步,首先推出了MySQL云服务,2014年在国内首推MongoDB云服务,2016年推出PostgreSQL云服务。从最权威的DB Engine排名来看,结合云缓存数据库UMem产品(Redis和Memcached),UCloud的数据库产品覆盖了TOP级的品类。

第二,从产品角度来看,UDB产品逐渐从早期的资源型交付,转为增值型交付。资源型交付可以简单理解为“我购买的UDB是怎么样的资源”,包括版本与机型以及稳定可靠、高性能、安全性、隔离等特性。增值型交付则可以理解为“自带DBA”,它是面向场景化的多面手,应对在使用过程中场景化的需求,比如备份与恢复、高可用与灾备、扩容、迁移、调优等。从UDB产品的发展历程来看,现在越来越多以提供增值型的特性交付。

第三,从开源到自研。经过自研能力的积累和沉淀,从2015年自研数据库内核,再到在2016年,UCloud推出了自研分布式UDB(即UDDB),宣告UCloud在自研数据库方面开花结果,UDDB支持分布式事务和分布式Join,高度兼容MySQL原生协议。后续还推出了自研的读写分离中间件,作为UDB for MySQL的性能加速器。当然还包括自研的规模级云数据库服务平台,承载庞大的UDB集群。未来UCloud云数据库团队将陆续推出更多自研、自主的数据库产品。

“在经历大规模商用后,我们有计划开源我们良好的技术实现,反馈社区。”罗成对坚定地说。从产品、技术与理念的不断迭代创新,UCloud云数据库研发团队始终保有一颗朴实的心,一颗工匠的心,精耕细作。

自建数据库or云数据库呢?且看UCloud个性化产品如何赋能用户

无论是企业还是个人用户都可以选择自建数据库,也可以将数据库搬到云端。在自建数据库与云数据库的选择中,罗成对分享了自己的观点。

首先,云数据库对企业用户是带来价值的,简单来看,云数据库的发展区分为两个阶段:第一个阶段是数据库托管,它解决的是用户在数据库资源管理和基础运维上的痛点,对用户的价值点是直观可见的,这就是云数据库的“资源型交付”;第二个阶段是数据库增值属性,它解决的是用户场景化痛点,带有“DBA”属性的,辅助完成比如性能调优、高可用HA和灾备、弹性扩展、数据迁移与流转等高阶工作,让用户更多聚焦在业务成长,这是隐性的价值,未来的价值点将会持续增加,不断赋能用户在业务上的成功。

据不完全统计,UCloud产品服务的用户群体中,自有DBA团队的用户比例不足15%,并成逐年降低趋势。即使是中大型用户,在其业务快速发展时,业务规模不断扩展,业务架构愈发复杂,而云数据库本身也是对自有DBA团队和业务系统极好的补充。UCloud已上线的CloudDBA是一项增值服务,定位是在线智能DBA助手,陆续支持秒级监控、性能分析、问题诊断、SQL分析、自动化巡检等功能,未来将朝着智能预测和智能调优等方向演进。这样离“零维护”又更进一步。

那么,UCloud云数据库是如何赋能用户的呢?拿业务快速成长型的用户为例,这类用户在其业务快速发展的过程中,需求点总结为三条时间曲线,分别是“性能或者吞吐量”、“可用性”、“价值或者用户”。毫无疑问,用户对这三条时间曲线的期望是持续向上的,但是业务量增长时,则会表现的不尽如人意,性能和可用性都会出现重大波动,长此以往,用户体验就会变差,新业务无法上线,从而造成用户出现流失。UCloud采用高可用性、高性能、高可靠性来解决这些痛点。

首先,在可用性方面,UCloud的高可用UDB产品达到了至少99.95%的可用率。在高可用UDB的技术实现上,经过长期运营,发现原有的VIP+代理+主备DB的架构有很多问题,而这种技术架构也是业界最为主流、最为成熟的实现。UDB产品团队对其进一步架构简化,即采用更朴素的漂移VIP+DB双主的实现,在数据链路上减少一次转发,消除一个潜在性能瓶颈;简化模块,减少不可控因素,以达到更高可用率。新架构对数据库(MySQL和PGSQL)原生的兼容度更高,达到100%。去代理,无疑实现成本也更低。

其次, UCloud一直追求更高性能,UDB 的性能优化是一项长期的任务。通常情况下,高性能可以通过扩展来实现,比如主从架构做读写分离、配置升级等手段。罗成对透露,团队最新一次针对MySQL的性能优化后,在通用场景下的单实例,QPS提高到了7.27万,TPS提高到了3.6k,相比之前有32%的性能提升。从单实例在线扩展为主从架构,免费开启读写分离功能,集群整体QPS随节点数完全线性增长。同时,UDB产品团队通过技术升级、硬件更迭、数据运营等手段,从2018年开始对各类型产品进行每年至少一次的降价,降价幅度30%-40%不等,这样性价比更高。

最后,数据库稳定可靠,且保持了极好的扩展性,这是对成长型业务最有利的保障。在业务快速发展的不同阶段,UDB都有直接对应的解决方案。单点型在线热升级为高可用架构,实例在线热升级,做Scale-up;在线扩展为数据库集群,包括常规的主从架构和分布式架构,做Scale-out;无状态的读写分离和计算层提供廉价的性能水平扩展能力。这都是在快速满足业务爆发式增长情况下的“一条龙”解决方案。

技术门槛高不可攀?UCloud 的技术驱动够硬核

云市场竞争激烈,想要在这场激烈的竞争中突出重围,创新驱动不可少。产品层面,企业仍需要持续降低获取门槛,保持良好的竞争力。而从技术的角度来看,云数据库本身的技术门槛极高,它的发展离不开三个驱动力:

一是基础设施驱动,包括新型硬件,如新一代计算(CPU/GPU)、存储(Intel AEP)、网络(RDMA)、高性能网络架构,云平台分布式存储等等都在不断推陈出新,软硬件融合,能力越来越强。还有微服务和无状态设计模式的普及,使云数据库在技术选型上更加多样,以前技术上不好实现的,现在变成不是问题;

二是成本驱动,作为一款商品,大规模生产时,单位投入就会下降。同时,不断引入最适合的硬件或者基础设施,自研可控的云服务平台持续迭代优化,都对成本控制非常有利;

三是规模驱动,实例越来越多,用户越来越多,场景越来越多,这就要求更多场景化功能,我统称其为“规模效应”,要求以更快的速度,以“简单易用”的产品交付到用户手里。

罗成对强调,在这三项驱动力的作用下,云数据库的技术实现上,如果能巧妙地借力用力,则会在市场竞争格局中保持足够的核心竞争力。

以UCloud云数据库产品UDB为例,未来UDB将会向三个方向发展,一是能力和性能越来越强,可靠性越来越高,比如目前UCloud正在自研的最新一代分布式数据库,预计2020年面世;二是性价比会越来越高,普惠到更多客户,通过技术降成本,或者通过运营降成本,才是可持续的;三是更高效的UDB,主要体现在运维效率与产品易用性,与AI技术的融合是很好的一条实现路径。 

而在云数据库有着众多先行者与领先者的市场环境中,UCloud通过成熟的产品运营加上良好的技术实现持续保持竞争力。2019年至今,UCloud已经做到了分别对不同产品进行了5次降价,进一步降低用户的TCO。在产品推广路径上,持续降低获取门槛,是一项很重要的工作。购买云数据库服务并非一锤子买卖。数据库迁移上云后,是持续保障、持续满足需求的过程,更是考验一款产品的生命力。据悉,目前UDB的用户群广泛分布在互联网、电商、游戏、企业服务、影音阅读、传统企业等各行各业。

坚定自研之路:不忘初心 未来可期

“产品运营6余年,我们对云数据库的理解更加深入,2019年我们依旧保持一颗最朴素的心,贴近用户,打造精品。”罗成对谈到对于UCloud云数据库未来的理念时说道。正如前文所说,云数据库的资源型属性和增值型属性,未来两种属性的边界将会越来越模糊,增值型属性将最终转化为资源型交付,完全集成到资源型交付中,用户不再有使用门槛,简单易用,不再有使用痛点和心理负担,从而真正做到“零维护”。

对于云数据库未来的发展与展望,罗成对表示,云数据库各大厂商应加大自研力度,为什么要加大自研力度?首先,TOP级开源数据库的交付存在不确定性。MongoDB、Redis更改了自己的开源协议,原厂的出发点可以理解,云服务商持续服务用户的背后商业逻辑也是可以理解的。所以自研数据库变成了一条必由之路。另外,自研类产品是保持核心竞争力和持续演进的关键,不具备自研数据库能力的云厂商在接下来的竞争会比较吃力。

第二,完全协议兼容度、极致性能和可用性、极致弹性以及极高性价比仍是竞争力的核心要素,也是技术突破点。AWS的Aurora架构是在云数据库领域属于开拓者,基于计算存储分离的云原生数据库是一条新赛道。这背后的逻辑是,云平台上逐渐成长起来的用户,在应对高性能、海量数据时,即使使用成熟的RDS仍显吃力。新型软硬件一体化设计,100TB级存储容量、100万级IOPS、本地SSD IO时延、真正弹性扩容和弹性计费,是快速满足用户对更大数据量、更高性能、极致弹性、极高性价比的一种恰到好处的方案。另外,如果无法做到协议层面的100%兼容,就意味着生态兼容差,就增加迁移成本和改造成本,对上层业务带来侵入性,无疑让用户望而却步。

第三,面临大规模数据库集群,不论对云厂商还是对用户而言,更加高效的管理成为刚需。云服务商所面对的庞大的数据库集群规模,通常达到万级实例数,甚至是10万级,高效运维是一项极大的挑战。用户对云数据库的全托管、零维护的未来预期是不会变的。所以,能完全满足这两点的规模级云数据库服务平台,它是云数据库产品的载体,是比拼云数据库的关键点之一。预计未来AIOps和AI的技术和方法论将更多融入到云数据库中。

最后,快速可定制的产品能力也是满足用户需求的关键,这依赖于背后技术架构的良好实现,以及接口化、无状态化、可插拔、可扩展的设计。它体现出来的则是在不影响存量客户体验、不增加云数据库服务平台复杂度的基础上,最短时间响应用户需求。

40多年的发展与变迁,数据库的格局已然被改写。在开源及云端浪潮的翻涌澎湃之下,数据库的这片汪洋经历着属于它的浮沉。云中市场,新机遇不断涌现,云数据库市场已然进入到“百家争鸣”的时代,在这样的背景下,UCloud云数据库用丰富个性化的产品不断满足用户需求,更用最质朴的工匠之心,不断打磨锤炼着这个云之重器。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520279.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

专访阿里云专有云马劲,一个理性的理想主义者

“我的故事都是和团队技术相关的,自己还真没有什么引人入胜的故事。”当马劲被问到能不能多分享些个人经历故事时他笑着说,我们就干脆怀着好奇聊了聊他和阿里云专有云一路走来的故事。 马劲,花名隆猫,阿里云专有云事业部兼企业应用…

80后阿里P10,“关老板”如何带着MaxCompute一路升级?

我是个幸运的人。虽然幸运不能被复制,但是眼光和努力可以。 关涛/关老板,80后的阿里P10,阿里巴巴通用计算平台负责人,阿里巴巴计算平台研究员。12年职场人生,微软和阿里的选择。 关涛的花名取自谐音:观涛。…

【重磅快讯】T11 2019数据智能技术峰会举办,AI将成为行业颠覆者

当前数据的价值日益凸显,已成为重要的生产要素和社会财富。云计算、人工智能、5G等技术的蓬勃发展,带来了智能化时代算力的提升。以数据为“能源”、以技术为“引擎”,才能将数据转化为智能,产生突破局限、跨越发展的力量。11月25…

如何创建一个数据科学项目?

假如你想要开始一个新的数据科学项目,比如对数据集进行简单的分析,或者是一个复杂的项目。你应该如何组织你的项目流程?数据和代码要放在那里?应该使用什么工具?在对数据处理之前,需要考虑哪些方面&#xf…

i 智慧 | IBM存储:全面贯彻新存储的“智慧之道”

戳蓝字“CSDN云计算”关注我们哦!作者 | 刘丹责编 | 阿秃出品 | CSDN云计算(ID:CSDNcloud)随着移动互联网、信息技术等创新发展,数据量呈指数级爆发式增长并表现在多个方面,即规模扩张、结构多元化的数据新…

二十分钟教你如何将区块链应用与函数计算相结合

前言 本篇文章适合对区块链应用感兴趣或是想要通过函数计算服务进一步开发区块链应用的新人。本文将结合阿里云区块链服务、阿里云函数计算服务、阿里云日志服务 以及社区应用 Marbles,手把手教大家如何将阿里云区块链服务与阿里云函数计算服务相结合,并…

Spring项目启动加载xml配置文件替换数据库提高响应速度

文章目录1. pom依赖2. xml配置文件3. 获取参数工具类4. 根据beanId从SpringBootIOC获取类实例工具类5. 测试类6. 浏览器控制台验证1. pom依赖 <properties><!--全局版本控制--><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><…

目标检测算法图解:一文看懂RCNN系列算法

在生活中&#xff0c;经常会遇到这样的一种情况&#xff0c;上班要出门的时候&#xff0c;突然找不到一件东西了&#xff0c;比如钥匙、手机或者手表等。这个时候一般在房间翻一遍各个角落来寻找不见的物品&#xff0c;最后突然一拍大脑&#xff0c;想到在某一个地方&#xff0…

不懂数据库的码农不是好程序员!

毋庸置疑&#xff0c;现在是“一切皆数”的时代&#xff0c;放眼目前炙手可热的大数据、人工智能等创新技术&#xff0c;如果没有数据加以支撑&#xff0c;一切的一切将毫无用武之地&#xff0c;更不必谈信息化、智能化and so on&#xff0c;而数据库作为存储和承载数据的重要场…

基于深度学习模型WideDeep的推荐

本实验选用数据为UCI开源数据集&#xff0c;仅用于学习&#xff0c;请勿商用&#xff09; Wide&Deep推荐算法出自一篇论文《Wide&Deep Learning for RecommenderSystems》&#xff0c;Wide&Deep由两部分组成&#xff0c;分别是Wide和Deep。先来说wide&#xff0c;…

RabbitMQ非root用户安装(Linux环境)

文章目录一、用户操作1. 创建fismq用户并设置密码2. 给fismq用户设置目录权限二、Erlang 操作2.1. Erlang下载2.2. Erlang 上传并解压2.3. 验证rabbitmq依赖是否安装2.4. 安装rabbitmq依赖2.5. Erlang 编译、安装2.6. Erlang 配置环境变量2.7. Erlang 验证三、RabbitMQ3.1. Rab…

深度学习目标检测系列:faster RCNN实现|附python源码

目标检测一直是计算机视觉中比较热门的研究领域&#xff0c;有一些常用且成熟的算法得到业内公认水平&#xff0c;比如RCNN系列算法、SSD以及YOLO等。如果你是从事这一行业的话&#xff0c;你会使用哪种算法进行目标检测任务呢&#xff1f;在我寻求在最短的时间内构建最精确的模…

mysql冷热数据LRU_浅析MySQL的lru链表

一、简述传统的lru链表lru&#xff1a;least recently used相信大家对lru链表是不陌生的&#xff0c;它算是一种基础的数据结构吧&#xff0c;而且想必面试时也被问到过什么是lru链表&#xff0c;甚至是让你手写一个lru链表。想必你已经知道了mysql的buffer pool机制以及mysql组…

报应!GitHub上线围剿Python计划,已有4万人跟进,你呢?

人红是非多&#xff0c;最近Python就遇到了这样的问题。与国际技术社区上一片「形势大好」对比鲜明的是&#xff0c;国内技术圈却一直存在对Python&#xff0c;「力挺」和「吃瓜」两派阵营&#xff0c;针锋相对&#xff0c;最近就悄然上线一个争议性疑问&#xff1a;围剿Python…

生物智能与AI——关乎创造、关乎理解(上)

几百万年前&#xff0c;第一次人类智能的星火出现在非洲大陆&#xff0c;并且持续发展&#xff0c;最终在大约10万年前在智人的大脑中达到顶峰。作为现代人类&#xff0c;我们只能想象我们的古代祖先在窥视夜空时所经历的事情&#xff0c;以思考物理现实的本质&#xff0c;以及…

Spring Cloud Config 规范

Spring Cloud Config 规范 首先Spring Cloud 是基于 Spring 来扩展的&#xff0c;Spring 本身就提供当创建一个Bean时可从Environment 中将一些属性值通过Value的形式注入到业务代码中的能力。那Spring Cloud Config 要解决的问题就是&#xff1a; 如何将配置加载到 Environm…

RabbitMQ开机启动 Centos7环境

文章目录8.1. 创建启动脚本8.2. 赋予启动脚本可执行权限8.3. 加入开机启动并指定用户8.4. 赋予可执行权限8.5. 重启MQ服务器测试8.6. 查看MQ服务运行状态8.7. 浏览器验证MQ管控台8.1. 创建启动脚本 操作说明&#xff1a;使用fismq用户操作&#xff0c;使用root用户权限的地方我…

微信几亿人在线的点赞、取消点赞系统,用Redis如何实现?

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | solocoder责编 | 阿秃点赞功能大家都不会陌生&#xff0c;像微信这样的社交产品中都有&#xff0c;但别看功能小&#xff0c;想要做好需要考虑的东西还挺多的&#xff0c;如海量数据的分布式存储、分布式缓存、多IDC的数据一…

年度大盘点:机器学习开源项目及框架

我们先来看看Mybridge AI 中排名靠前的顶级开源项目&#xff0c;再聊聊机器学习今年都有哪些发展&#xff0c;最后探寻下新的一年中会有哪些有值得我们期待的事情。 顶级的开源项目 BERT BERT&#xff0c;全称为Bidirectional Encoder Representations from Transformers&am…

centos7以普通用户开机启动某个服务或者指定脚本

文章目录1. 执行命令格式规范2. 添加到/etc/rc.d/rc.local3. 赋予可执行权限扩展知识&#xff1a;开头添加这句 source /etc/profile 原因为 下面几点1. 执行命令格式规范 #开机切换到fismq用户执行/app/start.sh su fismq -c "/app/rabbitmq_server-3.8.3/sbin/start_ra…