DTC 2024回顾丨云和恩墨重塑数据库内核技术,革新企业降本增效之道

在数字化浪潮席卷全球的当下,关系型数据库作为市场主导力量的地位依然稳固。然而,面对新兴数据库与服务形态的挑战,以及企业日益强烈的降本增效需求,数据库技术的发展必须紧跟时代步伐,充分发挥资源效能以提升企业竞争力。在2024“数据技术嘉年华”主论坛上,云和恩墨下一代原生HTAP企业级数据库研发团队负责人金毅分享了其团队在关系型数据库内核技术革新方面的深度思考与实践。

ea35980603a19378d706d0142b7b2d47.jpeg

金毅首先引用了两个业界瞩目的案例:

  • 马斯克接手Twitter后,通过对IT方案进行优化,将部分对象存储下云,实现了IT运行成本的节约;

  • Snowflake与Databricks在公开媒体上就单位分析计算的成本进行对比。

这两个案例共同指向一个核心议题——企业竞争力来自其自身高效运营,降本增效成为关键。在此背景下,单纯提升数据库单系统性能而不计成本及能耗的做法无法满足企业降本增效的需求。金毅强调,其团队致力于实践一种新的技术路径,使客户能在降本增效层面取得实质性成效。

经典的数据库内核技术历经大半个世纪的发展,其设计理念和优化策略仍围绕着慢速磁盘I/O为中心。然而,随着现代硬件环境的巨大变迁,成本友好的通用现代硬件特征表现为众核大内存高速I/O,然而经典数据库内核并不能充分发挥现代硬件算力。正如Stonebraker等人于2007年在VLDB发表的论文《The End of An Architectural Era (It’s Time for a Complete Rewrite)》所指出,现代硬件具备使数据库交易负载提升两个数量级的潜力。至2013年,Stonebraker等人在VLDB发表的论文《Anti-Caching: A New Approach to Database Management System Architecture》进一步提出改进思路:当代数据库应从以前围绕磁盘I/O的优化思路,转向以内存中的业务数据为核心进行优化,利用大内存和快速I/O的优势,充分释放物理并行计算内核的潜力。

d34008de4d494d56f1b2faf005ec2fa1.png

据研究显示,在典型事务处理负载(TPCC)中,用于数据加工的有效计算仅占不足7%的CPU指令,其余大部分资源被用于诸如缓冲区管理、锁管理、预写日志等非直接相关计算任务。若能有效剔除这些关键路径上的计算成本,理论上交易负载性能可提升10倍以上。据此,金毅团队正在研发的下一代原生HTAP企业级数据库原型基于协程的并发计算框架,以低切换成本支持大规模并行计算会话,同时采用原位更新的内存优化实现MVCC,并着力解决全局热点访问问题。

b0e5ad9d7fc7705fe17c46ad77918c58.png

谈及为什么继达成交易负载优化技术验证后,选择HTAP作为该数据库的目标场景,金毅表示:“HTAP的应用场景和需求一直广泛存在,优秀的HTAP能力能有效简化客户IT方案,并降低成本。但由于不同业务负载的优化技术特点往往大不相同且存在冲突,不同工作负载间往往无法达成优化配置和技术实现共存,这也导致当前没有数据库产品能够高效率满足客户的HTAP混合业务需求。”因此,云和恩墨的数据库研发团队重新思考实践原生HTAP技术,实现在不同工作负载间取得性能与成本的最优化平衡。

原生HTAP体现于数据库将仅使用一份数据和一套执行引擎实现交易负载和分析负载的性能优化。其核心在于利用“数据温度”——即根据数据访问频次,将其划分为热数据与冷数据,确保热数据常驻内存,为交易型场景提供性能优化支持;冷数据则进入高速SSD磁盘;长期无交易负载访问的冷数据被“凝结”,实现针对分析型场景的性能优化。对此,金毅的团队采用了以下三方面技术思路:

  1. 基于数据温度的智能存储优化,确保资源高效配置;

  2. 统一计算引擎,融合标量和向量处理;

  3. 强化资源隔离与调度算法。

现如今,云和恩墨的下一代数据库产品针对联机处理负载的优化已经取得阶段性成果——使用2路服务器,在NVMe SSD磁盘存在I/O交换场景下,服务器端TPCC模拟负载达成单机吞吐4200万tpmTotal、1900万tpmC的成绩。该成绩初步达成相对于已有关系型数据库性能数量级提升的目标。这一突破性的进展将未来为企业带来更高效、更低成本的联机处理负载解决方案。

对于云和恩墨的数据库研发团队来说,“创新”是技术发展的第一要义。他们正以前所未有的勇气重构数据库内核,打破既有架构限制,意图实现数据库性能质的飞跃。随着这一创新内核技术的持续演进和落地应用,我们有理由相信,它将为企业数字化转型注入强劲动力,开启数据库性能与成本效益的新纪元。

【参考资料】

[1] M Stonebraker, N Hachem, P Helland, The End of An Architectural Era (It’s Time for a Complete Rewrite). In VLDB2007

[2] J DeBrabant, A Pavlo, S Tu, M Stonebraker, S Zdonik, Anti-Caching: A New Approach to Database Management System Architecture. In VLDB2013

[3] S Harizopoulos, D J Abadi, S Madden M Stonebraker, OLTP Through the Looking Glass, and What We Found There. In Sigmod2008

5984afbee90e36bc5c1d25c006f446ed.gif

数据驱动,成就未来,云和恩墨,不负所托!


云和恩墨创立于2011年,是业界领先的“智能的数据技术提供商”。公司总部位于北京,在国内外35个地区设有本地办公室并开展业务。

云和恩墨以“数据驱动,成就未来”为使命,致力于将创新的数据技术产品和解决方案带给全球的企业和组织,帮助客户构建安全、高效、敏捷且经济的数据环境,持续增强客户在数据洞察和决策上的竞争优势,实现数据驱动的业务创新和升级发展。

自成立以来,云和恩墨专注于数据技术领域,根据不断变化的市场需求,创新研发了系列软件产品,涵盖数据库、数据库存储、数据库云管和数据智能分析等领域。这些产品已经在集团型、大中型、高成长型客户以及行业云场景中得到广泛应用,证明了我们的技术和商业竞争力,展现了公司在数据技术端到端解决方案方面的优势。

在云化、数字化和智能化的时代背景下,云和恩墨始终以正和多赢为目标,感恩每一位客户和合作伙伴的信任与支持,“利他先行”,坚持投入于数据技术核心能力,为构建数据驱动的智能未来而不懈努力。

我们期待与您携手,共同探索数据力量,迎接智能未来。

2643a41322435aa3be9d62a1408270cc.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/16453.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

03自动辅助导航驾驶NOA

NOA是自动辅助导航驾驶或领航辅助驾驶的缩写,其全称为Navigate On Autopilot。在设定好导航路线并进入NOA的可使用路段后,驾驶员即可开启辅助驾驶。在A点到B点的过程中,NOA能够实现自动上下匝道、自行超车、自行变道、自适应巡航等多种功能。…

【机器学习300问】99、多通道卷积神经网络在卷积操作时有哪些注意事项?

一、多通道卷积神经网络示例 还是以图像处理为例,如果你的目标不仅是分析灰度图像特性,还打算捕捉RGB彩色图像的特征。如下图,当面对一张66像素的彩色图像时,提及的“3”实际上是指红、绿、蓝三种颜色通道,形象地说&am…

Nginx R31 doc-11-Compression and Decompression 压缩与解压缩

前言 大家好,我是老马。很高兴遇到你。 我们为 java 开发者实现了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何处理的,可以参考我的另一个项目: 手写从零实现简易版 tomcat minicat 压缩与解压缩 压缩…

Java 简易操作Excel

首先,我们需要创建一个数据库表来存储这些单词及其相关信息。以下是一个简单的SQL语句示例,用于创建这样一个表: sql CREATE TABLE EnglishWords (id INT AUTO_INCREMENT PRIMARY KEY,word VARCHAR(255) NOT NULL,phonetic TEXT NOT NULL,c…

书生·浦语第二期-笔记2

课程链接:https://github.com/InternLM/Tutorial/tree/camp2 视频地址:轻松玩转书生浦语大模型趣味Demo_哔哩哔哩_bilibili 大模型及InternLM介绍 大模型:人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型 特点&#xff1a…

使用json-server来创建mockserver

代替mock模拟数据 1.使用mkdir vue3-ts-server 创建目录 2.npm init -y 生成package.json的依赖配置文件 详见json-server - npm 3.cnpm install json-server -S 4.目录结构是data,public,src{app.js , router.js , db.js &…

【Linux杂货铺】进程通信

目录 🌈 前言🌈 📁 通信概念 📁 通信发展阶段 📁 通信方式 📁 管道(匿名管道) 📂 接口 ​编辑📂 使用fork来共享通道 📂 管道读写规则 &…

初中英语优秀作文分析-002Who stole the cupcake-谁偷了纸杯蛋糕?

更多资源请关注纽扣编程微信公众号 记忆树 1 One Sunday afternoon, Leslie was at home with her kids, 3-year-old Angel, 6-year-old Carl, and 7-year-old Tony. 翻译 一个周日的下午,Leslie和她的孩子们在家,他们是3岁的Angel,6岁的…

镜子摆放忌讳多

镜子是我们日常生活中不可或缺的物品。在风水中,镜子的作用非常多,能够起到一定的作用。镜子的摆放位置也是非常有讲究的,摆放不好会直接影响到家人的事业、财运、婚姻乃至健康等诸多方面。 第一个风水忌讳,镜子对大门。大门的正前…

Linux防火墙之iptables(二)

一.SNAT策略概述 1.SNAT 策略的典型应用环境 局域网主机共享单个公网IP地址接入Internet(私有IP不能在Internet中正常路由) 局域共享上网 2.SNAT 策略的原理 源地址转换,Source Network Address Translation 修改数据包的源地址 未作SNAT转换…

用three.js+echarts给公司写了一个站点数据大屏系统经验总结

时间过的好快,参加公司的新项目研发快一年了,五一机器人项目首秀,我们遇到了高并发集中下单情景,然后海量数据处理场景来了,给我在后端领域的高并发实践业务上画上了漂亮的一笔经验。人都是在磨练中成长,我很感谢这次给我的机会,虽然有点累,但也有点小成就。正好现在有…

时隔一年半。。。

大概一年半的时间没登录,经历了蛮多事情,包括不满,辞职,备考,笔试,面试… 大体上是蛮幸运的,又要去新的单位工作了,第一份事业编的工作做得真的很痛苦,大概是因为丢掉了专…

AGI系列(1):掌握AI大模型提示词优化术,提问准确率飙升秘籍

当我们向AI大模型提问时,通常人们的做法是有什么问题,就直接去问,得到大模型的回复结果,时好时坏,完全没有可控性。 那么有没有一种方式或是一套方法,可以让我们向大模型提问时,得到的结果更准确…

nacos 2.3.3 Windows系统安装详细版

1,下载 https://github.com/alibaba/nacos/releases 2,解压 3,将nacos的内置库(derby),修改为我们自己的 mysql 3.1 创建一个数据库 3.2 连接数据库 3.3 执行mysql 脚本,在nacos的conf 目录下 mysql-schema.sql 执…

Python | R | MATLAB高斯过程统计模型

📜随机统计模型-用例 📜海上风电场模型 | 📜天气和建筑设计模型 | 📜不确定性量化应用模型 | 📜马尔可夫链蒙特卡罗算法多模态采样贝叶斯模型 | 📜分类过程最大似然模型 | 📜C和Python通信引文…

【LeetCode 167】两数之和II

1. 题目 2. 分析 就是简单的双指针的题,使用头尾指针分别指向数组的首尾,然后依次判断两者值的和与target的大小关系。关系分成三类: (1)和大于target,说明尾指针过大,需要前移; &…

深入了解 Golang 多架构编译:交叉编译最佳实践

随着软件开发领域的不断发展,我们面临着越来越多的挑战,其中之一是如何在不同的平台和架构上部署我们的应用程序。Golang(Go)作为一种现代化的编程语言,具有出色的跨平台支持,通过其强大的多架构编译功能&a…

刷代码随想录有感(79):回溯算法——N皇后问题

题干: 代码&#xff1a; class Solution { public:vector<vector<string>> res;void backtracking(vector<string>& chessboard, int n, int row){if(row n){res.push_back(chessboard);return;}for(int col 0; col < n; col){if(isvalid(chessboa…

将3D检测的box框投影到BEV图片上

前言 点云数据作为一种丰富的三维空间信息表达方式&#xff0c;通常用于自动驾驶、机器人导航和三维建模等领域。然而&#xff0c;点云数据的直观性不如二维图像&#xff0c;这限制了它在一些需要快速视觉反馈的应用场景中的使用。本文将探讨如何将点云数据转换为二维图像&…