云卷云舒:论超级数据库、算网数据库、智算数据库

笔者大胆提出一种“超级数据库”的概念设想。

一、超级能力

就像当初提出“超级计算机”一样,我们是否同样可以提出“超级数据库”的概念呢?当然不是不可以。

二、超级计算机

我们回忆一下“超级计算机”的发展之路,大致经过了如下几个环节:

  • 晶体管计算机:实现体积缩小
  • 半导体集成电路:集成在半导体晶片上的晶体管数量将每两年翻一倍的速度增长,这就是著名的“摩尔定律”,至今依然有效。
  • 芯片:体积进一步缩小,比如CPU和GPU,上百亿的晶体管的容纳。
  • 超级计算机:复杂高难计算,将无数的芯片集成起来,就是超级计算机了。支持至少1-亿次计算/S
  • 银行二号:并行计算突破,10亿次
  • 天河一号:GPU和CPU形成异构融合体系,千万亿次,6144哥CPU+5120GPU,在2010年全球首座。
  • 神威太湖之光:算力已达到10亿亿次。

三、算力概念

智算=CPU+GPU+xAI

算力网络:多个云计算,通过网络(光纤、5G)组合起来,通用算力+超级算力+智算+量子计算。通过算网大脑灵活智能调度,赋能数据经济,实现数字经济时代的“南水北调、西电东送”等超级工程,如“东数西存、东数西算”。

四、算力网络背后的技术坐标

  • 算力:计算底座(主机)、计算引擎(数据库),各类芯片加持下的新型计算产品XPU;
  • 网络:5G、光纤
  • 存力:各类芯片加持
  • 算网大脑:调度、运营、服务

五、超级数据库

再次回顾“超级计算机”,数据库的演进惊人的相似。

  • 稳定安全大容量:IBM大型机+DB2,成本高,银行和民航才用得起;
  • 大型机替代方案:小型数据库+oracle软件,HP横空出世,成本大幅降低,在电信、金融行业有了市场,DB2被打翻;
  • 走向细分:OLTP(oracle依然傲娇)、OLAP(开源突破,PG崭露头角,oracle在AP市场被蚕食)
  • 算力细分、智能化:OLTP(oracle中间退伍,分布式理念让MySQL等开源TP数据库大兴)、OLAP市场更加兴旺,大数据技术链“体系化”出现,oracle彻底没了市场。这一时代,成本大降,但是数据库的维护、数据管控复杂度大大提升,甚至需要组件数据库团队。

和“超级计算机”类似,都是从“小算力”-->“大规模集成算力”-->“连接型(网络型)算力+智能编排调度”演进,那么数据库作为一种常见的“算力”也要做出改变,但经常被很多“算力”服务商所忽略,其实:

算力的范围应该是:计算机+OS+数据库。网络的范围是:骨干/传输+接入+云内/云间。

那么算力网络时代的“超级工程”,具备“算网数据库、智算数据库、量算数据库”整合能力。“多态”、“连接”、“智能”是标准三件套,算网时代数字生态的构建是“超级数据库”的需求爆点

  • 能力图谱:

    • 为了支撑客户全国性调度的需求,光靠数据库本身不行,数据库的周边生态工具需要发展起来,比如“高效/安全传输”、“数据治理套件”、“数据冷热调度器”、“智能数据网关”。
    • 数据碎片化分布、大体量的传输,对于安全提出了较高的要求,这里面应该建设专门的“数据安全高效传输专用通道”,甚至“专有协议”,一切为了安全和高效。
    • 数据库的技术重点:也将随着数据库所在位置(端、近、远)有所侧重,端侧侧重实时计算、近侧侧重有限事务协同+端侧管控+模型应用、远侧侧重全局事务管控+模型管理。这里面,近侧和远侧的场景就十分适合放在“智算中心”进行管理。
    • 算云网边端,五位一体,那么数据库是否依然有五种对应的形态呢?没有5种起码也有三种,适配端侧(内嵌)、近侧(边缘)、远侧(集中)。
  • 调度中枢:

    • 这里指的是“超级数据库”的调度中枢,它与“算网大脑”可以说是一个上下位的关系。
      • 算网大脑负责全局资源管控、算力调度,而调度中枢专门指的是调度“超级数据库”体系内部数据的“数据调度中枢”,算网大脑侧重于全局资源的均衡,调度中枢则更多的关注数据的冷热分层、查询效率、数据一致性。
      • 但是二者相似的事是,都需要针对全局资源统管可见,这一点上,调度中枢需要同意遵循“算网大脑”的“上位编排”。
      • 之所以叫“超级数据库”,是指的“超大规模、超复杂架构”的数据都存在一个数据库体系内。
  • 生态演进:

    • 那么应用场景在哪里?派生新的通用行业-“数据行业”。目前可见如此大的“超级数据库”,应用的场景还是“分布式领域”,有两个场景:
      • 全国性大客户,客户业务或数据遍及全国,需要针对数据层面的管理和调度需求,如大中型央国企、大型医药/教育/工业/电商平台。
      • 从云服务上本身来看,实现全网数据库的同一纳管,实现资源总量的集中化运营,可以大幅提高资源利用效率,利用空闲区域数据库分担繁忙区域的“非热”数据,成本实现最佳。
      • 从衍生价值来看,在“超级数据库”中,如此多的数据实现了“统一管理”,除了满足全网的随时访问、安全保管、数据存储之外,还应该充分挖掘衍生价值,比如“数据超市”、“数据快递”、“超级备份中心”、“数据试验田”、“大模型中心”、“数据分析大表”等,更充分的赋能“算力时代”,打造更多的算网应用。
      • 从需求孵化角度,我们需要持续提升数据库价值挖掘,打造新型通用行业“数据行业”,覆盖全局。

六、超级数据库、算网数据库、智算数据库

        算力网络时代已经来临,超大算力芯片和网络已然布局,越来越多的“智算中心”不断投产,我们需要更加加速构建上层算网应用生态,除了关注传统的“物理机、虚拟机”算力,需要更多去关注能够产生更加广阔价值的paas算网应用,比如“超级数据库、算网数据库、智算数据库”,其实在计算机发展历程上看,并不是一个东西,而是一个演进的过程。

        但是在如今,时不我待,大胆创新突破,正当数字经济时代的“弄潮儿”,我们需要基于成熟的技术和算网生态体系,打造“超级数据库、算网数据库、智算数据库”(我这里统称“超级数据库”)。

参考文章:

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客


云卷云舒:算力网络+云原生(中):探索构建算力网络数据库_云卷云舒 csdn-CSDN博客

云卷云舒:算力网络+云原生(上):打造云网边端协同架构_算力网络和云原生-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/675800.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT 变懒最新解释!或和系统Prompt太长有关

大家好我是二狗。 ChatGPT变懒这件事又有了最新解释了。 这两天,推特用户Dylan Patel发文表示: 你想知道为什么 ChatGPT 和 6 个月前相比会如此糟糕吗? 那是因为ChatGPT系统Prompt是竟然包含1700 tokens,看看这个prompt里面有多…

RabbitMQ-2.SpringAMQP

SpringAMQP 2.SpringAMQP2.1.创建Demo工程2.2.快速入门2.1.1.消息发送2.1.2.消息接收2.1.3.测试 2.3.WorkQueues模型2.2.1.消息发送2.2.2.消息接收2.2.3.测试2.2.4.能者多劳2.2.5.总结 2.4.交换机类型2.5.Fanout交换机2.5.1.声明队列和交换机2.5.2.消息发送2.5.3.消息接收2.5.4…

【Java IO】同步异步和阻塞非阻塞真正的区别!!!

先上结论: 同步异步和阻塞非阻塞真正的区别!!! 假设某个进程正在运行下面这段代码: ...... operatorA......; read(); operatorB......; operatorC......;当进程执行完operatorA后开始进行read系统调用,…

代码随想录 Leetcode376. 摆动序列

题目&#xff1a; 代码&#xff08;首刷看解析 2024年2月9日&#xff09;&#xff1a; class Solution { public:int wiggleMaxLength(vector<int>& nums) {if (nums.size() < 1) return nums.size();int direction 0;//1上升&#xff0c;0下降int res 0;//res…

【Linux】Shell编程

Shell编程 目录 Shell编程1.shell基础1.输入重定向 & 输出重定向2.管道3.特殊字符(3.1)通配符(3.2)引号(3.3)注释符(#) 4.别名5.命令历史history 2.Shell脚本Shell脚本的执行方式(1)为脚本文件加上可执行权限,然后在命令行直接输入shell脚本文件名执行。(2)sh shell脚本名(…

STM32控制JQ8400语音播报模块

时间记录&#xff1a;2024/2/7 一、JQ8400引脚介绍 标示说明ONE LINE一线操作引脚BUSY忙信号引脚&#xff0c;正在播放语音时输出高电平RX串口两线操作接收引脚TX串口两线操作发送引脚GND电源地引脚DC-5V电源引脚&#xff0c;3.3-5VDAC-RDAC输出右声道引脚DAC-LDAC输出左声道…

机器学习:分类决策树(Python)

一、各种熵的计算 entropy_utils.py import numpy as np # 数值计算 import math # 标量数据的计算class EntropyUtils:"""决策树中各种熵的计算&#xff0c;包括信息熵、信息增益、信息增益率、基尼指数。统一要求&#xff1a;按照信息增益最大、信息增益率…

mysql8.0 正值表达式Regular expressions (sample database classicmodels _No.5)

mysql8.0 正值表达式Regular expressions 准备工作&#xff0c;可以去下载 classicmodels 数据库资源如下 [ 点击&#xff1a;classicmodels] (https://download.csdn.net/download/tomxjc/88685970) 也可以去我的博客资源下载 https://download.csdn.net/download/tomxjc/8…

第二十六回 母夜叉孟州道卖人肉 武都头十字坡遇张青-Ubuntu 防火墙ufw配置

武松到县里投案&#xff0c;县官看武松是个汉子&#xff0c;就把诉状改成&#xff1a;武松与嫂一时斗殴杀死&#xff0c;后西门庆前来&#xff0c;两人互殴&#xff0c;打死西门庆。上报东平府。东平府尹也可怜武松&#xff0c;从轻发落&#xff0c;最后判了个&#xff1a;脊杖…

一条 SQL 更新语句是如何执行的?

之前你可能经常听 DBA 同事说&#xff0c;MySQL 可以恢复到半个月内任意一秒的状态&#xff0c;惊叹的同时&#xff0c;你是不是心中也会不免会好奇&#xff0c;这是怎样做到的呢&#xff1f; 我们先从一条更新语句讲起&#xff0c;首先创建一个表&#xff0c;这个表有一个主键…

百卓Smart管理平台 uploadfile.php 文件上传漏洞(CVE-2024-0939)

免责声明&#xff1a;文章来源互联网收集整理&#xff0c;请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;所产生的一切不良后果与文章作者无关。该…

零基础学Python(9)— 流程控制语句(下)

前言&#xff1a;Hello大家好&#xff0c;我是小哥谈。流程控制语句是编程语言中用于控制程序执行流程的语句&#xff0c;本节课就带大家认识下Python语言中常见的流程控制语句&#xff01;~&#x1f308; 目录 &#x1f680;1.while循环 &#x1f680;2.for循环 &#x1…

RCE(命令执行)知识点总结最详细

description: 这里是CTF做题时常见的会遇见的RCE的漏洞知识点总结。 如果你觉得写得好并且想看更多web知识的话可以去gitbook.22kaka.fun去看&#xff0c;上面是我写的一本关于web学习的一个gitbook&#xff0c;当然如果你能去我的github为我的这个项目点亮星星我会感激不尽htt…

STM32之定时器

一、简介 STM32F4xx系列共有14个定时器&#xff0c;其中2个高级定时器、10个通用定时器、2个基本定时器。下图 为各定时器及其功能。 图1.各定时器及其功能 二、定时器的计数模式 向上计数模式&#xff1a;计数器从0计数到自动加载值(TIMx_ARR)&#xff0c;然后重新从0开始…

17:定时器编程实战

1、实验目的 (1)使用定时器来完成LED闪烁 (2)原来实现闪烁时中间的延迟是用delay函数实现的&#xff0c;在delay的过程中CPU要一直耗在这里不能去做别的事情。这是之前的缺点 (3)本节用定时器来定一个时间&#xff08;譬如0.3s&#xff09;&#xff0c;在这个定时器定时时间内…

抽象springBoot报错

Failed to configure a DataSource: url attribute is not specified and no embedded datasource could be configured. 中文翻译&#xff1a;无法配置DataSource&#xff1a;未指定“url”属性&#xff0c;并且无法配置嵌入数据源。 DataSource 翻译&#xff1a;数据源 得…

The Back-And-Forth Method (BFM) for Wasserstein Gradient Flows windows安装

本文记录了BFM算法代码在windows上的安装过程。 算法原网站&#xff1a;https://wasserstein-gradient-flows.netlify.app/ github&#xff1a;https://github.com/wonjunee/wgfBFMcodes 文章目录 FFTWwgfBFMcodesMATLABpython注 FFTW 官网/下载路径&#xff1a;https://ww…

警惕钓鱼邮件,保护您的开发者账号

请警惕钓鱼邮件 钓鱼邮件经常冒充官方 Google Play 通信&#xff0c;以窃取敏感信息&#xff0c;并最终为了经济利益盗取开发者账号。 保护开发者免受钓鱼邮件侵害的提示&#xff1a; Google.com 是用于联系开发者的唯一合法电子邮件域名。我们不会通过电子邮件或实时聊天要求您…

【Linux系统学习】 4.Linux实用操作 上

Linux实用操作 1.各类小技巧&#xff08;快捷键&#xff09; 1.1 ctrl c 强制停止 Linux某些程序的运行&#xff0c;如果想要强制停止它&#xff0c;可以使用快捷键ctrl c 命令输入错误&#xff0c;也可以通过快捷键ctrl c&#xff0c;退出当前输入&#xff0c;重新输入 1…

第十六篇【传奇开心果系列】Python的OpenCV库技术点案例示例:图像质量评估

传奇开心果短博文系列 系列短博文目录Python的OpenCV库技术点案例示例短博文系列博文目录前言一、图像质量评估方法和相关函数的介绍二、均方误差示例代码三、峰值信噪比示例代码四、结构相似性指数示例代码五、视频质量评估示例代码六、OpenCV均方根误差计算示例代码七、OpenC…