江苏移动基于OceanBase稳步创新推进核心数据库分布式升级

*本文首发自《中国电信业》

数字经济时代,数据库作为企业核心数据存储、处理、挖潜等方面的关键载体,重要性日益凸显。对于运营商而言,数据库具有行业用户数量多、访问数量多、业务复杂度高、数据安全性高、响应要求性高以及需要 7*24 小时服务等特点,其运行情况直接影响客户体验和支撑能力。

近几年,随着我国自主研发的基础软硬件产品发展、进步,部分应用场景已经实现数据库的自主可控。江苏移动全力构建基于 5G+算力网络+智慧中台的“连接+算力+能力”新型信息服务体系,统筹推进 CHBN 全向发力、融合发展,在此阶段底层架构需要做较大的调整,特别是集中式数据库在高并发、高负载、海量数据存储的业务场景投资多、无法扩容的问题越来越突出,对于业务发展正逐步带来负面影响。

江苏移动生产系统经过多年的发展,业务模块繁多,逻辑复杂,对底层数据库的性能、稳定性要求几近苛刻,在 IT 基础架构上持续演进时,不仅要求生产业务不受影响,而且还要求在数字经济的发展,一流服务科技创新创建提供强劲动能。

在中移动信息技术有限公司的大力支持下,江苏移动充分研究了多种商用数据库,以加强数据安全、满足业务发展、降本增效为前提,慎重选择了 OceanBase 作为核心数据库。在项目实施过程中,OceanBase 结合江苏移动业务现状和未来发展目标,同江苏移动IT部专家、应用开发方等从分布式架构设计、应用兼容性适配、容灾高可用场景、数据库性能提升等方面开展专项工作,稳步推进项目落地,支撑运营商核心数据库的技术升级发展。

图片

基于企业在生产系统中使用数据库的经验,江苏移动认为,运营商的数据库必须确保数据安全,利用数据库自身的能力以保证数据不丢失,可根据需要分层访问、授权访问和数据加密。同时,数据库要具备优秀的高可用性,能够做到异地多活部署,保证生产系统稳定运行。

目前,江苏移动核心系统数据库架构规划按照无锡、南京两地三中心三副本进行部署,基于 Paxos 多副本架构,让整个系统没有任何单点故障,可以最大限度缩短业务停服时间,保证系统的持续可用,做到机房故障无影响,城市级故障业务不受损,可达到 RPO=0,RTO<30s ,即国际标准灾难恢复能力最高级别 6 级。

CRM 核心库采用 4-4-4 架构,采用自动负载均衡策略将主副本随机打散在 2 个 Primary Zone 中以承载业务读写负载,物理备库承载业务只读访问。经过长时间验证,该架构能够满足业务海量连接、高负载的业务需求,通过完全自主研发的数据库架构优势,将分布式数据库的技术能力转变成江苏移动的生产力,带动企业经济效益的增长。

核心库业务高峰期QPS近20万

图片

原生分布式数据库 OceanBase 语法兼容性强,对象兼容性高,既满足了江苏移动的业务逻辑需求,又极大降低了应用的改造工作量。

通过 OceanBase的OMA 评估工具,连接上源端数据库抓取对象结构、SQL 语句信息以评估对应 OceanBase 版本的整体兼容性情况,并给出分析报告和不兼容点改造建议 ;OMA SQLReplay 模块可通过捕获生产库业务高峰或者长时间的 SQL 负载文件后在 OceanBase 集群进行回放,可直观掌握原 SQL 在 OceanBase 集群的响应时间和整体负载情况,在前期就可针对性进行 SQL 语句级别优化或集群规模调整,保障割接后系统稳定运行。

OceanBase 的配套迁移工具 OMS 提供的同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务,具备在线结构迁移、全量迁移和增量数据同步,无缝迁移源端数据库中的存量业务数据和增量数据至 OceanBase 数据库 租户中;在全量数据迁移完成,增量数据迁移至目标端并与源端基本追平后,OMS 会自动发起针对源库数据表和 OceanBase 目标表的全量数据校验任务,保证迁移任务可以准确完成。整个迁移任务和校验过程完全依托 OMS 自动化能力,极大降低人力迁移运维成本。

图片

OceanBase 数据库支持超大规模集群(节点超过 1500 台,最大单集群数据量超过 3 PB,单表数量达到万亿行级别)动态扩展,在 TPC-C 场景中,系统扩展比可以达到 1:0.9,使用户投资的硬件成本被最大化利用。

在江苏移动的整体架构设计中,划分了若干个中心生产集群,每个生产集群上按照不同业务系统对应 OceanBase 的不同租户,租户间实现资源隔离,让每个租户的实例不感知其他实例的存在,并通过权限控制确保不同租户数据的安全,配合 OceanBase 数据库强大的在线扩缩容特性,能够提供安全、灵活的 DBaaS 服务。

不仅如此,与传统关系型数据库相比,OceanBase 可以在不影响在线业务的前提下,明显降低存储成本;OceanBase 采用 LSM-Tree 存储引擎,存储模块采用全新设计的行列混合存储结构,同时将高效的数据编码技术与数据压缩算法相结合,实现存储空间大幅减少;压缩比率超过 85%。 

图片

随着移动互联网的高度发展以及 5G 时代的到来,数据量爆发式增长,我们正在进入一个大数据时代,对于数据的处理,也就是对于数据库产业而言,是一个巨大的机会。

长期以来,运营商对系统服务稳定性要求高,对数据库产品要求严苛。以自研数据库使用为契机,OceanBase 完全自主研发,能够做到自主可控,能够满足核心数据库的安全及稳定运行要求。从项目实际运行效果来看,OceanBase 针对中国移动自研国产操作系统 BCLinux、国产服务器、数据库一体机进行全面适配,实现“数据库+操作系统+硬件服务器“的全栈自主可控,为核心数据库未来长期的安全稳定运行提供有力保障。

江苏移动一直致力于推动技术自主创新,在项目中实施过程中,基于业务现状和未来规划,从分布式架构、应用兼容性适配、容灾高可用场景、全栈化适配、数据库性能提升等多个方面开展专项工作,目前已经取得较好效果,部分核心库已经上线并稳定运行,在运营商甚至整个政企行业的核心 IT 数据库领域都有较好的推广价值,也凸显了江苏移动在数智化转型上的前瞻性与领先性。

近期,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)公布了第六届大数据“星河”案例获奖名单, 特别值得一提的是,江苏移动联合 OceanBase 打造的 “CRM 系统核心数据库替代项目”脱颖而出获得了数据库方向的“标杆案例奖”。

据悉,2022 年第六届大数据“星河”案例征集活动意在通过总结和推广大数据产业发展的优秀成果,推动大数据在社会生产生活中的应用, 促进大数据技术产品及相关产业发展。自 2022 年 9 月启动以来,征集活动受到了业界广泛关注,共收到包括行业数据应用、数据安全、隐私计算、数据资产管理、数据库五大方向的申报案例 595 份。此次江苏移动获得数据库标杆案例奖,是江苏移动与 OceanBase 在推动数据库自主可控联合创新实践过程中的又一个成功范例,标志着双方在数据库关键领域的合作迈出了更坚实的一步。

未来,随着技术发展以及市场成熟,分布式数据库行业将迎来爆发式增长,双方将将聚力创新,继续合作探索运营商行业核心系统数据库自主创新解决方案,如两地三中心部署、HTAP 场景等,以期打造更多运营商行业数据库自主创新样板点,成就行业标杆,助推运营商开启数字化转型发展新征程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/67053.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

illegal cyclic inheritance involving trait Iterable_2种解决方式

一、报错内容 /Users/liyangda/Code/DemoProject/demo-scala/src/scala/old04/T4.scala:11:20 illegal cyclic inheritance involving trait Iterableval value List(1, 2, 3, 4, 5, 6, 7, 8)二、问题解决 1、方式一&#xff1a;降低scala版本 可以选择降低Scala的版本&…

【三等奖方案】小样本数据分类任务赛题「复兴15号」团队解题思路

第十届CCF大数据与计算智能大赛&#xff08;2022 CCF BDCI&#xff09;已圆满结束。大赛官方竞赛平台DataFountain&#xff08;简称DF平台&#xff09;将陆续释出各赛题获奖队伍的方案思路。 本方案为【小样本数据分类任务】赛题的三等奖获奖方案&#xff0c;赛题地址&#xff…

直接插入排序与希尔排序

目录 一&#xff0c;排序的概念 二&#xff0c;插入排序 2.1直接插入排序 2.2 希尔排序 一&#xff0c;排序的概念 排序&#xff1a;所谓排序&#xff0c;就是使一串记录&#xff0c;按照其中的某个或某些或某些关键字的大小&#xff0c;递增或递减的排列 稳定性&#xff…

hadoop-HDFS

1.HDFS简介 2.1 Hadoop分布式文件系统-HDFS架构 2.2 HDFS组成角色及其功能 &#xff08;1&#xff09;Client&#xff1a;客户端 &#xff08;2&#xff09;NameNode (NN)&#xff1a;元数据节点 管理文件系统的Namespace元数据 一个HDFS集群只有一个Active的NN &#xff…

监控平台 - zabbix

目录 一、概述 二、搭建 一、概述 1. zabbix程序结构 zabbix-server&#xff1a;用于数据处理及写入到数据库 zabbix-agent&#xff1a;用于获取被监控端的性能检测数据 zabbix-web&#xff1a;用于数据的展示及远程操控 数据库&#xff1a;用于存储监控数据 zabbix-pr…

Windows无法删除分区怎么办?

我们知道Windows系统内置的磁盘管理工具是一个很实用的程序&#xff0c;可以帮助我们完成很多磁盘分区相关的基础操作&#xff0c;比如当我们想要删除硬盘上的某一个分区时&#xff0c;先想到的可能会是磁盘管理工具。但是当我们准备在磁盘管理工具中删除某个分区时&#xff0c…

向openssl中添加一个最简单的算法

文章目录 一、尝试在sha.c中添加新的函数二、添加自定义算法2.1 添加对应文件2.2 相关配置2.3 编译运行 一、尝试在sha.c中添加新的函数 在尝试添加新算法前&#xff0c;我先尝试在原有的旧算法中添加一个新函数&#xff0c;看是否能被编译并生成对应的动态链接库。 关于open…

技术科普:汽车开放系统架构AUTOSAR

01.AUTOSAR简介 汽车是现代人类实现“千里江陵一日还”的交通工具&#xff0c;而计算机则是使人脱离繁杂重复脑力劳动的生产技术&#xff0c;两者的结合催生了汽车电子产业的蓬勃发展。 21世纪初&#xff0c;随着汽车电子应用需求的不断增多与硬件资源不断丰富&#xff0c;软…

Multimedia-播放器-架构2

目录 引言 问题1&#xff1a; 数据缓冲区 多线程模型 缓冲区的特点&#xff1a; 点播和直播场景中的缓冲区&#xff1a; 问题2&#xff1a; 同步方式 同步实现过程 引言 上一篇梳理了播放器的基本工作与处理流程&#xff0c;本片内容主要梳理一下其中会遇到的问题&am…

如何高性能、高效率地实现3D Web轻量化?

随着互联网和Web技术的发展&#xff0c;3D Web应用的需求越来越多。然而&#xff0c;复杂的3D模型在Web上展示 和交互通常需要大量的带宽和计算资源。 为了解决这一问题&#xff0c;HOOPS技术作为一套专业的3D图形技术开发工具包&#xff0c;发挥着关键作用。本文 将探讨HOO…

pytest---添加自定义命令行参数(pytest_addoption )

前言 在目前互联网公司中&#xff0c;都会存在多个测试环境&#xff0c;那么当我们编写的自动化想要在多套测试环境下进行运行时&#xff0c;如何使用&#xff1f;大多数人想到的可能是通过将我们自动化代码中的地址修改成不同环境&#xff0c;但是这时候就会增加一些工作量&am…

【数据库】通过实例讲清楚,Mongodb的增删查改,分组查询,聚合查询aggregate

目录 一.基础概念 二.数据库的管理 1.创建数据库 2.删除数据库 二.集合的管理 1.显示所有集合 2.创建集合 3.删除当前集合 4.向集合中插入元素 三.文档的管理 1.文档插入 2.文档的更新 3.文档的删除 4.文档查询 &#xff08;1&#xff09;查询基本语法&#xff1…

【python爬虫】14.Scrapy框架讲解

文章目录 前言Scrapy是什么Scrapy的结构Scrapy的工作原理 Scrapy的用法明确目标与分析过程代码实现——创建项目代码实现——编辑爬虫代码实现——定义数据代码实操——设置代码实操——运行 复习 前言 前两关&#xff0c;我们学习了能提升爬虫速度的进阶知识——协程&#xf…

【JAVA】多态

作者主页&#xff1a;paper jie_的博客 本文作者&#xff1a;大家好&#xff0c;我是paper jie&#xff0c;感谢你阅读本文&#xff0c;欢迎一建三连哦。 本文录入于《JAVASE语法系列》专栏&#xff0c;本专栏是针对于大学生&#xff0c;编程小白精心打造的。笔者用重金(时间和…

开源django+mysql+vue3前后端分离商城baykeShop使用指南

baykeShop开源商城系统 项目简介 baykeShop&#xff08;拜客商城系统&#xff09;是一款全开源Python栈商城系统&#xff0c;管理后台完全前后端分离重写以适配项目&#xff0c;前后端100%开源&#xff0c;后台前端采用开源SCUI开源库对接开发&#xff0c;美观、易用、符合当…

【广州华锐互动】数字孪生智慧楼宇3D可视化系统:掌握实时运行状态,优化运营管理

在过去的几年中&#xff0c;科技的发展极大地改变了我们的生活和工作方式。其中&#xff0c;三维数据可视化技术的出现&#xff0c;为我们提供了全新的理解和观察世界的方式。特别是在建筑行业&#xff0c;数字孪生智慧楼宇3D可视化系统的出现&#xff0c;让我们有机会重新定义…

面试题 ⑤

1、TCP与UDP的区别 UDPTCP是否连接无连接&#xff0c;即刻传输面向连接&#xff0c;三次握手是否可靠不可靠传输&#xff0c;网络波动拥堵也不会减缓传输可靠传输&#xff0c;使用流量控制和拥塞控制连接对象个数支持一对一&#xff0c;一对多&#xff0c;多对一和多对多交互通…

排序算法问题

给你一个整数数组 nums&#xff0c;请你将该数组升序排列。 示例 1&#xff1a; 输入&#xff1a;nums [5,2,3,1] 输出&#xff1a;[1,2,3,5] 示例 2&#xff1a; 输入&#xff1a;nums [5,1,1,2,0,0] 输出&#xff1a;[0,0,1,1,2,5] 代码如下&#xff1a; 1.插入排序(简…

【VM】保姆级VM算法平台二次开发之-环境配置

VM算法平台二次开发 1.下载Visual Studio 20222.项目的创建 C# 应用3.设置属性&#xff0c;去掉属选型32位4. 进行引用的导入工作5. 重新加载&#xff0c;查看引用6. 工具箱添加Dll的依赖。&#xff08;只需要加载一次就行&#xff09; 1.下载Visual Studio 2022 可以直接在官…

python中super()用法

super关键字的用法 一、概述二、作用三、语法四、使用示例1.通过super() 来调用父类的__init__ 构造方法&#xff1a;2.通过supper() 来调用与子类同名的父类方法2.1 单继承2.2 多继承 一、概述 super() 是python 中调用父类&#xff08;超类&#xff09;的一种方法&#xff0…