架构设计-订单系统之订单系统的架构进化

1、单数据库架构

产品初期,技术团队的核心目标是:“快速实现产品需求,尽早对外提供服务”

彼时的专车服务都连同一个 SQLServer 数据库,服务层已经按照业务领域做了一定程度的拆分。

这种架构非常简单,团队可以分开协作,效率也极高。随着专车订单量的不断增长,早晚高峰期,用户需要打车的时候,点击下单后经常无响应。

系统层面来看:

  1. 数据库瓶颈显现。频繁的磁盘操作导致数据库服务器 IO 消耗增加,同时多表关联,排序,分组,非索引字段条件查询也会让 cpu 飙升,最终都会导致数据库连接数激增;
  2. 网关大规模超时。在高并发场景下,大量请求直接操作数据库,数据库连接资源不够用,大量请求处于阻塞状态。

2、SQL优化和读写分离

为了缓解主数据库的压力,很容易就想到的策略:SQL优化。通过性能监控平台和 DBA 同学协作分析出业务慢 SQL ,整理出优化方案:

  1. 合理添加索引;
  2. 减少多表 JOIN 关联,通过程序组装,减少数据库读压力;
  3. 减少大事务,尽快释放数据库连接。

另外一个策略是:读写分离

读写分离的基本原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE),而从数据库处理 SELECT 查询操作。

专车架构团队提供的框架中,支持读写分离,于是数据层架构进化为如下图:

读写分离可以减少主库写压力,同时读从库可水平扩展。当然,读写分离依然有局限性:

  1. 读写分离可能面临主从延迟的问题,订单服务载客流程中对实时性要求较高,因为担心延迟问题,大量操作依然使用主库查询;
  2. 读写分离可以缓解读压力,但是写操作的压力随着业务爆发式的增长并没有很有效的缓解。

3、业务领域分库

虽然应用层面做了优化,数据层也做了读写分离,但主库的压力依然很大。接下来,大家不约而同的想到了业务领域分库,也就是:将数据库按业务领域拆分成不同的业务数据库,每个系统仅访问对应业务的数据库。

业务领域分库可以缓解核心订单库的性能压力,同时也减少系统间的相互影响,提升了系统整体稳定性。

随之而来的问题是:原来单一数据库时,简单的使用 JOIN 就可以满足需求,但拆分后的业务数据库在不同的实例上,就不能跨库使用 JOIN了,因此需要对系统边界重新梳理,业务系统也需要重构

重构重点包含两个部分:

  1. 原来需要 JOIN 关联的查询修改成 RPC 调用,程序中组装数据 ;
  2. 业务表适当冗余字段,通过消息队列或者异构工具同步。

4、缓存和MQ

专车服务中,订单服务是并发量和请求量最高,也是业务中最核心的服务。虽然通过业务领域分库,SQL 优化提升了不少系统性能,但订单数据库的写压力依然很大,系统的瓶颈依然很明显。

于是,订单服务引入了 缓存MQ

乘客在用户端点击立即叫车,订单服务创建订单,首先保存到数据库后,然后将订单信息同步保存到缓存中。

在订单的载客生命周期里,订单的修改操作先修改缓存,然后发送消息到 MetaQ ,订单落盘服务消费消息,并判断订单信息是否正常(比如有无乱序),若订单数据无误,则存储到数据库中。

核心逻辑有两点:

  1. 缓存集群中存储最近七天订单详情信息,大量订单读请求直接从缓存获取;
  2. 在订单的载客生命周期里,写操作先修改缓存,通过消息队列异步落盘,这样消息队列可以起到消峰的作用,同样可以降低数据库的压力。

这次优化提升了订单服务的整体性能,也为后来订单服务库分库分表以及异构打下了坚实的基础。

5、从 SQLServer 到 MySQL

业务依然在爆炸增长,每天几十万订单,订单表数据量很快将过亿,数据库天花板迟早会触及。

订单分库分表已成为技术团队的共识。业界很多分库分表方案都是基于 MySQL 数据库,专车技术管理层决定先将订单库整体先从 SQLServer 迁移到 MySQL 。

迁移之前,准备工作很重要 :

  1. SQLServer 和 MySQL 两种数据库语法有一些差异,订单服务必须要适配 MySQL 语法。
  2. 订单 order_id 是主键自增,但在分布式场景中并不合适,需要将订单 id 调整为分布式模式。

当准备工作完成后,才开始迁移。

迁移过程分两部分:历史全量数据迁移增量数据迁移

历史数据全量迁移主要是 DBA 同学通过工具将订单库同步到独立的 MySQL 数据库。

增量数据迁移:因为 SQLServer 无 binlog 日志概念,不能使用 maxwell 和 canal 等类似解决方案。订单团队重构了订单服务代码,每次订单写操作的时候,会发送一条 MQ 消息到 MetaQ 。为了确保迁移的可靠性,还需要将新库的数据同步到旧库,也就是需要做到双向同步

迁移流程:

  1. 首先订单服务(SQLServer版)发送订单变更消息到 MetaQ ,此时并不开启「旧库消息消费」,让消息先堆积在 MetaQ 里;
  2. 然后开始迁移历史全量数据,当全量迁移完成后,再开启「旧库消息消费」,这样新订单库就可以和旧订单库数据保持同步了;
  3. 开启「新库消息消费」,然后部署订单服务( MySQL 版),此时订单服务有两个版本同时运行,检测数据无误后,逐步增加新订单服务流量,直到老订单服务完全下线。

6、自研分库分表组件

业界分库分表一般有 proxy 和 client 两种流派。

proxy模式

代理层分片方案业界有 Mycatcobar 等 。

它的优点:应用零改动,和语言无关,可以通过连接共享减少连接数消耗。缺点:因为是代理层,存在额外的时延。

client模式

应用层分片方案业界有 sharding-jdbcTDDL 等。

它的优点:直连数据库,额外开销小,实现简单,轻量级中间件。缺点:无法减少连接数消耗,有一定的侵入性,多数只支持Java语言。

神州架构团队选择自研分库分表组件,采用了 client 模式 ,组件命名:SDDL

订单服务需要引入是 SDDL 的 jar 包,在配置中心配置 数据源信息sharding key路由规则 等,订单服务只需要配置一个 datasourceId 即可。

7、分库分表策略

7.1 乘客维度

专车订单数据库的查询主维度是:乘客,乘客端按乘客 user_id 和 订单 order_id 查询频率最高,选择 user_id 做为 sharding key ,相同用户的订单数据存储到同一个数据库中。

分库分表组件 SDDL 和阿里开源的数据库中间件 cobar 路由算法非常类似的。

为了便于思维扩展,先简单介绍下 cobar 的分片算法。

假设现在需要将订单表平均拆分到4个分库 shard0 ,shard1 ,shard2 ,shard3 。首先将 [0-1023] 平均分为4个区段:[0-255],[256-511],[512-767],[768-1023],然后对字符串(或子串,由用户自定义)做 hash, hash 结果对1024取模,最终得出的结果 slot 落入哪个区段,便路由到哪个分库。

cobar 的默认路由算法 ,可以和 雪花算法 天然融合在一起, 订单 order_id 使用雪花算法,可以将 slot 的值保存在 10位工作机器ID 里。

通过订单 order_id 可以反查出 slot , 就可以定位该用户的订单数据存储在哪个分区里。

Integer getWorkerId(Long orderId) {Long workerId = (orderId >> 12) & 0x03ff;return workerId.intValue();
}

专车 SDDL 分片算法和 cobar 差异点在于:

  1. cobar 支持最大分片数是1024,而 SDDL 最大支持分库数1024*8=8192,同样分四个订单库,每个分片的 slot 区间范围是2048 ;

  1. 因为要支持8192个分片,雪花算法要做一点微调,雪花算法的10位工作机器修改成13位工作机器,时间戳也调整为:38位时间戳(由某个时间点开始的毫秒数)。

7.2 司机维度

虽然解决了主维度乘客分库分表问题,但专车还有另外一个查询维度,在司机客户端,司机需要查询分配给他的订单信息。

已经按照乘客 user_id 作为 sharding key ,若按照司机 driver_id 查询订单的话,需要广播到每一个分库并聚合返回,基于此,技术团队选择将乘客维度的订单数据异构到以司机维度的数据库里。

司机维度的分库分表策略和乘客维度逻辑是一样的,只不过 sharding key 变成了司机 driver_id

异构神器 canal 解析乘客维度四个分库的 binlog ,通过 SDDL 写入到司机维度的四个分库里。

这里大家可能有个疑问:虽然可以异构将订单同步到司机维度的分库里,毕竟有些许延迟,如何保证司机在司机端查询到最新的订单数据呢 ?

缓存和MQ这一小节里提到:缓存集群中存储最近七天订单详情信息,大量订单读请求直接从缓存获取。订单服务会缓存司机和当前订单的映射,这样司机端的大量请求就可以直接缓存中获取,而司机端查询订单列表的频率没有那么高,异构复制延迟在10毫秒到30毫秒之间,在业务上是完全可以接受的。

7.3 运营维度

专车管理后台,运营人员经常需要查询订单信息,查询条件会比较复杂,专车技术团队采用的做法是:订单数据落盘在乘客维度的订单分库之后,通过 canal 把数据同步到Elastic Search。

7.4 小表广播

业务中有一些配置表,存储重要的配置,读多写少。在实际业务查询中,很多业务表会和配置表进行联合数据查询。但在数据库水平拆分后,配置表是无法拆分的。

小表广播的原理是:将小表的所有数据(包括增量更新)自动广播(即复制)到大表的机器上。这样,原来的分布式 JOIN 查询就变成单机本地查询,从而大大提高了效率。

专车场景下,小表广播是非常实用的需求。比如:城市表是非常重要的配置表,数据量非常小,但订单服务,派单服务,用户服务都依赖这张表。

通过 canal 将基础配置数据库城市表同步到订单数据库,派单数据库,用户数据库。

8、平滑迁移

分库分表组件 SDDL 研发完成,并在生产环境得到一定程度的验证后,订单服务从单库 MySQL 模式迁移到分库分表模式条件已经成熟。

迁移思路其实和从 SQLServer 到 MySQL 非常类似。

整体迁移流程:

  1. DBA 同学准备乘客维度的四个分库,司机维度的四个分库 ,每个分库都是最近某个时间点的全量数据;
  2. 八个分库都是全量数据,需要按照分库分表规则删除八个分库的冗余数据 ;
  3. 开启正向同步,旧订单数据按照分库分表策略落盘到乘客维度的分库,通过 canal 将乘客维度分库订单数据异构复制到司机维度的分库中;
  4. 开启反向同步,修改订单应用的数据源配置,重启订单服务,订单服务新创建的订单会落盘到乘客维度的分库,通过 canal 将乘客维度分库订单数据异构到全量订单库以及司机维度的数据库;
  5. 验证数据无误后,逐步更新订单服务的数据源配置,完成整体迁移。

9、数据交换平台

专车订单已完成分库分表,很多细节都值得复盘:

  1. 全量历史数据迁移需要 DBA 介入 ,技术团队没有成熟的工具或者产品轻松完成;
  2. 增量数据迁移通过 canal 来实现。随着专车业务的爆发增长,数据库镜像,实时索引构建,分库异构等需求越来越多,虽然canal 非常优秀,但它还是有瑕疵,比如缺失任务控制台,数据源管理能力,任务级别的监控和报警,操作审计等功能。

面对这些问题,架构团队的目标是打造一个平台,满足各种异构数据源之间的实时增量同步和离线全量同步,支撑公司业务的快速发展。

基于这个目标,架构团队自研了 dataLink 用于增量数据同步,深度定制了阿里开源的 dataX 用于全量数据同步。

10、写到最后

专车架构进化之路并非一帆风顺,也有波折和起伏,但一步一个脚印,专车的技术储备越来越深厚。

2017年,瑞幸咖啡在神州优车集团内部孵化,专车的这些技术储备大大提升了瑞幸咖啡技术团队的研发效率,并支撑业务的快速发展。比如瑞幸咖啡的订单数据库最开始规划的时候,就分别按照用户维度,门店维度各拆分了8个数据库实例,分库分表组件 SDDL数据交换平台都起到了关键的作用 。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/812308.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单片机方案 发声毛绒小黄鸭

随着科技的不断进步,智能早教已经成为了新时代儿童教育的趋势。智能早教玩具,一款集互动陪伴、启蒙教育、情感培养于一身的高科技产品。它不仅能陪伴孩子成长,还能在游戏中启迪智慧,是家长和孩子的理想选择。 酷得电子方案开发特…

股票价格预测 | Python使用GRU预测股票价格

文章目录 效果一览文章概述代码设计效果一览 文章概述 Python使用GRU预测股票价格 代码设计 import pandas as pd import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from numpy

Python 正则表达式模块使用

目录 1、匹配单个字符 2、匹配多个字符 3、匹配开头结尾 4、匹配分组 说明:在Python中需要通过正则表达式对字符串进行匹配的时候,可以使用re模块 表达式:re.match(正则表达式, 要匹配的字符串) 有返回值说明匹配成功&#x…

13-pyspark的共享变量用法总结

目录 前言广播变量广播变量的作用 广播变量的使用方式 累加器累加器的作用累加器的优缺点累加器的使用方式 PySpark实战笔记系列第四篇 10-用PySpark建立第一个Spark RDD(PySpark实战笔记系列第一篇)11-pyspark的RDD的变换与动作算子总结(PySpark实战笔记系列第二篇))12-pysp…

Springboot+Vue项目-基于Java+MySQL的课程作业管理系统(附源码+演示视频+LW)

大家好!我是程序猿老A,感谢您阅读本文,欢迎一键三连哦。 💞当前专栏:Java毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计 &…

秀米、135、蚂蚁编辑器如何为推文添加附件

秀米、135、蚂蚁编辑器作为第三方的公众号图文排版工具,给从事运营和编辑工作的同学提供了更多的排版选择。不同于公众号自家的编辑器,这些第三方编辑器脱离了微信的直接支持,在很多排版操作上,还是有很多操作不一样的地方。 公众…

通过 Vue 3 组合式 API 优化 Uni-app 基础页面功能

Uni-app 是一个跨平台的应用开发框架,支持同时开发小程序、App 和 H5 等多个平台。而 Vue 3 的组合式 API 则是 Vue 3 新增的特性之一,它可以让我们更好地组织和复用组件逻辑。本文将结合 Vue 3 的组合式 API,来优化 Uni-app 中基础页面的功能…

自动化运维(二十三)Ansible 实战动态库存插件和回调插件

Ansible 支持多种类型的插件,这些插件可以帮助你扩展和定制 Ansible 的功能。每种插件类型都有其特定的用途和应用场景。今天我们一起学习动态库存插件和回调插件。 一、动态库存插件 Ansible 动态库存插件允许从各种外部数据源动态获取库存信息,包括主…

AndroidAutomotive模块介绍(一)整体介绍

前言 Android Automotive 是一个基本 Android 平台,可运行 IVI 系统中预安装的 Android 应用以及可选的第二方和第三方 Android 应用。 本系列文档将会系统的介绍 Android Automotive 的功能、架构、逻辑等。模块逻辑将从 应用api接口、系统服务、底层服务&#x…

软件设计师:11-结构化开发与UML

结构化开发(3-4分) 一、模块化 二、耦合(背) 三、内聚(背) 四、设计原则(背) 五、系统文档 六、数据流图 数据流的起点或终点必须有一个是加工 判断依据: 1、…

Vivado Design Suite中route_design命令脚本示例

本文详细介绍了四个route_design命令的示例脚本,这些脚本需要添加到工程的约束文件.xdc中,结果保存在工程文件中的runs\impl_1中的runme.log文件。 一、示例脚本1 route_design write_checkpoint -force $outputDir/post_route report_timing_summary …

img使用 :src 动态绑定图片地址,图片不成功

使用vue cli 创建的vue2项目&#xff0c;项目中想实现轮播效果。 出现的问题&#xff1a; 使用 :src 动态绑定图片地址&#xff0c;图片没有出现 <el-carousel :interval"3000" arrow"always"><el-carousel-item v-for"(item,index) in sw…

【MATLAB源码-第46期】基于matlab的OFDM系统多径数目对比,有无CP(循环前缀)对比,有无信道均衡对比。

操作环境&#xff1a; MATLAB 2022a 1、算法描述 OFDM&#xff08;正交频分复用&#xff09;是一种频域上的多载波调制技术&#xff0c;经常用于高速数据通信中。以下是关于多径数目、有无CP&#xff08;循环前缀&#xff09;以及有无信道均衡在OFDM系统中对误码率的影响&am…

6-125 二叉树的后序遍历(Python语言描述)

本题要求输出二叉树的后序遍历,输出格式见样例。 函数接口定义: #后序遍历 def postOrder(T)其中二叉树类的定义如下: #二叉树的存储-二叉链表 class BinaryTree:#1.构造方法def __init__(self,newValue):self.key = newValue #树根self.left = None #左子树初…

小程序如何通过把动态数据值传入到css文件中控制样式

场景&#xff1a;动态改变一个模块的高度 一、常用解决方法&#xff1a;行内样式绑值&#xff0c;或者动态class来传递 <viewclass"box":style"height: ${boxHeight}px">我是一个动态高度的box,我的高度是{{boxHeight}}px </view>二、高度传…

第07-1章 计算机网络相关概念

7.1 本章目标 了解网络协议的概念了解网络体系结构熟悉ISO/OSI参考模型以及每一层的功能掌握TCP/IP模型各层的主要协议及其功能熟练掌握IP地址、子网规划等相关内容 7.2 网络协议的概念 7.2.1 概念介绍 &#xff08;1&#xff09;网络协议&#xff1a;计算机网络和分布系统中…

循序渐进丨MogDB 数据库带级联从库的集群切换后如何保持原有架构?

生产数据库运行过程中可能会涉及到升级或者打补丁&#xff0c;导致各节点的角色有计划的发生改变。如果集群内角色发生改变&#xff0c;是否还能保持原有架构继续对外提供服务呢&#xff1f;我们来做一下测试。 采用22模式模拟同城两机房部署4节点 MogDB 数据库集群&#xff0c…

K8S临时存储-本地存储-PV和PVC的使用-动态存储(StorageClass)

介绍 容器中的文件在磁盘上是临时存放的&#xff0c;当容器崩溃或停止时容器上面的数据未保存&#xff0c; 因此在容器生命周期内创建或修改的所有文件都将丢失。 在崩溃期间&#xff0c;kubelet 会以干净的状态重新启动容器。 当多个容器在一个 Pod 中运行并且需要共享文件时…

gitlab、jenkins安装及使用文档二

安装 jenkins IP地址操作系统服务版本192.168.75.137Rocky9.2jenkins 2.450-1.1 jdk 11.0.22 git 2.39.3192.168.75.138Rocky9.2gitlab-ce 16.10.0 结合上文 jenkins安装 前期准备&#xff1a; yum install -y epel-release yum -y install net-tools vim lrzsz wget…

WSL访问adb usb device

1.Windows上用PowerShell运行&#xff1a; winget install --interactive --exact dorssel.usbipd-win 2.在WSLUbuntu上终端运行&#xff1a; sudo apt install linux-tools-generic hwdata sudo update-alternatives --install /usr/local/bin/usbip usbip /usr/lib/linux-too…