如何快速优化大数据量订单表

场景

本篇分享以前在广州一家互联网公司工作时遇到的状况及解决方案,这家公司有一个项目是SOA的架构,这个架构那几年是很流行的,哪怕是现在依然认为这个理念在当时比较先进。

当时的项目背景大概是这样,这家公司用的是某软提供的方案,项目已经运行3年多,整体稳定。

数据库是MySQL,订单表的数据量已经达到3000多万条记录,并且随着项目的推广,最近那一年订单表数据量也在快速增长。

结果就是,客户方查询订单相关的业务时速度越来越慢,后期不论打开还是刷新都差不多要七八秒。

可以说已经严重影响了客户体验,降低了对方日常办事的效率,要求我们尽快解决,且敦促我们这是一件优先级非常高的事情。

在客户和公司领导的双重压力下,如何快速优化几千万数据的订单表,对于当时的团队着实是一个难题摆在面前。

整体方案

首先常规方案能想到的无非是这些:增加合理的数据库索引、优化核心SQL语句、优化代码等

这里可以告诉大家,一般的IT公司,但凡团队Leader是个有经验的人,这些基础方案都是会提前做的,会对项目上线后可能遇到的瓶颈有个基本的评估,因为真正运营周期变长以后,数据量逐渐增多,修改生产库是一种风险操作。

不知道大家有没有过给某个生产库数据量比较大的表添加字段或索引的经历,而且是在白天上班操作,或者说你自己见过别人这么干,我只能说……这些都是狠人,要对其常怀敬畏之心。

目前所在的公司就比较规范,研发人员建表时一定要提交申请走流程,且附带合理的索引,一起提交审核,最终通过了才能由主管审核执行。

话题扯回来,正因前面所讲,在当前的问题下,这些基础方案实际上已经存在,在这里显然是用不上了,加上紧急问题紧急处理,没有那么多时间给你去对既有架构大动干戈。

因此,当时立马能想到且有效的临时性方案迅速在团队讨论中率先冒出来,就是数据库分区

1、数据库分区

理解数据库分区,只需要记住以下两点:

  • 数据库分区是把一张表的数据分在了不同的硬盘上,但仍是一张表,说硬盘可能不完全准确,但就这样理解是最容易的。
  • 不要把数据库分区和分库分表混淆,一个是数据库级别的操作,一个是代理工具的操作,前者限制较多,后者更灵活。

知道这两点其实就足够了,数据库分区和分库分表也是面试中喜欢问的,因为确实有一些类似的地方。

好了,有了基本认识,那接下来就说下数据库分区如何操作的,先看个图有个画面。

接着举个示例,我们假设有一张订单表,那么对这张订单表按照年份进行分区的命令如下:

-- 创建订单表
CREATE TABLE orders (id INT PRIMARY KEY AUTO_INCREMENT,order_number VARCHAR(20),order_date DATE,customer_id INT,total_amount DECIMAL(10, 2)
);-- 按照年份对订单表进行分区
ALTER TABLE orders
PARTITION BY RANGE(YEAR(order_date)) (PARTITION p2018 VALUES LESS THAN (2019),PARTITION p2019 VALUES LESS THAN (2020),PARTITION p2020 VALUES LESS THAN (2021),PARTITION p2021 VALUES LESS THAN (2022),PARTITION p2022 VALUES LESS THAN (2023),PARTITION p2023 VALUES LESS THAN (2024)
);

这样一来࿰

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/237247.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IPSec的起源-基础知识都需要掌握

IPSec的起源 目的 出于安全考虑。 最开始的互联网是明文通信,很容易被监听、篡改。添加了如crc一类的校验也不能完全保证数据的安全。 在IP层专门做的安全防护。 为什么是IP层?在当时IP层可通信的范围最广、应用最多。 开始也是从MAC层开始,后…

var let const的区别和使用场景?

var、let 和 const 是 JavaScript 中用于声明变量的关键字,它们之间有着一些区别和各自的使用场景。 var 作用域:var是在函数作用域(function scope)内声明的变量,如果在函数内部声明则只在函数内部有效,在…

中金汇融配资分享在线杠杆炒股的安全知识

随着股市的火爆,越来越多的人选择加入杠杆炒股的行列。然而,对于许多新手来说,如何安全有效地使用杠杆炒股却是一个难题。今天,我们就来为大家分享一家专业、安全、靠谱的在线杠杆炒股平台——中金汇融,让你轻松掌握在…

mysql mha高可用

一、前言 在原本的一主两从数据库架构中,是没有高可用功能的,当主库挂了时不会自动将剩下的从从升级为主库,只能等待主库恢复才能使用,或者手动切换,但是手动切换后需要更改后端服务中的数据库地址信息,在此…

架构设计到底是什么?

文章目录 架构设计有哪些内容?架构原理与技术认知分布式技术原理与设计中间件常用组件的原理和设计问题数据库原理与设计问题分布式缓存原理与设计问题互联网高性能高可用设计问题 技术认知架构分析问题分析能力边界 架构设计,是中高级研发工程师逃不开的…

C# 获取Excel里引用的外部其他excel文件清单

关键方法:mySheet.Application.ActiveWorkbook.LinkSources(XlLink.xlExcelLinks); 主要代碼如下 Application myExcel null;//引用Excel Application类別 Workbook myBook null;//引用活页簿类別 Worksheet mySheet null;//引用工作表类別 …

软件设计模式:单例模式

文章目录 前言一、单例模式实现1.饿汉式静态变量方式静态代码块方式 2.懒汉式线程不安全线程安全双重检查锁静态内部类方式枚举方式 二、存在问题1.序列化反序列化2.反射破坏3.解决序列化破坏解决反射破坏解决 三、JDK源码解析总结 前言 单例模式(Singleton Patter…

windows远程桌面怎么开启?

文章目录 如下三种开启方式,任选一即可方式1.在系统属性中开启远程桌面方式2.通过系统设置开启远程桌面方式3.注册表编辑器开启远程桌面使用远程桌面 如下三种开启方式,任选一即可 配合 组网工具或者内网穿透 超级爽 局域网其他pc如何访问宿主机虚拟机IP…

@RequestParam、@PathVariable、@RequestBody、@RequestAttribute详解

一、RequestParam注解 作用:用于将指定的请求参数赋值给方法中的形参。 属性: 1)value:请求参数名(必须配置) 2)required:是否必需,默认为 true,即请求中必须…

Elasticsearch:什么是文本分类?

文本分类定义 - text classification 文本分类是一种机器学习,它将文本文档或句子分类为预定义的类或类别。 它分析文本的内容和含义,然后使用文本标签为其分配最合适的标签。 文本分类的实际应用包括情绪分析(确定评论中的正面或负面情绪&…

GLTF/GLB模型在线预览、编辑、动画查看以及材质修改

在线工具推荐: 3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎 GLTF在线编辑器提供了一个内置的模型查看器,可以加载和预…

Linux docker安装nacos

1:首先下载安装docker,这里不做描述,可以自行百度安装。 2:通过docker下载nacos, docker pull nacos/nacos-server:latest3:搭建临时nacos容器,此步骤的目的是为了获取nacos的配置文件和日志 …

Ubuntu 常用命令之 awk 命令用法介绍

📑Linux/Ubuntu 常用命令归类整理 AWK是一种处理文本文件的语言,是一个强大的文本分析工具。在Ubuntu系统下,AWK命令主要用于数据处理和生成报告。 AWK命令的参数主要有 -F:指定输入文件分隔符,FS变量就是指定输入字…

【华为OD题库-094】最佳的出牌方法-java

题目 手上有一副扑克牌,每张牌按牌面数字记分(J11,Q12,K13,没有大小王),出牌时按照以下规则记分: 出单张,记牌面分数,例如出一张2,得分为2 出对或3张,记牌面分数总和再x2,例如出3张3…

根据excel中的数据信息批量修改图片名称

背景说明 接了一个需求,需要将批量图片按照指定的需求进行重命名,本来的图片是以身份证号进行命名的.jpg文件,现在需要统一命名为班级姓名身份证号.png格式的文件。其中,用户提供了一张导出的excel数据表(data.xlsx),数…

Salesforce回归后:谁在成为中国市场上的CRM首选?

怎样的C RM才是在中国这片土地上的最佳答案? 在Salesforce重新回归的今天,其所面临的产品、生态、技术、服务、数据等问题也恰是中国本土的CRM厂商被多年磨练和审视的问题。 在如Salesforce等国外软件进军中国市场的同时,中国本土的CRM厂商…

《漫画算法》笔记——给定数,求删除k个数字后的最小值

/*** 题目:给定一个数,求 删除k个数字后的最小值* 思路:考虑 “如何删除一个数字,得到最小值”,* 不难想到,应该优先删除“靠前,值大”的数字,* 观察到:如果一个数字大于…

深度学习14—注意力机制与自注意力机制

注:以下均为个人学习笔记,发布只为方便学习阅读,若觉侵权,请联系删除!! 1.李沐老师课堂学习理解笔记 1.1 随意线索和不随意线索 1.2 注意力机制 通过注意力池化层来有偏向性的选择某些输入。 1.3 注意力…

Linux 音视频SDK开发实践

一、兼容性适配处理 为什么需要兼容处理? 1、c兼容处理 主要有ABI兼容性问题,不同ubuntu系统依赖的ABI版本如下: ubuntu 18.04ubuntu 16.04ubuntu 14.04g7.55.44.8stdc版本libstdc.so.6.0.25libstdc.so.6.0.21libstdc.so.6.0.19GLIBCXXG…

BearPi Std 板从入门到放弃 - 后天篇(3)(ESP8266透传点灯)

简介 电脑搭建一个TCP Server, ESP8266 串口设置好透传模式, 再由TCP Server发送指令控制灯的亮灭; 开灯指令: led_on回车 ; 关灯指令: led_off回车 主芯片: STM32L431RCT6 LED : PC13 \ 推挽输出即可 \ 高电平点亮 串口: Usart1 / LPUART E…