MySQL旧表做分区流程

1. 为什么做分区

数据库分区是将数据库中的数据划分成独立的部分,每个部分称为一个分区。分区可以根据特定的标准,如范围、列表或哈希值,将数据分隔到不同的物理存储位置中。数据库表分区可以在多种情况下提供显著的好处。以下是一些应该考虑对数据库表进行分区的情况:

  • 大型数据量: 当数据库表包含大量数据时,性能可能会受到影响。通过将表分区,可以将数据分散到不同的物理位置,从而提高查询性能和管理效率。

  • 历史数据管理: 对于需要长期保留历史数据的系统,可以根据时间范围对数据进行分区。这样可以轻松地管理和维护历史数据,执行归档、备份和清理操作。

  • 提高查询性能: 当数据库表面临频繁的查询操作时,分区可以帮助提高查询性能。通过将数据分散到多个分区,可以减少单个查询对系统的压力,从而提高整体性能。

  • 改善数据加载速度: 对于需要频繁加载数据的系统,分区可以帮助提高数据加载速度。例如,在分析型数据库中,可以根据时间范围对数据进行分区,以便更快地加载最新的数据。

  • 数据安全性要求: 对于需要对数据进行严格隔离和访问控制的系统,可以通过分区来实现数据的安全存储和管理。例如,可以将敏感数据存储在单独的分区中,并为其应用更严格的访问控制。

  • 提高可用性和容错性: 通过将数据分散到多个物理位置,可以提高系统的可用性和容错性。如果一个分区发生故障,其他分区仍然可以继续工作,从而降低了系统停机时间。

总的来说,数据库表分区可以在面对大量数据、频繁查询、历史数据管理或数据安全性要求等情况下提供多种好处。然而,需要在实际应用中仔细权衡利弊,以确定是否值得对数据库表进行分区。

2. 旧表分区步骤

2.1 备份原始表

rename table t_A to t_A_bak;

2.2 创建新表,定义分区规则,创建初始分区

create table t_A (ID int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',NAME varchar(255) NOT NULL COMMENT '姓名',IDCARD varchar(255) NOT NULL COMMENT '身份证号码',PHONE varchar(255) DEFAULT NULL COMMENT '手机号码',CREATE_TIME datetime NOT NULL COMMENT '创建时间',MOD_TIME datetime DEFAULT NULL COMMENT '修改时间',PRIMARY KEY (ID, CREATE_TIME)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
partition by range columns (CREATE_TIME) (-- 按月分区partition `P_202401` values less than ('2024-02-01 00:00:00'),partition `P_202402` values less than ('2024-03-01 00:00:00'),partition `P_202403` values less than ('2024-04-01 00:00:00'),partition `P_202404` values less than ('2024-05-01 00:00:00'),partition `P_202405` values less than ('2024-06-01 00:00:00')
);

注意事项:

  • 分区列不能为 NULL;
  • 分区列必须是主键索引,一般与 ID 列构成主键复合索引;
  • 如果表存在唯一索引,分区列还需添加到唯一索引中(这种情况,要考虑该唯一索引是否有必要,添加分区字段不可避免地破坏唯一逻辑,若没必要直接删除,若有必要,那得在Java代码里处理唯一逻辑);

2.3 新表插入原始数据

insert into t_A select t_A_bak where create_time >= #{startTime} and create_time < #{endTime};

注意事项:

  • select ... 后面最好加 where 条件,where 跟的筛选列需创建索引,否则全表扫描,容易产生锁表,丢失数据等;这个问题的详细分析参考 [同事使用 insert into select 迁移数据,开开心心上线,上线后被公司开除!];

  • 若是停机更新,不担心锁表问题,或是 where 跟的筛选列没有创建索引,则可以不加 where 条件,直接insert into B select * from A

    • 针对这种方式,曾经担心过一个问题:【若表A超大,数据量达到千万级别,MySQL 是否一次性地把表A的所有数据查出来放到内存或是磁盘,再一次性地插入表B?如果这样,不可避免地导致内存爆炸或是 IO 次数增加】:这个问题我抛给 ChatGPT 解答,它的解释如贴图。我觉得最好还是手动分批查询插入吧。
      在这里插入图片描述

2.4 新表创建原始索引

注意:要最后创建原表索引;

-- 创建原表的身份证号码的唯一索引,在线不锁表方式创建索引
create index `IDX_IDCARD` on t_A (`IDCARD`) algorithm=inplace lock=none;

如果先建立索引,再插入数据,由于索引相当于一种排序,插入数据时会给数据进行排序,毫无疑问会影响插入数据的性能。

3. 分区相关SQL

-- 查询某张表每个分区的数据行数
select table_name, partition_name, table_rows from information_schema.partitions where table_name = 't_A';
-- 若上述语句没有显示行数为0,需刷新一下表
analyze table t_A;
-- 查询某个分区的数据
select * from t_A partition (P_202401);
-- 删除某个分区,分区数据也一并删除
alter table t_A drop partition P_202401;
-- 新增分区
alter table t_A add partition (partition `P_202406` values less than ('2024-07-01 00:00:00'));

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/12597.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

查询中Split函数不管用?试试这个自定义函数!

hi&#xff0c;大家好&#xff01; 我们在实际的应用中会有这样的一些情况&#xff0c;获取的一些数据是由一些特殊字符连接起来的&#xff0c;比如&#xff1a;XXX汽车\SUV\EV\纯电。类似这样的数据&#xff0c;我们在应用过程中&#xff0c;需要将数据拆开&#xff0c;如果用…

是德keysight N1911A与N1913A单通道功率计

Agilent N1911A和N1912A P系列单通道和双通道功率计以及N192XA传感器可提供宽带宽和高性能测量&#xff0c;这是确保用户的产品符合其功率规范所需要的。 P系列功率计具有30MHz视频带宽和每秒100M/s 的持续采样率&#xff0c;可进行快速、准确、可重复的功率测量。当这些功…

Visual Studio环境搭载

环境搭建步骤&#xff1a; 下载软件 安装软件 运行软件 1 下载软件 在百度搜索 visual studio&#xff0c;选择 如下图中的选项 进入Visual Studio 官网后&#xff0c;选择 下载Windows版&#xff0c;并选择Community 2017 社区版本进行下载保存软件到电脑中 2 安装软件 双击…

找表是否存在mysql保留字段

SELECT column_name FROM information_schema.columns WHERE table_name 表名称AND column_name IN(action, add, aggregate, all, alter, after, and, as, asc, avg, avg_row_length,auto_increment, between, bigint, bit, binary, blob, bool, both, by, cascade, case, ch…

小米消金借势互联网消费场景,提升服务品质与效率

随着数字化时代的迅猛发展&#xff0c;消费领域正经历着巨大的变革。重庆小米消费金融有限公司&#xff08;简称“小米消金”&#xff09;&#xff0c;作为一家科创型持牌消费服务机构&#xff0c;紧跟这一浪潮&#xff0c;持续增强数字化服务能力&#xff0c;优化服务模式和用…

Focus Stacking Algorithm

Focus Stacking 对焦堆叠&#xff08;Focus Stacking&#xff09;过程中涉及的关键算法主要用于图像对齐、图像融合和图像锐化。以下是一些相关的算法和技术&#xff1a; 1. 图像对齐算法 在对焦堆叠过程中&#xff0c;图像对齐是确保每张照片的内容精确叠加的重要步骤。常用…

Delphi 高效处理大数据量的字典数据的查询问题

一、需求 系统中存在基本字典数据&#xff0c;且数据量大&#xff0c;需要根据各种条件查询某个字典数据&#xff0c;该如何高效实现&#xff1f; 例如&#xff1a;系统中的菜品字典数据&#xff0c;需要根据菜品ID、菜品编码、菜品名菜品规格等条件查找菜品 二、思路 1、使…

uview-plus在uniapp项目中单选和复选框不显示问题

在我的uniapp小程序项目中&#xff0c;我使用了vue3ts的组合&#xff0c;ui组件库使用了uview-plus这个组件库&#xff0c;但是在使用个别组件的时候&#xff0c;没有显示出效果&#xff0c;就像单选或者复选框&#xff0c;官方效果&#xff1a; 但是当我用到自己项目中的时候&…

[晕事]今天做了件晕事33 c++ mangle 函数名

作为一名c的程序员&#xff0c;开始使用c的时候&#xff0c;如果工程里同时有c和c&#xff0c;而且函数相互调用。 这个时候&#xff0c;需要注意&#xff0c; https://mzhan017.blog.csdn.net/article/details/121950739。 这个最好是在提示的时候&#xff0c;直接按照mangle…

【全开源】Java同城信息付费系统家政服务房屋租赁房屋买卖房屋装修信息发布平台小程序APP公众号源码

同城信息付费系统&#xff1a;家政服务的新篇章 在快节奏的现代生活中&#xff0c;家政服务已成为许多家庭不可或缺的一部分。然而&#xff0c;如何快速、准确地找到合适、可靠的家政服务人员&#xff0c;一直是困扰着许多家庭的问题。为了解决这一难题&#xff0c;我们推出了…

5.14号模拟前端面试10问

1. setState是同步还是异步 setState是React中用于更新组件状态的方法。在React中&#xff0c;setState可以是同步的&#xff0c;也可以是异步的&#xff0c;具体取决于调用场景和React的内部实现。 在大部分情况下&#xff0c;setState是异步的。当setState被调用时&#xf…

一图流解释Java中线程状态的转换

目录 一.Java中的几大线程状态 二.线程之间的相互转换 ▐ NEW --> RUNNABLE ▐ RUNNABLE <--> WAITING ▐ RUNNABLE <--> Timed Waiting ▐ RUNNABLE<--> BLOCKED ▐ RUNNABLE<-->TERMINATED 一.Java中的几大线程状态 简单来说线程可以处于…

PCIE协议-2-事务层规范-Message Request Rules-Vendor_Defined Messages

2.2.8.6 厂商定义消息 厂商定义消息允许扩展PCI Express消息功能&#xff0c;可以作为PCI Express规范的一般扩展&#xff0c;也可以是厂商特定的扩展。本节通用地定义了与这些消息相关的规则。 厂商定义消息&#xff08;见表2-25&#xff09;使用图2-28中显示的头标格式。re…

银行核心背后的落地工程体系丨混沌测试的场景设计与实战演练

本文作者&#xff1a; 张显华、窦智浩、卢进文 与集中式架构相比&#xff0c;分布式架构的系统复杂性呈指数级增长&#xff0c;混沌工程在信创转型、分布式架构转型、小机下移等过程中有效保障了生产的稳定性。本文分享了 TiDB 分布式数据库在银行核心业务系统落地中进行混沌测…

【Axure视频教程】中继器表格查询数据并标记变色

今天教大家在Axure制作中继器表格数据査询并标记变色的原型模板&#xff0c;我们在输入框里输入对应的区间&#xff0c;然后点击标注按钮&#xff0c;可以快速找到中继器里符合条件的值&#xff0c;并将他高亮显示&#xff0c;该板的表格是用中继器制作的&#xff0c;所以使用也…

问题—前端调用接口url多加一个/,本地可以调通,测试环境报错302,分开调两个接口

问题背景 接口url前面多加一个/ &#xff0c;npm run serve 起项目&#xff0c;本地调用正常 npm run build 打包到测试环境&#xff0c;接口出现问题&#xff0c;分开调用接口&#xff0c;且报302错误 问题原因&#xff1a; 本地开发环境和测试环境的URL处理方式不同 本地使…

动态规划-两个数组的dp问题3

文章目录 1. 两个字符串的最小ASCII删除和&#xff08;712&#xff09;2. 最长重复子数组&#xff08;718&#xff09; 1. 两个字符串的最小ASCII删除和&#xff08;712&#xff09; 题目描述&#xff1a; 状态表示&#xff1a; 根据经验以及题目要求&#xff0c;建立二维数…

旧手机-基于Termux配置服务器(不用拿去换钢盆了)

Hi&#xff0c;大家好&#xff0c;我是抢老婆酸奶的小肥仔。 大家用手机这么多年了&#xff0c;手上或多或少都有一两个被替换下来的旧手机&#xff0c;也不用拿去换啥钢盆了&#xff0c;使用Termux可以将旧手机改造成一个服务器。 不多说&#xff0c;直接开干。 1、安装app…

Swagger --学习笔记

什么是Swagger&#xff1f; Swagger是API设计工具集&#xff0c;用于帮助开发者设计、构建和文档化RESTful Web服务。它通过标准化的格式来描述API接口&#xff0c;使得创建、维护和使用API变得更加清晰和简便&#xff0c;同时提供工具支持API的交互式文档、编辑器以及代码的自…

深入理解JVM:介绍JVM的工作原理,包括类加载机制,内存模型,垃圾回收机制等

类加载机制&#xff1a; JVM的类加载机制主要包括加载、连接&#xff08;验证、准备和解析&#xff09;、初始化、使用和卸载五个阶段。第一个阶段是加载需求的.class文件到内存中。第二个阶段是完成对字节码的验证&#xff0c;为类变量分配内存并初始化为对应类型默认值。第三…