经验分享｜MySQL分区实战（RANGE）

概述

分区概述

在 MySQL 中， InnoDB存储引擎长期以来一直支持表空间的概念。在 MySQL 8.0 中，同一个分区表的所有分区必须使用相同的存储引擎。但是，也可以为同一 MySQL 服务器甚至同一数据库中的不同分区表使用不同的存储引擎。

通俗地讲表分区是将一大表，根据条件分割成若干个小表。MySQL 5.1开始支持数据表分区操作。为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率，我们做出了表分区的概念。表分区有如下优点：

存储更多的数据
对于失去保存意义的数据，删除有关的分区，很容易地删除那些数据，相比较delete语句和truncate语句，删除分区更容易。
查询可以得到极大优化，虽然可以增加索引、主键和外键。
很容易地进行并行处理聚合函数SUM()和COUNT()。
增加查询吞吐量。
重要：分区适用于表的所有数据和索引；您不能只对数据进行分区而不对索引进行分区，反之亦然，也不能只对表的一部分进行分区。

分区类型

MySQL 8.0 中可用的分区类型。其中包括此处列出的类型：

范围分区。 这种类型的分区根据落在给定范围内的列值将行分配给分区。
LIST 分区。 类似于分区 by RANGE，不同之处在于分区是根据与一组离散值中的一个匹配的列来选择的。
哈希分区。 使用这种类型的分区，根据用户定义的表达式返回的值选择分区，该表达式对要插入表的行中的列值进行操作。
KEY分区。 这种类型的分区类似于分区 by HASH，只是只提供了一个或多个要评估的列，并且 MySQL 服务器提供了自己的散列函数。
列分区。包含列范围分区（RANGE COLUMNS partitioning）和列集合分区（LIST COLUMNS partitioning）。
子分区。子分区（也称为 复合分区（Subpartitioning））是对分区表中每个分区的进一步划分。
数据库分区的一个非常常见的用途是按日期分隔数据。一些数据库系统支持显式日期分区，而 MySQL 在 8.0 中没有实现。但是，在 MySQL 中创建基于[DATE]、 [TIME]、 或 [DATETIME]列或基于使用这些列的表达式的分区方案并不困难 。MySQL的分区是采用最优化 [TO_DAYS()]， [YEAR()]和 [TO_SECONDS()]功能，也可以使用其他日期和时间函数返回一个整数或者NULL。

重要：要记住——无论您使用哪种分区类型——分区总是在创建时自动按顺序编号，从 0. 当新行插入到分区表中时，这些分区号用于标识正确的分区。

1 分区管理

RANGE 分区和 LIST 分区的管理的新增和删除差不多，下面我就用比较常用的RANGE 分区作为实战。

1.1 创建带有分区的表

可以在命令行执行，也可以在工具Navicat界面工具里面执行下面的语句，下面我将展示我在Navicat界面工具里面执行情况以及执行后返回的结果。

【插入数据脚本】

CREATE TABLE tb_tr (id INT COMMENT "ID编号", name VARCHAR(50) COMMENT "名称", purchased DATE COMMENT "购买时间",PRIMARY KEY (`id`, `purchased`) USING BTREE COMMENT "主键",INDEX `idx_id`(id) COMMENT "索引-id",INDEX `idx_name`(name) COMMENT "索引-名称",INDEX `idx_purchased`(purchased) COMMENT "索引-购买"
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic COMMENT '购买日志'
PARTITION BY RANGE( YEAR(purchased) ) (PARTITION p0 VALUES LESS THAN (1990) ENGINE = InnoDB,PARTITION p1 VALUES LESS THAN (1995) ENGINE = InnoDB,PARTITION p2 VALUES LESS THAN (2000) ENGINE = InnoDB,PARTITION p3 VALUES LESS THAN (2005) ENGINE = InnoDB,PARTITION p4 VALUES LESS THAN (2010) ENGINE = InnoDB,PARTITION p5 VALUES LESS THAN (2015) ENGINE = InnoDB,PARTITION p6 VALUES LESS THAN (2020) ENGINE = InnoDBPARTITION pmax VALUES LESS THAN (MAXVALUE) ENGINE = InnoDB
);OK, Time: 0.055000s

【插入数据结果展示】
在这里插入图片描述

这里我创建了名称为p0、p1、p2、p3、p4、p5、pmax 六个分区。其中p0和pmax分区比较特别，这里可以理解为数学上面的分区函数或分段函数，从函数上，很好理解分区到底是什么概念。
在这里插入图片描述

1.2 插入几条数据

【插入数据脚本】

INSERT INTO tb_tr VALUES(1, 'desk organiser', '2003-10-15'),(2, 'alarm clock', '1997-11-05'),(3, 'chair', '2009-03-10'),(4, 'bookcase', '1989-01-10'),(5, 'exercise bike', '2014-05-09'),(6, 'sofa', '1987-06-05'),(7, 'espresso maker', '2011-11-22'),(8, 'aquarium', '1992-08-04'),(9, 'study desk', '2006-09-16'),(10, 'lava lamp', '1998-12-25');Affected rows: 10, Time: 0.004000s

【插入数据结果展示】
在这里插入图片描述

1.3 查看分区内的数据

下面的结果是一样的，但是效果不一样。可以使用EXPLAIN查看下执行计划。

SELECT * FROM tb_tr PARTITION (p2);SELECT * FROM tb_tr WHERE purchased BETWEEN '1995-01-01' AND '1999-12-31';

1.4 删除分区

删除分区时，也会删除该分区中存储的所有数据。必须先拥有该[DROP](表的 权限，然后才能 ALTER TABLE ... DROP PARTITION对该表执行。

ALTER TABLE tb_tr DROP PARTITION p2;
OK, Time: 0.022000s

那有没有可以在不删除数据的情况下，删除分区呢？答案是有的，请使用ALTER TABLE ... REORGANIZE PARTITION改用。对于按范围分区的表，您只能 ADD PARTITION将新分区添加到分区列表的高端。这就意味着，需要从pmax分区再次分出来一张表空间，例如

1.5 增加分区

1.5.1 增加分区

如果使用这种方式增加分区，那么你得到的将会是错误的提示

1481 - MAXVALUE can only be used in last partition definition, Time: 0.002000s

1.5.2 重新组织为两个新分区

ALTER TABLE tb_trREORGANIZE PARTITION pmax INTO (PARTITION p6 VALUES LESS THAN (2020) ENGINE = InnoDB, PARTITION n1 VALUES LESS THAN (MAXVALUE) ENGINE = InnoDB);

在增加分区时，新的RANGE分区方案不能有任何重叠范围；新的LIST 分区方案不能有任何重叠的值集。分区的表RANGE，您只能重组相邻的分区；您不能跳过范围分区。分区也不是无限制的分区下去，不使用[NDB]存储引擎的给定表的最大可能分区数是 8192。

1.6 查询已经创建分区

【查询数据脚本展示】

SELECT * FROM information_schema.`PARTITIONS` WHERE table_schema = 【dbName】 and table_name = "【tableName】";

【查询数据结果展示】
在这里插入图片描述

2 分区限制条件

2.1 禁止的构造。

分区表达式中不允许使用以下结构：

存储过程、存储函数、可加载函数或插件。
声明的变量或用户变量。
当然下面自带的函数除外：
ABS() CEILING() DATEDIFF() DAY() DAYOFMONTH() DAYOFWEEK() DAYOFYEAR() EXTRACT() FLOOR() HOUR() MICROSECOND() MINUTE() MOD() MONTH() 常用 QUARTER() SECOND() TIME_TO_SEC() TO_DAYS() 常用 TO_SECONDS() UNIX_TIMESTAMP() (with TIMESTAMP columns) WEEKDAY() YEAR() YEARWEEK()

上面的函数可以在分区中使用，这样子就可以按照需求来制定自己的分区。

2.2 允许在分区中使用运算符

算术、逻辑运算符
允许在分区表达式中 使用算术运算符 +、 -和 *。但是，结果必须是整数值或NULL

位运算符 ｜ 、&、 ^、 <<、 >>、 ~不允许在分区表达式中使用。
分区 InnoDB 表不支持外键
全文索引。 分区表不支持FULLTEXT 索引或搜索。
空间列。 具有空间数据类型（例如POINT 或GEOMETRY不能在分区表中使用）的列。
临时表。 临时表不能分区。
日志表。 无法对日志表进行分区；[ALTER TABLE ... PARTITION BY ...]此类表上的 语句因错误而失败。
分区键的数据类型。 分区键必须是整数列或解析为整数的表达式。[ENUM]不能使用使用列的表达式 。列或表达式值也可能是NULL; 例外情况参考官网。

F&Q

有些时候，写着，写着，也会翻车，例如，我在实际操作过程中遇到很多问题，但是有了网络之后，就开始搜罗，一点点解决。

Q1：定时处理这些数据

需求描述：

我搜索了一番，将上述的表分区整理成为了按照月度来进行调度分区，然后根据月度来将3个月前的数据迁移到第三张表history表，history是基本上不使用的表，结构同业务表。

具体的思路：
1：创建相同结构的表；
2：创建一个函数，这个函数用于分区
3：创建一个事件，在每月的1号调用分区函数，创建分区，这个分区是两张表（业务表和业务_history表）
4：创建一个函数，用于查询业务数据插入到业务历史表，并删除业务表的数据和分区
5：创建一个事件，用于每月1号调用处理数据函数，迁移数据、删除分区

Q2：SQL语句、单词拼写错误

问题描述：

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘NULL’ at line 1

多数情况下，应该是SQL脚本写错了，单词拼写错了，或者SQL语句中的分割、拼接有错误，导致不能执行，这个需要多检查下，然后再次执行即可。我就是在拼接SQL时忘记写了空格，导致被执行的SQL。例如我下面的的拼接SQL的where前面么有空格，导致SQL是一个不可以执行的语句

CONCAT('INSERT INTO ', TO_TABLE, ' SELECT * FROM ', FROM_TABLE, 'WHERE data_date < DATE_SUB(CURDATE(), INTERVAL 3 MONTH);');

Q3：权限问题

问题描述：

Access denied； you need (at least one of) the SUPER privilege(s) for this operation

这个很明显，是权限的问题。我当时在一个库执行脚本，提示我这个权限问题，换到一个连接权限大一些即可，或给当前连接用户权限大一些。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/196603.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

网络初识：局域网广域网网络通信基础

网络初识：局域网广域网网络通信基础

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、局域网LAN是什么&#xff1f;二、广域网是什么&#xff1a;三. IP地址四.端口号五.认识协议5.1五元组 总结 前言 一、局域网LAN是什么&#xff1f; 局域网…
阅读更多...
flask web开发学习之初识flask（三）

flask web开发学习之初识flask（三）

文章目录 一、flask扩展二、项目配置1. 直接配置2. 使用配置文件3. 使用环境变量4. 实例文件夹 三、flask命令四、模版和静态文件五、flask和mvc架构 一、flask扩展 flask扩展是指那些为Flask框架提供额外功能和特性的库。这些扩展通常遵循Flask的设计原则&#xff0c;易于集成…
阅读更多...
CUDA简介——Grid和Block内Thread索引

CUDA简介——Grid和Block内Thread索引

1. 引言 前序博客&#xff1a; CUDA简介——基本概念CUDA简介——编程模式CUDA简介——For循环并行化 Thread Index&#xff1a; 每个Thread都有其thread index。 在Kernel中&#xff0c;可通过内置的threadIdx变量来获取其thread index。threadIdx为三维的&#xff0c;有相…
阅读更多...
Leetcode每日一题学习训练——Python版（从二叉搜索树到更大和树）

Leetcode每日一题学习训练——Python版（从二叉搜索树到更大和树）

版本说明 当前版本号[20231204]。 版本修改说明20231204初版 目录 文章目录 版本说明目录从二叉搜索树到更大和树理解题目代码思路参考代码 原题可以点击此 1038. 从二叉搜索树到更大和树 前去练习。 从二叉搜索树到更大和树 给定一个二叉搜索树 root (BST)&#xff0c;请…
阅读更多...
【c++|SDL】二、读取图片、显示图片、动画制作

【c++|SDL】二、读取图片、显示图片、动画制作

every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 读取图片&#xff0c;显示图片&#xff0c;动画 SDL中有两种在屏幕上显示的方法 SDL_Surface: 使用软件渲染处理SDL_Texture: 使用硬件加速渲染处理 1.…
阅读更多...
iOS代码安全加固利器：深入探讨字符串和代码混淆器的作用

iOS代码安全加固利器：深入探讨字符串和代码混淆器的作用

​ 在网上搜“代码混淆”关键词&#xff0c;可以看到n多教程。包括本篇博客&#xff0c;大部分重要内容也是从网上各位大神的博客里面看到然后摘取和总结出来的。虽然网上都有&#xff0c;但是对于我个人来说&#xff0c;很难找到一篇博客概括完全的&#xff0c;所以还是总结一…
阅读更多...
现在的00后，实在是太卷了......

现在的00后，实在是太卷了......

现在的小年轻真的卷得过分了。前段时间我们公司来了个00年的&#xff0c;工作没两年&#xff0c;跳槽到我们公司起薪18K&#xff0c;都快接近我了。后来才知道人家是个卷王&#xff0c;从早干到晚就差搬张床到工位睡觉了。 最近和他聊了一次天&#xff0c;原来这位小老弟家里条…
阅读更多...
Java中各种数据类型之间的转换

Java中各种数据类型之间的转换

低类型向高类型自动进行转换&#xff0c;高类型向低类型的准换会丢失数据&#xff0c;整数到字符类型的转换将获取对应编码的字符。 进行高精度向低精度的强制类型准换时&#xff0c;需要将想要转换成的数据类型加一个括号()。 如何完成自动转换呢&#xff1f; 转换前的数据类…
阅读更多...
KNN算法实战-健康医疗

KNN算法实战-健康医疗

健康医疗 算法建模 knn 算法建模构建微观数据和疾病之间的关系knn 调整超参数&#xff0c;准确率提升数据归一化、标准化&#xff0c;提升更加明显 算法实战 导入包 import numpy as np import pandas as pd from sklearn.neighbors import KNeighborsClassifier from sklea…
阅读更多...
LeetCode 每日一题 Day 3||深度优先搜索（DFS)

LeetCode 每日一题 Day 3||深度优先搜索（DFS)

1038. 从二叉搜索树到更大和树 给定一个二叉搜索树 root (BST)&#xff0c;请将它的每个节点的值替换成树中大于或者等于该节点值的所有节点值之和。 提醒一下&#xff0c; 二叉搜索树 满足下列约束条件&#xff1a; 节点的左子树仅包含键 小于 节点键的节点。节点的右子树仅…
阅读更多...
【23-24 秋学期】NNDL 作业12 优化算法2D可视化

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

简要介绍图中的优化算法&#xff0c;编程实现并2D可视化 1. 被优化函数 2. 被优化函数 3. 解释不同轨迹的形成原因 分析各个算法的优缺点 REF&#xff1a;图灵社区-图书 (ituring.com.cn) 深度学习入门&#xff1a;基于Python的理论与实现 NNDL 作业11&#xff1a;优化算…
阅读更多...
Redis系列之incr和decr命令是线程安全的？

Redis系列之incr和decr命令是线程安全的？

Redis是一个单线程的服务&#xff0c;所以正常来说redis的命令是会排队执行的。incr/decr命令是redis提供的可以实现递增递减的命令&#xff0c;所以这两个命令也是具有原子性的&#xff1f;是线程安全的&#xff1f;这个也是互联网公司面试的常见题&#xff0c;话不多说&#…
阅读更多...
Leetcode 108 将有序数组转换为二叉搜索树

Leetcode 108 将有序数组转换为二叉搜索树

题意理解&#xff1a; 我们需要根据一个数组来构建一个二叉搜索树&#xff0c;且该二叉搜索树也是高度平衡二叉树。 什么是高度平衡二叉树呢? 即对于每个节点来说&#xff0c;左右子树高度差不超过1 思路&#xff1a;我们总是从数组的中间位置作为根节点构建该树&#xff0c;这…
阅读更多...
AcW730.机器人跳跃问题(二分法)-Java版

AcW730.机器人跳跃问题(二分法)-Java版

import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader;//由题目可知,无论能量大与小,都满足 e 2 * e - h[i]; //初始能量越大,最终的结果越大,要找到一个满足条件的最小值 //可以根据二分的向左找模板: /*if(check(mid)) r mid;els…
阅读更多...
茄子科技张韶全：跨多云大数据平台DataCake在OceanBase的实践

茄子科技张韶全：跨多云大数据平台DataCake在OceanBase的实践

11 月 16 日&#xff0c;OceanBase 在北京顺利举办 2023 年度发布会&#xff0c;正式宣布&#xff1a;将持续践行“一体化”产品战略&#xff0c;为关键业务负载打造一体化数据库。其中&#xff0c;在“数字化转型升级实践专场”&#xff0c;我们有幸邀请到了茄子科技大数据技术…
阅读更多...
一个Blazor+WinForm+MAUI+PDA实现的条码比对系统

一个Blazor+WinForm+MAUI+PDA实现的条码比对系统

条码比对系统是由单机版桌面软件和Android版的PDA扫码软件组成&#xff0c;桌面软件采用Blazor与WinForm进行混合开发&#xff0c;PDA扫码软件采用MAUI进行开发&#xff0c;这个项目都是基于.NET技术进行构建&#xff0c;这也是将近期学习Blazor和MAUI这两门技术应用到实践当中…
阅读更多...
刷题系列——排序算法

刷题系列——排序算法

参考&#xff1a;README - 十大经典排序算法 1&#xff09;排序算法分为内部外部排序两种&#xff0c;这个之前并不了解&#xff0c;外部排序需要访问外存的这个就是指需要额外内存比如另一个list或者dict存储中间结果。 2&#xff09;稳定性&#xff1a;排序后 2 个相等键值…
阅读更多...
openGauss训练营培训课程第1课时

openGauss训练营培训课程第1课时

课时1:openGauss全景介绍 1、介绍 openGauss 全景 1.1.openGauss总体架构介绍 本章节主要介绍了openGauss发展的历史&#xff0c;现状以及未来。对当前的DataPod和DataKit 2种openGauss当前主推的场景化产品进行了介绍。同时对openGauss的整个逻辑模块的视图进行了讲解。 …
阅读更多...
算法通关村第十三关-黄金挑战数论问题

算法通关村第十三关-黄金挑战数论问题

计数质数 描述 : 给定整数 n &#xff0c;返回 所有小于非负整数 n 的质数的数量 。 题目 : LeetCode 204.计数质数 : 204. 计数质数 分析 : 解决这个题有一个有效的方法&#xff0c;叫埃氏筛 , 后来又产生了线性筛&#xff0c;奇数筛等改进的方法。 基本思想是如果 x是…
阅读更多...
12.04 二叉树中等题

12.04 二叉树中等题

513. 找树左下角的值 给定一个二叉树的 根节点 root&#xff0c;请找出该二叉树的 最底层 最左边 节点的值。 假设二叉树中至少有一个节点。 示例 1: 输入: root [2,1,3] 输出: 1 思路&#xff1a;找到最低层中最左侧的节点值&#xff0c;比较适合层序遍历&#xff0c;返回最…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023