日常开发记录分享-SQL中的partition分区功能使用

文章目录

  • 需求来源
  • 实现思路
  • 实施
      • SQL 语句结构
        • 内部查询(子查询)
        • 外部查询
      • 结果
  • partition的升级使用
      • 解释
    • 验证一下看看分区
  • 分区的一些操作
      • 1. 普通查询
      • 2. 分区表上的查询优化
      • 3. 插入数据
      • 4. 删除分区中的数据
      • 5. 分区维护操作
        • 添加新的分区
        • 删除分区
        • 重组分区
      • 6. 检查分区信息
      • 总结

需求来源

今天甲方这边要查看一个机车的周时数据(就是一个机车从到我的管辖范围内,到出我的管辖内所用的时间),那这个它会跑很多次,我们要查询这一天的周时数据,锚定一个点比如出管辖区的时间,那么根据查询到今天所有这个时间范围内出去的车信息,然后去数据表里找这个机车进来的数据且时最新的一条就行了。

实现思路

分两次查询的第一次查询出来所有的当天出管辖区的机车信息,第二个查询是根据第一个查询小小的改动,把时间范围去掉就好,然后根据机车信息进行组取时间每个机车时间最新的数据就好。直接使用group by,但是这个并不能取出其它的信息所以就pass掉了。GPTl了一下给的方案是使用partition这个功能。

实施

就不看项目数据了就看一下我写的小demo的结果吧。我有一个student表,这个表里有10个班的学生,每个班的学生有20个,我现在要取出每个班的学生id最大的这个记录,就可以使用这个partition了。
在这里插入图片描述

select * from (SELECT *, ROW_NUMBER() over (partition by classes_id order by id desc) as rn FROM `student`) a where rn=1

在这里插入图片描述
解释一下这个啊。

这条 SQL 语句使用了窗口函数 ROW_NUMBER() 来为每个 classes_id 组中的行编号,并在外部查询中只选择每个 classes_id 组中的最新一行(根据 id 倒序排序)。以下是对这条 SQL 语句的详细解释:

SQL 语句结构

SELECT * 
FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY classes_id ORDER BY id DESC) AS rn FROM `student`
) a 
WHERE rn = 1;
内部查询(子查询)
SELECT *, ROW_NUMBER() OVER (PARTITION BY classes_id ORDER BY id DESC) AS rn 
FROM `student`
  1. SELECT *

    • 选择 student 表中的所有列。
  2. ROW_NUMBER() OVER (PARTITION BY classes_id ORDER BY id DESC) AS rn

    • ROW_NUMBER() 是一个窗口函数,它为结果集中的每一行分配唯一的行号。
    • OVER 子句定义了窗口的分区和排序规则:
      • PARTITION BY classes_id:将结果集按 classes_id 列进行分组。对于每个 classes_id,将重新开始编号。
      • ORDER BY id DESC:在每个 classes_id 分区中,按照 id 列的降序排序。
    • AS rn:将生成的行号列命名为 rn

    这部分查询为每个 classes_id 组中的行编号,编号从1开始,按照 id 倒序排列。因此,rn 为1的行是每个 classes_id 组中 id 最大的行。

外部查询
SELECT * 
FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY classes_id ORDER BY id DESC) AS rn FROM `student`
) a 
WHERE rn = 1;
  1. FROM (...) a

    • 将内部查询的结果作为一个临时表 a
  2. WHERE rn = 1

    • 筛选出临时表 arn 等于 1 的行,即每个 classes_id 组中 id 最大的行。

结果

整个查询的作用是:

  • student 表进行分组(按 classes_id)。
  • 在每个 classes_id 组中,按 id 倒序排列,并为每行分配一个行号 rn
  • 选择每个 classes_id 组中 rn 等于 1 的行(即每个 classes_id 组中 id 最大的行)。

partition的升级使用

partition不仅仅可以在日常查询中使用,还可以在表的数据结构上进行优化,比如在建表的时候创建分区或者后期添加分区,这个分区操作是在物理上的操作,可以看我下面这张表的结构,有一部分注释说明就是分区的设置,

在这里插入图片描述

对表进行分区可以提升查询性能和数据管理的效率。由于 ENGINE=MyISAM 不支持分区,我们需要将表的存储引擎更改为 InnoDB,因为 InnoDB 支持分区。

假设我们要根据 id 列进行范围分区,将数据划分为四个分区:

  1. p0:包含 id 小于 10000的数据。
  2. p1:包含 id 小于 20000的数据。
  3. p2:包含 id 小于 50000的数据。
  4. p3:包含其余的数据。

PARTITION BY RANGE (id) (PARTITION p0 VALUES LESS THAN (10000),PARTITION p1 VALUES LESS THAN (20000),PARTITION p2 VALUES LESS THAN (50000),PARTITION p3 VALUES LESS THAN MAXVALUE
);

解释

  • PARTITION BY RANGE (id): 根据 id 列进行范围分区。
  • PARTITION p0 VALUES LESS THAN (10000): 第一个分区,包含 id 小于 10000的数据。
  • PARTITION p1 VALUES LESS THAN (20000): 第二个分区,包含 id 小于 20000的数据。
  • PARTITION p2 VALUES LESS THAN (50000): 第三个分区,包含 id 小于 50000的数据。
  • PARTITION p3 VALUES LESS THAN MAXVALUE: 第四个分区,包含 id 大于等于 50000的数据。

这样,表 products 就被划分为四个分区,每个分区包含一定范围的 id 值的数据。

验证一下看看分区

上面说了创建分区了,但是怎么才能确定我们的查询sql使用到了分区呢?使用explain来查看执行的sql有没有在分区的范围呢,
下面是使用了explain查看执行的sql有没有用到分区,partition的值为p0对应了上面设置的分区。

在这里插入图片描述

分区的一些操作

创建分区后,数据库管理系统会自动处理分区的数据存储和检索,用户在日常操作中并不需要特殊处理分区。不过,你可以通过一些特定的查询和操作来利用分区的优势。以下是一些常见的用法示例:

1. 普通查询

普通的查询不需要特别处理分区,数据库管理系统会自动根据分区优化查询:

SELECT * FROM student WHERE id < 50;

2. 分区表上的查询优化

当你的查询条件包含分区键时,数据库会自动选择相关的分区进行查询,从而提高查询性能。例如:

SELECT * FROM student WHERE id BETWEEN 50 AND 100;

3. 插入数据

插入数据时,数据库会根据分区键自动将数据插入到相应的分区:

INSERT INTO student (name, classes_id) VALUES ('Alice', 1);

4. 删除分区中的数据

可以通过分区键删除特定分区中的数据:

DELETE FROM student WHERE id < 50;

5. 分区维护操作

你可以进行一些特定的分区维护操作,例如合并分区、拆分分区、删除分区等:

添加新的分区
ALTER TABLE student ADD PARTITION (PARTITION p4 VALUES LESS THAN (200)
);
删除分区
ALTER TABLE student DROP PARTITION p0;
重组分区

可以将多个分区合并为一个分区:

ALTER TABLE student REORGANIZE PARTITION p1, p2 INTO (PARTITION p1_2 VALUES LESS THAN (150)
);

6. 检查分区信息

你可以使用 SHOW 语句查看表的分区信息:

SHOW CREATE TABLE student;

总结

综合示例展示了如何创建分区表、插入数据以及进行查询和维护操作:

-- 创建分区表
CREATE TABLE `student` (`id` int NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`classes_id` int DEFAULT NULL,PRIMARY KEY (`id`),KEY `FK4l5dnicegnvpmu0pv6vdvrmb6` (`classes_id`)
) ENGINE=InnoDB AUTO_INCREMENT=201 DEFAULT CHARSET=utf8mb3
PARTITION BY RANGE (id) (PARTITION p0 VALUES LESS THAN (50),PARTITION p1 VALUES LESS THAN (100),PARTITION p2 VALUES LESS THAN (150),PARTITION p3 VALUES LESS THAN MAXVALUE
);-- 插入数据
INSERT INTO student (name, classes_id) VALUES ('Alice', 1);
INSERT INTO student (name, classes_id) VALUES ('Bob', 2);-- 查询数据
SELECT * FROM student WHERE id < 50;-- 删除分区中的数据
DELETE FROM student WHERE id < 50;-- 添加新分区
ALTER TABLE student ADD PARTITION (PARTITION p4 VALUES LESS THAN (200)
);-- 删除分区
ALTER TABLE student DROP PARTITION p0;-- 检查分区信息
SHOW CREATE TABLE student;

目前先整理这么多,以后有深入学习使用了再继续!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/48673.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

银河麒麟服务器V10 SP3 安装人大金仓V009R001C001B0030

原文链接&#xff1a;银河麒麟服务器V10 SP3 安装人大金仓V009R001C001B0030 Hello&#xff0c;大家好啊&#xff0c;今天给大家带来一篇关于在银河麒麟服务器V10 SP3上安装人大金仓V009R001C001B0030的文章。人大金仓是国内知名的数据库管理系统&#xff0c;它在高性能、高可靠…

AWS全服务历史年表:发布日期、GA和服务概述一览 (全)

我一直在尝试从各种角度撰写关于Amazon Web Services&#xff08;AWS&#xff09;的信息和魅力。由于我喜欢技术历史&#xff0c;这次我总结了AWS服务发布的历史年表。 虽然AWS官方也通过“Whats New”发布了官方公告&#xff0c;但我一直希望能有一篇文章将公告日期、GA日期&…

【C++】标准库:介绍string类

string 一.string类介绍二.string类的静态成员变量三.string类的常用接口1.构造函数&#xff08;constructor&#xff09;2.析构函数&#xff08;destructor&#xff09;3.运算符重载&#xff08;operator&#xff09;1.operator2.operator[]3.operator4.operator 4.string的四…

算法从零到精通 (一) ~ 快慢双指针

1. 前言 快慢双指针是一种常用的算法技巧&#xff0c;通常用于解决涉及链表或数组的问题。它的基本思想是使用两个指针&#xff0c;一个移动速度快&#xff08;快指针&#xff09;&#xff0c;一个移动速度慢&#xff08;慢指针&#xff09;&#xff0c;来解决特定的问题。这两…

计算机软考之计算机网络知识详解

目录 计算机网络概述计算机网络体系结构 OSI参考模型TCP/IP模型 物理层 传输介质信号传输 数据链路层 数据帧错误检测与纠正 网络层 IP协议路由协议 传输层 TCP协议UDP协议 应用层 常见应用层协议 网络安全 常见安全威胁安全措施 实战案例分析总结 计算机网络概述 计算机网络…

Docker搭建群晖

Docker搭建群晖 本博客介绍在docker下搭建群晖 1.编辑docker-compose.yml文件 version: "3" services:dsm:container_name: dsmimage: vdsm/virtual-dsm:latestenvironment:DISK_SIZE: "16G"cap_add:- NET_ADMIN ports:- 8080:50…

在未来有可能实现无药无手术可以治病吗?

在未来&#xff0c;随着科技的不断进步和人类对健康的追求&#xff0c;无药无手术治病的可能性是存在的。虽然目前的技术水平和医疗手段还无法完全实现这一目标&#xff0c;但是我们可以从多个方面推论出未来可能出现的无药无手术治病的情景。 首先&#xff0c;随着生物科技的发…

基于NER、触发词与依存句法分析的言论抽取

言论抽取技术简介 言论抽取&#xff08;Opinion Mining&#xff09;&#xff0c;是自然语言处理&#xff08;NLP&#xff09;领域中的一个重要分支&#xff0c;主要用于从文本中自动提取和分析情感信息。随着社交媒体、电子商务和在线评论的兴起&#xff0c;言论抽取技术变得越…

红狮金业解读:分析高价位黄金的后续投资吸引力

在全球经济格局不断变化的背景下&#xff0c;黄金作为传统的避险资产一直备受投资者关注。近期&#xff0c;金价持续走高&#xff0c;引发了市场对黄金是否仍然是优质资产配置的讨论。本文红狮启富将从长期需求、价格驱动因素的变化以及汇率影响三个角度&#xff0c;深入分析黄…

开发语言的基本构成。

许多人都对设计一套自有知识产权的开发语言感兴趣。那么&#xff0c;如何按照功能模块设计开发语言&#xff1f; 开发语言必须提供以下基本功能&#xff1a; 数据存储组织和管理&#xff1b;数据定位和访问&#xff1b;数据定义和解释方案&#xff1b;通用算法包&#xff1b;迭…

关于线性代数(考研)

1.AE的特征值的问题 若λ是A的特征值&#xff0c;对应的特征向量是x&#xff0c;则Axλx&#xff0c;所以(AE)xAxExλxx(λ1)x&#xff0c;所以λ1是AE的特征值。所以若A的特征值是1&#xff0c;1&#xff0c;0&#xff0c;则AE的特征值就是11&#xff0c;11&#xff0c;01&am…

c# 端口监控 Helper 以及写一个端口监控工具

c# 端口监控 Helper 以及写一个端口监控工具 介绍核心代码&#xff1a;工具完整编码&#xff1a;1、编写界面2、打开定时控件的属性设置。3、编写定时控件的 Tick 事件结果&#xff08;运行效果&#xff09; 介绍 由于最近做上架比较多&#xff0c;会经常来确保服务器的服务&a…

VUE 子组件可以直接改变父组件的数据吗

子组件不可以直接改变父组件的数据。‌在Vue中&#xff0c;‌数据流是单向的&#xff0c;‌即父组件通过props向子组件传递数据&#xff0c;‌而子组件不能直接修改父组件的数据。‌这是为了维护数据流动的单向性和数据的可维护性。‌ 如果子组件需要修改父组件的数据&#xf…

Flink时间和窗口

目录 时间语义 水位线&#xff08;Watermarks&#xff09; 并行流中的水位线 窗口 滚动窗口—Tumbling Windows 滑动窗口—Sliding Windows 会话窗口—Session Windows 全局窗口—Global Windows 例子 时间语义 如图所示&#xff0c;由事件生成器&#xff08;Event Pr…

萤石举办2024夏季新品发布会,全力推进“2+5+N”智能家居新生态

7月24日&#xff0c;“智动新生&#xff0c;尽在掌控”2024萤石夏季新品发布会在杭州成功举办。本次发布会上&#xff0c;“智慧生活守护者”萤石深入挖掘应用场景&#xff0c;重磅发布了包括智能健康手表、智能家居AI主机、生态控制器、智家APP等多款创新性的产品及应用&#…

【JavaScript】`Map` 数据结构

文章目录 一、Map 的基本概念二、常见操作三、与对象的对比四、实际应用场景 在现代 JavaScript 中&#xff0c;Map 是一种非常重要且强大的数据结构。与传统的对象&#xff08;Object&#xff09;不同&#xff0c;Map 允许您使用各种类型的值作为键&#xff0c;不限于字符串或…

mysql 如何实现重复数据取创建时间的最后一条记录?

重复数据去重&#xff0c;取创建时间最晚的一条。 思路&#xff1a;按重复的字段通过group by 去重&#xff0c;重复的数据通过GROUP_CONCAT(&#xff09;函数收集&#xff0c;再通过SUBSTRING_INDEX(&#xff09;函数截取即可。 实例&#xff1a; SELECTUserName,//字段值按…

基于 HTML+ECharts 实现监控平台数据可视化大屏(含源码)

构建监控平台数据可视化大屏&#xff1a;基于 HTML 和 ECharts 的实现 监控平台的数据可视化对于实时掌握系统状态、快速响应问题至关重要。通过直观的数据展示&#xff0c;运维团队可以迅速发现异常&#xff0c;优化资源配置。本文将详细介绍如何利用 HTML 和 ECharts 实现一个…

关于 夜莺n9e 的简易部署

一、部署夜莺n9e 1.找一个服务器机器 #创建并进入目录 mkdir -p /data/n9e && cd /data/n9e2.准备n9e安装包 (如果存在&#xff0c;跳过) #下载并解压n9e wget https://download.flashcat.cloud/n9e-v6.7.3-linux-amd64.tar.gz tar -zxvf n9e-v6.7.3-linux-amd64.ta…

SecureCRT连接Linux时乱码问题

使用SecureCRT输入中文出现乱码的问题&#xff0c;通常与字符编码和终端的显示设置有关. 发生乱码的原因主要是有三个地方 1.Linux的etc的系统默认配置的编码 2.用户环境变量里面设置的LANG变量 3.SecureCRT会话变量里面的字符集的设置 只要保持这三个地方的字条集编码保持一致…