mysql单表索引个数_MySQL性能:多个表与单个表和分区上的索引

小编典典

创建20,000个表是一个坏主意。您很快将需要40,000个表,然后更多。

我在《SQL反模式》一书中将此综合症称为

Metadata Tribbles

。您每次计划创建“每X表格”或“每X列”时都会看到这种情况。

当您有成千上万个表时,这确实会导致实际的性能问题。每个表都需要MySQL维护内部数据结构,文件描述符,数据字典等。

还有实际的操作后果。您是否真的要创建一个系统,该系统要求您每次注册新用户时都创建一个新表?

相反,我建议您使用MySQL分区。

这是对表进行分区的示例:

CREATE TABLE statistics (

id INT AUTO_INCREMENT NOT NULL,

user_id INT NOT NULL,

PRIMARY KEY (id, user_id)

) PARTITION BY HASH(user_id) PARTITIONS 101;

这给您带来了定义一个逻辑表的好处,同时还可以将该表分为许多物理表,以便在查询分区键的特定值时可以更快地进行访问。

例如,当您像示例一样运行查询时,MySQL仅访问包含特定user_id的正确分区:

mysql> EXPLAIN PARTITIONS SELECT * FROM statistics WHERE user_id = 1\G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: statistics

partitions: p1

type: index

possible_keys: NULL

key: PRIMARY

key_len: 8

ref: NULL

rows: 2

Extra: Using where; Using index

分区的HASH方法意味着通过整数分区键的模数将行放置在分区中。这确实意味着许多user_id都映射到同一分区,但是每个分区平均只有平均行数的1 /

N(其中N是分区数)。而且您用固定数量的分区来定义表,因此不必在每次获得新用户时都对其进行扩展。

您可以选择多达1024个分区(在MySQL 5.6中为8192)的任意数量的分区,但是有些人报告说,当分区过高时会出现性能问题。

建议使用素数分区。如果您的user_id值遵循某种模式(例如仅使用偶数),则使用质数分区可以帮助更均匀地分配数据。

在评论中回答您的问题:

如何确定合理的分区数量?

对于HASH分区,如果您使用101个分区(如上例所示),则任何给定分区平均约占行的1%。您说统计信息表有3000万行,因此,如果使用此分区,则每个分区只有30万行。对于MySQL而言,这更容易阅读。您也可以(也应该)使用索引-

每个分区都有其自己的索引,并且其大小仅为整个未分区表的索引的1%。

因此,如何确定合理数量的分区的答案是:整个表有多大,并且您希望分区平均有多大?

分区数量不应该随着时间增长吗?如果是这样:我该如何自动化?

如果您使用HASH分区,则分区的数量并不一定需要增加。最终,您可能总共有300亿行,但是我发现,当您的数据量增长几个数量级时,无论如何都需要一种新的体系结构。如果您的数据变得如此之大,则可能需要在多个服务器上进行

分片 以及将其分区到多个表中。

也就是说,您可以使用ALTER TABLE重新分区表:

ALTER TABLE statistics PARTITION BY HASH(user_id) PARTITIONS 401;

这必须重新组织表(就像大多数ALTER TABLE更改一样),因此希望它花一些时间。

您可能要监视分区中数据和索引的大小:

SELECT table_schema, table_name, table_rows, data_length, index_length

FROM INFORMATION_SCHEMA.PARTITIONS

WHERE partition_method IS NOT NULL;

与任何表一样,您希望活动索引的总大小适合您的缓冲池,因为如果在SELECT查询期间MySQL必须在缓冲池中交换部分索引进出索引,则性能会受到影响。

如果使用RANGE或LIST分区,则添加,删除,合并和拆分分区更为常见。见http://dev.mysql.com/doc/refman/5.6/en/partitioning-

management-range-

list.html

2020-05-17

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/364202.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在JDK 8中可通过反射获得构造函数/方法参数元数据

JDK 8较不为人所知的一项新 功能是在编译的Java类中包含参数元数据的可选功能[JDK增强建议( JEP ) 118 ]。 此功能允许Java应用程序在运行时通过反射访问此参数元数据信息。 Java Tutorial的Reflection API路径包括一个名为“ 获取方法参数的名称”的课…

Web控件TreeView展开无闪烁的两个解决方法

已经无数次见到有人提出这个问题了。。。。。 第一种。。。。。 用.net控件TreeView而展开时不刷新的变通方法主要有以下步骤: 1。在Page_Load中为你的TreeView添加以下属性,这句话为TreeView添加Click时的回发事件。 TreeView1.Attributes["On…

基于面向对象的图片轮播(js原生代码)

无论你想走多远,你都需要不断地走下去。前端最精华的便是原生的js,这也是我们前端工程师的技术分层的重要指标,也提现这你的代码能力,开发的水平。废话不多说,进入今天的主要分享————基于面向对象思想的图片轮播。其效果如下所…

Spring boot 上传文件大小限制

1.spring boot 1.x 版本 application.properties 文件中 位置在(resources下) spring.http.multipart.maxFileSize 10Mb spring.http.multipart.maxRequestSize100Mb 2.spring boot 2.x 版本 application.properties 文件中 位置在(resourc…

C#定义只能处理枚举类型的泛型类型

1 internal sealed class GenericTypeThatRequireAnEnum<T>2 {3 public static int age 12; //该 static 字段在不同的封闭类型之间是独立不共享的4 5 //静态构造器针对每个封闭类型都会执行一次&#xff0c;泛型类型定义静态构造器的目的就是为了保证传递的类…

电脑注册表被停用

“开始→运行”&#xff0c;输入“Gpedit&#xff0e;msc”后回车&#xff0c;打开“组策略”。然后依次展开“用户配置→管理模板→系统”&#xff0c;双击右侧窗口中的“阻止访问注册表编辑工具”&#xff0c;在弹出的窗口中选择“已禁用”&#xff0c;“确定”后再退出“组策…

Spring应用程序与JNDI连接池的集成测试

我们都知道&#xff0c;无论何时连接到数据库&#xff0c;都需要使用连接池。 所有使用JDBC 4类的现代驱动程序都支持它。 在本文中&#xff0c;我们将概述Spring应用程序中的连接池&#xff0c;以及如何在非JEE环境&#xff08;例如测试&#xff09;中处理相同的上下文。 在S…

jsp 上传转码_最完整的处理jsp处理乱码问题步骤,不需要手工转码

以编码格式为UTF-8为例1&#xff0c;jsp页面文件编码格式&#xff0c;在eclipse右键-》properties-》resource-》text file encode修改该UTF-82&#xff0c;jsp页面上的跟上面一样&#xff0c;为文件存储格式&#xff0c;按此格式存储文件&#xff0c;并编译里面汉字3&#xff…

CSS未知宽高元素水平垂直居中

方法一 &#xff1a;table、cell-table 思路&#xff1a;显示设置父元素为&#xff1a;table&#xff0c;子元素为&#xff1a;cell-table&#xff0c;这样就可以使用vertical-align: center&#xff0c;实现水平居中优点&#xff1a;父元素&#xff08;parent&#xff09;可以…

在java web工程中jsp页面中使用kindeditor

在这之前我们用Notepad写过kindeditor 在Java web工程里也差不多 首先我们复制之前的thml代码粘贴到工程里 然后把样式也复制进去 然后就可以运行了 转载于:https://www.cnblogs.com/q2546/p/11066539.html

数据分析方法论

把零散的报表整成数据监控体系 把每次拍脑袋的评估整成数据考核体系 在推荐、广告等算法上有所突破&#xff0c;而不是自己瞎捣鼓个没人看的聚类分析 在推送响应等有业绩的地方产出产品&#xff0c;而不是每次用时间序列法预测个销量走势再被业务喷回来。 分析自己的现状&am…

链接服务器

使用sql-server进行分布式查询&#xff08;链接服务器&#xff09; 可以使用sql-server企业管理器进行建立&#xff0c;注意其中的rpc及rpc out两项&#xff0c;也可以使用sql语句来完成定义&#xff0c;主要涉及到三个存储过程sp_addlinkedserver&#xff0c;sp_serveroption和…

mysql表级别的操作_MySql 库/表级操作 及 数据类型 - 纪宇

数据库分类关系型数据库(SQL)&#xff1a;存储方式固定&#xff0c;安全非关系型数据库(NoSQL)&#xff1a;存储方式比较灵活&#xff0c;存储数据的效率比较高&#xff0c;不太安全MySQL是一种关系型数据库管理系统(采用关系模型来组织管理数据的数据库系统)注意事项大小写&am…

具有Java 8支持的Spring Framework 4.0.3和Spring Data Redis 1.2.1

Spring Framework 4.0.3 正如Spring社区宣布的那样&#xff0c;Spring Framework 4.0.3现在可用。 它是上周Java 8发布后框架的第一个版本&#xff0c;因此它是使用OpenJDK 8 GA构建的&#xff0c;并包含最新的ASM 5.0.1。 Spring Framework 4.0.3为WebSockets带来了重要的增强…

Markdown的使用笔记

Markdown的使用笔记 Markdown在我看是一种使用几种标记符号就可以完成清晰排版的一种标记语言&#xff0c;是写笔记文章的一大利器&#xff0c;使用简单、方便&#xff0c;上手快&#xff0c;而且可以很好的兼容html&#xff0c;即html中的标签在markdown中也同样试用。这边文章…

多项式孤儿桶

巨佬制作人们大家好&#xff0c;我是练习多项式两周半的个人练习生lgl。这里总结一下多项式基本操作。 1.多项式加、减、输出 不说了。 时间复杂度$O(n)$。 2.多项式取模 已知多项式$F(x)$&#xff0c;求它对$x^n$取模。 人话&#xff1a;把$n$次及以上的系数清零。 时间复杂度…

焦头烂额

好久没有蹭公司的饭了&#xff0c;今天堕落了一把&#xff0c;和师弟师妹们一起蹭饭&#xff0c;唉&#xff0c;事情有点多&#xff0c;不知道干哪个好&#xff0c;后天回家&#xff0c;感觉GF好像不大愿意&#xff0c;虽然表面没说。。。 转载于:https://www.cnblogs.com/leol…

python亲密度_Python OpenCV 图像2D直方图,取经之旅第 25 天

Python OpenCV 365 天学习计划&#xff0c;与橡皮擦一起进入图像领域吧。基础知识铺垫在之前的博客中&#xff0c;我们获取图像直方图的方式都是获取一维直方图&#xff0c;简单说就是只获取一个通道的特征&#xff0c;例如灰度&#xff0c;B 通道&#xff0c;R 通道。今天要学…

Spring MVC,Thymeleaf,Spring Security应用程序中的CSRF保护

跨站点请求伪造&#xff08;CSRF&#xff09;是一种攻击&#xff0c;它迫使最终用户在当前已通过身份验证的Web应用程序上执行不需要的操作。 如果您使用Spring Security 3.2及更高版本&#xff0c;在Spring MVC / Thymeleaf应用程序中防止CSRF攻击相当容易。 怎么测试&#x…

清除浮动的方式

1、父级div定义伪类&#xff1a;after和zoom <style type"text/css"> .div1{background:#000080;border:1px solid red;}.div2{background:#800080;border:1px solid red;height:100px;margin-top:10px}.left{float:left;width:20%;height:200px;background:#D…