程序员修神之路--做好分库分表其实很难之二

640?wx_fmt=gif

菜菜哥,上次听你给我讲了分库的情况后,我明白了很多,能再给我讲讲分表吗

640?wx_fmt=png640?wx_fmt=jpeg

有收获就好,分表其实有很多情况和分库类似

640?wx_fmt=png640?wx_fmt=jpeg

还有不一样的情况吗?

640?wx_fmt=png640?wx_fmt=jpeg

有呀,本来数据库和表是不同层面的东西,肯定有差异

640?wx_fmt=png640?wx_fmt=jpeg

那你给讲讲呗

640?wx_fmt=png640?wx_fmt=jpeg

讲可以,一杯coffee如何?

640?wx_fmt=png640?wx_fmt=jpeg640?wx_fmt=png

为什么分

640?wx_fmt=gif

在正式开始之前,菜菜还是要强调一点,你的数据表是否应该分,需要综合考虑很多因素,比如业务的数据量是否到达了必须要切分的数量级,是否可以有其他方案来解决当前问题?我不止一次的见过,有的leader在不考虑综合情况下,盲目的进行表拆分业务,导致的情况就是大家不停的加班,连续几周996,难道leader你不掉头发吗?还有的架构师在一个小小业务初期就进行表拆分,大家为了配合你也是马不停蹄的加班赶进度,上线之后反而发现业务数据量很小,但是代码上却被分表策略牵制了太多。拆表引起的问题在特定的场景下,有时候代价真的很大。

数据库表的拆分解决的问题主要是存储和性能问题,mysql在单表数据量达到一定量级后,性能会急剧下降,相比较于sqlserver和Oracle这些收费DB来说,mysql在某些方面还是处于弱势,但是表的拆分这个策略却适用于几乎所有的关系型数据库。

640?wx_fmt=png

数据库进行表拆分不要太盲目

640?wx_fmt=png

分表策略

640?wx_fmt=gif

表的拆分和数据库的拆分有相似之处,但是拆分的规则也有不同。以下的拆分规则针对的是拆分一个表。

横向切分

640?wx_fmt=gif

横向切分是诸多业务中最常用的切分方式,本质是把一个表中的数据行按照规则分散到多个表中,比如最常见的按照ID范围,按照业务主键的哈希值等。至于表数据到达什么数量级之后进行切分,这和表中存的数据格式有关,比如一个表只有几列的int字段肯定要比几列text类型的表存储的极限要高。姑且认为这个极限是1000万吧。但是作为一个系统的负责人或者架构师来说,当表的数据量级到达千万级别要引起重视,因为这是一个系统性能瓶颈的隐患。


相对于数据表的横向切分,在符合业务优化的场景下我更倾向于做表分区,按照规则把不同的分区分配到不同的物理磁盘,这样的话,业务里的sql语句几乎可以不用改动。我司的一个sqlserver数据库,某个业务的表做了表分区之后,已经到达几十亿级别的数据量,但是查询和插入速度还是能满足业务的需求(优化一个系统还是要花精力优化业务层面)。

640?wx_fmt=png

垂直切分

640?wx_fmt=gif

说到垂直拆分,表也可以按照业务来拆分,比如一个数据库中有用户的信息,根据业务可以划分为基础信息和扩展信息,如果对业务有利,完全可以拆分为基础信息表和扩展信息表。当然也可以按照别的规则来拆,比如把访问频繁的信息拆分成一个表,其他不频繁的信息拆分成一个表,具体的拆分规则还是要看当时要解决的问题是什么。垂直拆分可能会引入一定复杂性,比如原来查询一个用户的基础信息和扩展信息可以一次性查询出结果,分表之后需要进行Join操作或者查询两次才能查询出结果。

640?wx_fmt=png

分表代价

640?wx_fmt=gif

1. 数据表垂直切分之后,原来一次查询有可能会变为连表的join查询,在一定程度上会有性能损失。

2. 数据表横向切分需要一定的规则,常用的主要有两种规则:范围切分和哈希值切分。范围切分是指按照某个字段的范围来切分,比如用户表按照用户ID来切分,id为1到10万的位于User表1中,100001到200000万的位于User2中,这样切分的优势是,可以无限的扩容下去,不用考虑数据迁移的问题,劣势就是新表和旧表数据分布不均匀,而且分表的范围选取有一定难度,范围太小会导致表太多,太大会导致问题根本上没有解决的困惑。另外一种分表策略就是把某一列按照哈希值来路由到不同的表中,同样以用户ID为例,假如我们一开始就规划了10个数据库表,路由算法可以简单地用 user_id %10的值来表示数据所属的数据库表编号,ID为985的用户放到编号为 5的子表中,ID为10086的用户放到编号为 6 的字表中。这种切分规则的优势是每个表的数据分布比较均匀,但是后期扩容会设计到部分数据的迁移工作。

3. 表拆分之后如果遇到有order by 的操作,数据库就无能为力了,只能由业务代码或者数据库中间件来完成了。

4. 当有搜索的业务需求的时候,sql语句只能是Join多个表来进行连表查询了,类似的还有统计的需求,例如count的统计操作。



640?wx_fmt=png640?wx_fmt=gif程序员过关斩将--你为什么还在用存储过程?程序员过关斩将--小小的分页引发的加班血案●程序员修神之路--问世间异步为何物?●程序员修神之路--提高网站的吞吐量?●程序员修神之路--?分布式高并发下Actor模型如此优秀?●程序员过关斩将--论商品促销代码的优雅性●程序员过关斩将--你的面向接口编程一定对吗?●程序员修神之路--高并发下为什么更喜欢进程内缓存●程序员修神之路--高并发优雅的做限流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/314768.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2021牛客暑期多校训练营3 B Black and white 最小生成树 + 思维

传送门 文章目录题意:思路:题意: 思路: 对于每个数的位置(i,j)(i,j)(i,j),如果将这个位置染黑,那么我们连一个i−>jni->jni−>jn的边,可以发现我们的操作不影响连通性。如果想要全部染…

关于WinForms的跨显示器DPI自适应

点击上方蓝字关注“汪宇杰博客”导语WinForms 是运行在Windows上的传统.NET桌面应用技术框架。由于历史原因,它对高DPI以及跨不同DPI屏幕的支持有些问题,本文将探索尽可能的解决方案。Windows 的“黑历史”Windows 系统的默认DPI(更确切的说法…

【THUSC2018】史莱姆之友【长链剖分】【链分治NTT】

不知道这题能不能发出来,如果不能请联系我,我什么都会做的 题意:给一棵 nnn 个结点的树,每个结点有个 axbaxbaxb,求所有根到叶子的乘积之和。系数模 998244353998244353998244353。 链的情况就是分治 NTT&#xff0c…

HDU - 6964 I love counting 树状数组套01tire

传送门 文章目录题意:思路:题意: 给你一个长度为nnn的数组,每次询问l,r,a,bl,r,a,bl,r,a,b代表询问[l,r][l,r][l,r]区间内有多少个不同的数x⊕a≤bx\oplus a\le bx⊕a≤b。 n≤1e5,a,b,x≤n1n\le1e5,a,b,x\le n1n≤1e5,a,b,x≤n1…

.NET开发框架(九)-NLB网络负载平衡配置实战(视频)

(NLB配置实战教程-有声视频-第二节)请持续关注公众号,第三节(NLBARR)正在录制中~第六章IIS负载均衡教程,至今共有37人参与学习尚未学习第六章-IIS负载均衡-视频教程的童靴,赶紧跟上进度,别掉队了…

WC 赛前总结

不要试图得到不属于自己的东西,这样反而容易丢掉本该拿到的分。完全放弃某一道题时一定要慎重,也不要把希望寄托于肝出某一道题。题多读几遍,手算样例,并充分理解了样例解释之后再开始想。读错题浪费时间都是小事,如果…

HDU - 6959 zoto 莫队 + 值域分块

传送门 文章目录题意:思路:题意: 给你nnn个数,每个数有个值,有mmm次询问,每次给定l,r,y1,y2l,r,y1,y2l,r,y1,y2代表查询[l,r][l,r][l,r]区间内在[y1,y2][y1,y2][y1,y2]值域内有多少数出现了。 n≤1e5,m≤1…

C#各版本新增加功能

本系列文章主要整理并介绍 C# 各版本的新增功能。C#8.0 于 2019年4月 随 .NET Framework 4.8 与 Visual Studio 2019 一同发布,但是当前处于预览状态。预计在2019年9月正式发布。目前提供以下功能可供试用:Readonly 成员默认接口成员【*重要,…

很抱歉,博主 AFO 了

遭受了非常严重的考场 debuff,彻底滚粗。 明明全打暴力都还有希望,非要花一半时间去做看起来很简单的 T3;明明接着全打暴力也有希望,非要去写 T2 明显写不出来的线段树合并;明明 T1 还可以骗点分,非要连个…

宣告推出.NET Core 3.0 Preview 7

译:艾心0626今天,我们宣布推出.NET Core 3.0 Preview 7。我们已经从创建新特性阶段过渡到了完善版本阶段。对于接下来的预览版,我们将把重点放在质量(改进)上。在Windows,macOS和Linux上下载.NET Core 3.0 Preview 7。.NET Core 3…

hdu 1028 Ignatius and the Princess III 母函数入门

传送门 文章目录题意:思路:题意: 给你一个数nnn,问你有多少种方案用1−n1-n1−n的数能组成nnn,数的使用次数无限制。 n≤120n\le120n≤120 思路: 考虑构造母函数。 对于111构造出来的母函数为1xx2x3....…

基于Masstransit实现Eventbus的功能

Masstransit 是一个非常优秀的基于消息进行通信的分布式应用程序框架,详情参考官网。在介绍AA.ServiceBus之前,先介绍下几个概念.分布式分布式系统如何定义?这里引用一下Distributed Systems Concepts and Design(Third Edition)中的一句话&a…

HDU - 6975 Forgiving Matching FFT匹配字符串

传送门 文章目录题意:思路:题意: 给你两个串a,ba,ba,b长度分别为n,mn,mn,m,你需要输出m1m1m1个数,第iii个数表示当允许有i−1i-1i−1个数可以不匹配时aaa中长度为mmm的子串与bbb匹配的数量,匹配的意思就是…

微软解释为什么Rust是系统编程的最佳选择

上周,MSRC(微软安全响应中心)透露出拥抱 Rust 的打算,随后他们将这个话题扩展为一个系列,进一步阐述了使用安全的系统编程语言的的必要性,以及选择 Rust 的原因。在该系列最新一篇文章中,MSRC 团…

HDU - 6982 J - Road Discount wqs二分 + 模型转换 + 优化

传送门 文章目录题意:思路:题意: 给你一个nnn个点mmm条边的图,每个边有一个代价以及折扣价,你需要输出nnn行,第iii行代表你可以选i−1i-1i−1条边使其变成优惠价,问每次的最小生成树的代价是多…

你可能不知道的Docker资源限制

本篇内容涉及Docker的内存与CPU限制,可以用于在实际开发中为指定容器设置限制最大使用的资源量,预计阅读时间为5分钟。01—What is 资源限制?默认情况下,容器是没有资源限制的,它会尽可能地使用宿主机能够分配给它的资…

2021牛客暑期多校训练营4 E - Tree Xor 线段树 + 拆分区间

传送门 文章目录题意:思路:题意: 给你一棵树,每个点原本都有一个权值wiw_iwi​,但是你只知道相邻两个点之间的wu⊕wvw_u\oplus w_vwu​⊕wv​,问你有多少种w1,2,...,nw_{1,2,...,n}w1,2,...,n​ n≤1e5,wi…

东南亚的IT公司,我劝你善良!

来源公众号:半佛仙人(ID:banfoSB)“真的救我一条‘狗命’,可以吗,谢谢您了,我真的撑不住了。”5月3日,小巴在朋友圈看到这条信息,附着一张长图,定位&#xff…

2021牛客暑期多校训练营4 B - Sample Game 期望dp\生成函数

传送门 文章目录题意:思路:题意: 给你一个生成器,每次生成1−n1-n1−n其中的某个数的概率为pip_ipi​,生成的规则如下: (1)(1)(1)随机生成一个数加入集合。 (2)(2)(2)判断生成的数是否是集合中的最大值&am…

小白开学Asp.Net Core 《九》

小白开学Asp.Net Core 《九》 — — 前端篇(不务正业)在《小白开学Asp.Net Core 三》中使用了X-admin 2.x 和 Layui将管理后端的界面重新布局了,里面简单的介绍了layui table 的使用以及页面table所需的数据做了简单的封装。今天扩展学习下。…