程序员修神之路--做好分库分表其实很难之二

640?wx_fmt=gif

菜菜哥,上次听你给我讲了分库的情况后,我明白了很多,能再给我讲讲分表吗

640?wx_fmt=png640?wx_fmt=jpeg

有收获就好,分表其实有很多情况和分库类似

640?wx_fmt=png640?wx_fmt=jpeg

还有不一样的情况吗?

640?wx_fmt=png640?wx_fmt=jpeg

有呀,本来数据库和表是不同层面的东西,肯定有差异

640?wx_fmt=png640?wx_fmt=jpeg

那你给讲讲呗

640?wx_fmt=png640?wx_fmt=jpeg

讲可以,一杯coffee如何?

640?wx_fmt=png640?wx_fmt=jpeg640?wx_fmt=png

为什么分

640?wx_fmt=gif

在正式开始之前,菜菜还是要强调一点,你的数据表是否应该分,需要综合考虑很多因素,比如业务的数据量是否到达了必须要切分的数量级,是否可以有其他方案来解决当前问题?我不止一次的见过,有的leader在不考虑综合情况下,盲目的进行表拆分业务,导致的情况就是大家不停的加班,连续几周996,难道leader你不掉头发吗?还有的架构师在一个小小业务初期就进行表拆分,大家为了配合你也是马不停蹄的加班赶进度,上线之后反而发现业务数据量很小,但是代码上却被分表策略牵制了太多。拆表引起的问题在特定的场景下,有时候代价真的很大。

数据库表的拆分解决的问题主要是存储和性能问题,mysql在单表数据量达到一定量级后,性能会急剧下降,相比较于sqlserver和Oracle这些收费DB来说,mysql在某些方面还是处于弱势,但是表的拆分这个策略却适用于几乎所有的关系型数据库。

640?wx_fmt=png

数据库进行表拆分不要太盲目

640?wx_fmt=png

分表策略

640?wx_fmt=gif

表的拆分和数据库的拆分有相似之处,但是拆分的规则也有不同。以下的拆分规则针对的是拆分一个表。

横向切分

640?wx_fmt=gif

横向切分是诸多业务中最常用的切分方式,本质是把一个表中的数据行按照规则分散到多个表中,比如最常见的按照ID范围,按照业务主键的哈希值等。至于表数据到达什么数量级之后进行切分,这和表中存的数据格式有关,比如一个表只有几列的int字段肯定要比几列text类型的表存储的极限要高。姑且认为这个极限是1000万吧。但是作为一个系统的负责人或者架构师来说,当表的数据量级到达千万级别要引起重视,因为这是一个系统性能瓶颈的隐患。


相对于数据表的横向切分,在符合业务优化的场景下我更倾向于做表分区,按照规则把不同的分区分配到不同的物理磁盘,这样的话,业务里的sql语句几乎可以不用改动。我司的一个sqlserver数据库,某个业务的表做了表分区之后,已经到达几十亿级别的数据量,但是查询和插入速度还是能满足业务的需求(优化一个系统还是要花精力优化业务层面)。

640?wx_fmt=png

垂直切分

640?wx_fmt=gif

说到垂直拆分,表也可以按照业务来拆分,比如一个数据库中有用户的信息,根据业务可以划分为基础信息和扩展信息,如果对业务有利,完全可以拆分为基础信息表和扩展信息表。当然也可以按照别的规则来拆,比如把访问频繁的信息拆分成一个表,其他不频繁的信息拆分成一个表,具体的拆分规则还是要看当时要解决的问题是什么。垂直拆分可能会引入一定复杂性,比如原来查询一个用户的基础信息和扩展信息可以一次性查询出结果,分表之后需要进行Join操作或者查询两次才能查询出结果。

640?wx_fmt=png

分表代价

640?wx_fmt=gif

1. 数据表垂直切分之后,原来一次查询有可能会变为连表的join查询,在一定程度上会有性能损失。

2. 数据表横向切分需要一定的规则,常用的主要有两种规则:范围切分和哈希值切分。范围切分是指按照某个字段的范围来切分,比如用户表按照用户ID来切分,id为1到10万的位于User表1中,100001到200000万的位于User2中,这样切分的优势是,可以无限的扩容下去,不用考虑数据迁移的问题,劣势就是新表和旧表数据分布不均匀,而且分表的范围选取有一定难度,范围太小会导致表太多,太大会导致问题根本上没有解决的困惑。另外一种分表策略就是把某一列按照哈希值来路由到不同的表中,同样以用户ID为例,假如我们一开始就规划了10个数据库表,路由算法可以简单地用 user_id %10的值来表示数据所属的数据库表编号,ID为985的用户放到编号为 5的子表中,ID为10086的用户放到编号为 6 的字表中。这种切分规则的优势是每个表的数据分布比较均匀,但是后期扩容会设计到部分数据的迁移工作。

3. 表拆分之后如果遇到有order by 的操作,数据库就无能为力了,只能由业务代码或者数据库中间件来完成了。

4. 当有搜索的业务需求的时候,sql语句只能是Join多个表来进行连表查询了,类似的还有统计的需求,例如count的统计操作。



640?wx_fmt=png640?wx_fmt=gif程序员过关斩将--你为什么还在用存储过程?程序员过关斩将--小小的分页引发的加班血案●程序员修神之路--问世间异步为何物?●程序员修神之路--提高网站的吞吐量?●程序员修神之路--?分布式高并发下Actor模型如此优秀?●程序员过关斩将--论商品促销代码的优雅性●程序员过关斩将--你的面向接口编程一定对吗?●程序员修神之路--高并发下为什么更喜欢进程内缓存●程序员修神之路--高并发优雅的做限流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/314768.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2021牛客暑期多校训练营3 B Black and white 最小生成树 + 思维

传送门 文章目录题意:思路:题意: 思路: 对于每个数的位置(i,j)(i,j)(i,j),如果将这个位置染黑,那么我们连一个i−>jni->jni−>jn的边,可以发现我们的操作不影响连通性。如果想要全部染…

关于WinForms的跨显示器DPI自适应

点击上方蓝字关注“汪宇杰博客”导语WinForms 是运行在Windows上的传统.NET桌面应用技术框架。由于历史原因,它对高DPI以及跨不同DPI屏幕的支持有些问题,本文将探索尽可能的解决方案。Windows 的“黑历史”Windows 系统的默认DPI(更确切的说法…

.NET开发框架(九)-NLB网络负载平衡配置实战(视频)

(NLB配置实战教程-有声视频-第二节)请持续关注公众号,第三节(NLBARR)正在录制中~第六章IIS负载均衡教程,至今共有37人参与学习尚未学习第六章-IIS负载均衡-视频教程的童靴,赶紧跟上进度,别掉队了…

C#各版本新增加功能

本系列文章主要整理并介绍 C# 各版本的新增功能。C#8.0 于 2019年4月 随 .NET Framework 4.8 与 Visual Studio 2019 一同发布,但是当前处于预览状态。预计在2019年9月正式发布。目前提供以下功能可供试用:Readonly 成员默认接口成员【*重要,…

宣告推出.NET Core 3.0 Preview 7

译:艾心0626今天,我们宣布推出.NET Core 3.0 Preview 7。我们已经从创建新特性阶段过渡到了完善版本阶段。对于接下来的预览版,我们将把重点放在质量(改进)上。在Windows,macOS和Linux上下载.NET Core 3.0 Preview 7。.NET Core 3…

基于Masstransit实现Eventbus的功能

Masstransit 是一个非常优秀的基于消息进行通信的分布式应用程序框架,详情参考官网。在介绍AA.ServiceBus之前,先介绍下几个概念.分布式分布式系统如何定义?这里引用一下Distributed Systems Concepts and Design(Third Edition)中的一句话&a…

微软解释为什么Rust是系统编程的最佳选择

上周,MSRC(微软安全响应中心)透露出拥抱 Rust 的打算,随后他们将这个话题扩展为一个系列,进一步阐述了使用安全的系统编程语言的的必要性,以及选择 Rust 的原因。在该系列最新一篇文章中,MSRC 团…

你可能不知道的Docker资源限制

本篇内容涉及Docker的内存与CPU限制,可以用于在实际开发中为指定容器设置限制最大使用的资源量,预计阅读时间为5分钟。01—What is 资源限制?默认情况下,容器是没有资源限制的,它会尽可能地使用宿主机能够分配给它的资…

东南亚的IT公司,我劝你善良!

来源公众号:半佛仙人(ID:banfoSB)“真的救我一条‘狗命’,可以吗,谢谢您了,我真的撑不住了。”5月3日,小巴在朋友圈看到这条信息,附着一张长图,定位&#xff…

小白开学Asp.Net Core 《九》

小白开学Asp.Net Core 《九》 — — 前端篇(不务正业)在《小白开学Asp.Net Core 三》中使用了X-admin 2.x 和 Layui将管理后端的界面重新布局了,里面简单的介绍了layui table 的使用以及页面table所需的数据做了简单的封装。今天扩展学习下。…

.net持续集成sonarqube篇之sonarqube安装与基本配置

Sonarqube下载与安装Sonarqube下载地址是:https://www.sonarqube.org/downloads/下载版本有两个,一个是长期支持版,另一个是最新版,此处安装的是最新版,目前版本是7.3,下载的时候点击醒目的蓝色按钮即可(此时下载的是社区版),下面有三个无底色按钮下载链接,分别对应的是开发者版…

Codeforces Round #296 (Div. 1) D. Fuzzy Search FFT匹配字符串

传送门 文章目录题意:思路:题意: n,m,k≤2e5n,m,k\le2e5n,m,k≤2e5 思路: 直接考虑fftfftfft来匹配字符串。 由于kkk是给定的,所以难度低了很多,普通的字符串匹配不能处理这种可以范围相等的情况&#xf…

迁移 WinForm 应用从 dotnet framework 到 dotnetcore3.0

迁移 WinForm 应用从 dotnet framework 到 dotnetcore3.0Intro微软从 dotnetcore3.0 开始已经开始支持 wpf 以及 winform 的开发,dotnet core 3.0 preview7 已经发布,官方称已经可以准备上生产了 Production Ready迁移这篇WPF的迁移还是比较不错的&#…

HDU - 6992 Lawn of the Dead 线段树 + 思维

传送门 文章目录题意:思路:题意: 给你一张n∗mn*mn∗m的图,其中有kkk个点不能走,你只能向下和向右走,问你能到达多少点。 n,m,k≤1e5n,m,k\le1e5n,m,k≤1e5 思路: 可以发现每个点如果其左边和…

EZNEW.NET开发框架100%重磅开源

EZNEW.NET是一套基于领域驱动开发(DDD)为指导思想的企业级项目通用开发框架。通过将当前主流的开发技术和最佳的开发实践相结合,将开发中常见且严重影响开发效率的繁琐技术细节进行了模块化的封装,让开发人员能将更多更多精力聚焦在系统业务的分析中去&a…

黑暗爆炸OJ 3028. 食物 生成函数

传送门 文章目录题意:思考题意: 思考 考虑将每个条件转换成生成函数: (1)f1(x)1x2...11−x2(1)f_1(x)1x^2...\frac{1}{1-x^2}(1)f1​(x)1x2...1−x21​ (2)f2(x)1x1−x21−x(2)f_2(x)1x\frac{1-x^2}{1-x}(2)f2​(x)1x1−x1−x2​ (3)f3(x)1x…

「Azure」数据分析师有理由爱Azure之一-Azure能带给我们什么?

前面我们以相同的方式从数据分析师的视角介绍了Sqlserver,本系列亦同样地延续下去,同样是挖掘数据分析师值得使用的Azure云平台的功能。因云平台功能太多,笔者所接触的面也十分有限,有更专业的读者欢迎补充。对云服务的一点点小认…

POJ - 3734 Blocks 指数生成函数

传送门 文章目录题意:思路:题意: 一段长度为nnn的序列,你有红黄蓝绿四种颜色的砖块,问你铺砖的方案数,每块砖长度为111,其中红黄颜色个数必须为偶数。 思路: 考虑多重集合排列数&…

理想化的DevOps团队里只需要有Dev就够了?

(图片来源于网络)几天前,本公众号发布的一篇译文列举了9种DevOps团队结构适用类型与7种反型(点击查看原文)。文章转发到朋友圈之后,很多DevOps同行留言(吐槽)了自己团队的现状&#…

hdu 1521 排列组合 多重集排列 + 指数生成函数

传送门 文章目录题意:思路:题意: 思路: 显然是多重集排列数,我们考虑构造指数生成函数,让后模拟一下多项式乘法即可啦。 由于存在分数,所以直接用doubledoubledouble即可。 //#pragma GCC opt…