程序员修神之路--做好分库分表其实很难之一

640?wx_fmt=gif点击上方“蓝字”带你去看小星星

菜哥,领导让我开发新系统了

640?wx_fmt=png640?wx_fmt=jpeg

这么说领导对你还是挺信任的呀~

640?wx_fmt=png640?wx_fmt=jpeg

必须的,为了设计好这个新系统,数据库设计我花了好多心思呢

640?wx_fmt=png640?wx_fmt=jpeg

做一个系统我觉得不应该从数据库入手,应该从设计业务模型开始,先不说这个,说说你的数据库设计的优势

640?wx_fmt=png640?wx_fmt=jpeg

为了高性能我首先设计了分库 分表策略,为以后打下基础

640?wx_fmt=png640?wx_fmt=jpeg

那你的数据量将来会很大吗?分库分表其实涉及到很多难题,你了解过吗?

640?wx_fmt=png640?wx_fmt=jpeg

我觉得分库分表很容易呀

640?wx_fmt=png640?wx_fmt=jpeg

是吗?

640?wx_fmt=png640?wx_fmt=jpeg640?wx_fmt=png是否需要分640?wx_fmt=gif

说到数据库分库分表,不能一味的追求,我们要明白为什么要进行分库分表才是最终目的。现在网上一些人鼓吹分库分表如何应对了多大数据,却不知针对很多人的业务来说,分库分表策略也许并非是银弹,而是令人焦虑的焦油坑。

分库分表是业务发展到一定阶段,数据积累到一定量级而衍生出来的解决方案。当DB的数据量级到达一个阶段,写入和读取的速度会出现瓶颈,即使是有索引,索引也会变的很大,而且数据库的物理文件大的会使备份和恢复等操作变的很困难。这个时候由于DB的瓶颈已经严重危害到了业务,最有效的解决方案莫过于DB的分库分表了。


有的leader甚至架构师会在业务初期以自己的主观意愿就进行分库分表,会为以后业务高速发展做铺垫。但是这里我要表达我几个观点:

1. 如果当前这个业务并非公司的核心业务,而且在业务是否能存活的前提下,初级的设计不要这么复杂。如果每个业务我们都按淘宝那样的规模做系统架构设计,将来不但会害死业务,更会让程序员死的更惨,背上黑锅的数量会更多。

2. 单台数据库的能力并非想象中那么脆弱。就算是mysql单表数据量大部分场景下也在百万级别(当然这和存储的具体数据格式有关),sqlserver更是不在话下,我司用的sqlserver,单表千万级别数据的大有所在,亿级的也有几个,Oracle更是不用多说。

3. 如果业务周期比较短,或者人力物力不足的情况下,盲目的在初期就进行分库分表设计,更是给自己下了绩效背D的套,

4. 系统的设计初期和公司的基础数据有直接关系,比如微信这样的数据规模,稍微一个小系统就有可能是千万甚至上亿的数据级别,但是多数初创公司有多少能有这样的级别呢?我这里喷一句:有的创业公司号称从XX大公司重金挖来的CTO,技术总监等等高人,尤其是这些带着金色光环的人在创业初期给开发人员埋雷,一个创业公司搞一套XX分布式,XX设计,殊不知,在当前的公司环境下这些其实没有必要,给公司带来的更多是苦不堪言。

640?wx_fmt=png

一个好的系统设计者会在开始设计之初,充分考虑到各方面的综合因素来综合考虑。

640?wx_fmt=png分   库

根据业务划分

640?wx_fmt=gif

说到分库,菜菜这里想多啰嗦一句:推荐大家根据业务来进行划分,我一直在过去的文章中强调,一个系统的好坏,业务的边界划分起到举足轻重的作用。业务按照规则划分好边界,每个业务对应的数据库自然而然就诞生了,不要站在数据库的层面上去给业务分库。有的leader会有这样的行为:某个表的数据量太大,分配到单独的一个库,结果导致的结果就是很多SQL语句必须跨库Join。


具体的业务怎么划分呢?这个规则我不敢说,每个公司的业务形态不同,划分的维度就会不同。举一个简单的例子:一个典型的电商系统根据业务可划分为商品,订单,这也是许多公司的典型业务划分,但是我司根据自己的业务规则,划分为商品,订单,支付。因为支付系统在我司是一个独立的业务,不但包含了订单的支付,还包含了很多其他的支付场景。根据业务上的划分,DB的层面就出现了商品DB,订单DB和支付DB。

640?wx_fmt=png

同一业务横向划分

640?wx_fmt=gif

除了根据业务垂直切分的策略之外,还有另外一种常用的分库方案,如果某个具体业务数据量比较大,可以把这业务的数据库根据某种规则来进行横向切分。比如用户信息的业务,当用户量达到一定量级,有些公司会把用户信息拆分到多个数据库,说到这里,有的同学会问,这和拆分到多个表有什么区别呢?如果把用户信息横切到同一个数据库的多个表,如果这些表位于一个物理磁盘上,对于提高这个业务的写入和读取IO最大值并没有什么用处,但是如果分配到多个服务器上,意味着这个业务整体的最大IO得到了提升,在一定程度上要比拆表效果要好,当然如果用到了表分区,每个分区散落在不同的物理磁盘上,也不一定比分库方式差。

把某个业务的DB按照规则横向切分之后,当然也会引入新的问题,下边会介绍。切分的规则在很多情况下用的最多的就是哈希取余的方式了,有时间咱们在讨论。

640?wx_fmt=jpeg

分库引入复杂性

640?wx_fmt=gif

我在上文提到过,分库分表并非是银弹,任何一种解决方案能解决一个问题,但是有可能会引入其他问题,世界是公平的,计算机世界亦如此。那分库会引入哪些问题呢?

1. 在执行了分库之后,难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上,这时,表的关联操作将受到限制,我们多数情况下无法join位于不同分库的表(因为多数公司都明令禁止跨库sql),结果原本一次查询能够完成的业务,可能需要多次查询才能完成。

2. 原来在单体DB环境下,可以用DB的事务来保证一些操作的原子操作,但是在分散到多个数据库的情况下,统一管理这些操作变的困难。虽然一些大厂提供的也有跨库的事务解决方案,但是性能上实在是差强人意,所以在很多情况下并不实用。比如上边提到的商品库存支付,在单体应用的情况下,三个业务在同一个数据库,当发生支付业务,更改商品库存和更新订单状态这两个操作可以利用数据库提供的事物来完成,而且性能在可接受范围之内,如果这三个业务分布在不同的数据库,有几率会发生只执行其中一个操作的情况发生,其实这也是分布式事物要解决的问题。在很多情况下,分布式事物是无法避免的,根据业务综合情况适当采用分布式事物也是一种有效的解决方案,最坏的情况下,可能需要人工介入了。

3. 分库对于DBA来说意味着工作量的成倍增加,原来只需要管理一个DB,现在却要管理N个DB,而且每个DB都需要备份,监控,甚至做高可用,扩展等工作。原来可能只需要一个DBA管理人员,分库之后可能会需要两个甚至三个,导致了公司在人力投入上的加大。

640?wx_fmt=gif程序员过关斩将--你为什么还在用存储过程?程序员过关斩将--小小的分页引发的加班血案●程序员修神之路--问世间异步为何物?●程序员修神之路--提高网站的吞吐量?●程序员修神之路--?分布式高并发下Actor模型如此优秀?●程序员过关斩将--论商品促销代码的优雅性●程序员过关斩将--你的面向接口编程一定对吗?●程序员修神之路--高并发下为什么更喜欢进程内缓存●程序员修神之路--高并发优雅的做限流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/315045.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【CF1311E】Construct the Binary Tree【增量构造】【复杂度证明】

题意:给定nnn和ddd,构造或判断无法构造一棵二叉树使得所有点的深度(定义为到根距离)之和为ddd。 n,d≤5000n,d\leq 5000n,d≤5000 显然可以算出有解的ddd的下界和上界,分别是完全二叉树和链的情况。下面会证明在这个范…

Office 365开发者的前端必备课程

这篇文章其实不仅仅是写给Office 365开发者的,但对于广大的Office 365开发者来说确实相当重要的。这里提到的Office 365开发者,包括了Office Add-ins,SharePoint Add-ins,Microsoft Graph,Microsoft Teams的开发者。我…

【CF1338C】Perfect Triples【位运算】【构造】

传送门 题意:有一序列SSS由下列方式生成: 找到字典序最小的正整数(a,b,c)(a,b,c)(a,b,c),满足a,b,ca,b,ca,b,c不在SSS中且a⊕b⊕c0a\oplus b\oplus c0a⊕b⊕c0,其中⊕\oplus⊕为异或将a,b,ca,b,ca,b,c加入SSS重复第一步 TTT组数据&#xff…

.NET开发框架(五)-IIS上部署ASP.NET Core项目教程

在之前教程中,我们分享了框架的功能与视频演示介绍(文尾底部提供往期教程快捷链接)系列教程:从初学者到架构师的一步步蜕变本篇经验将和大家介绍如何在IIS上部署ASP.NET Core项目,希望对初学.NET CORE的童靴入门有所帮助!1、打开V…

P4146 序列终结者 平衡树 + lazy维护

传送门 文章目录题意:思路:题意: 思路: 平衡树裸题,直接维护俩lazylazylazy就行了。 需要注意的是,只有儿子节点存在的时候才能更新,不然更新到000号节点之后,给000号点加上了奇怪的…

.NET开发框架(四)-服务器IIS实践教程

前三篇教程中,我们分享了框架的功能与视频演示介绍(文尾底部提供往期教程快捷链接),今天开始我们进入实践教程,从0开始教学,让你从新手到架构师之兑变,目前已经重置了一台服务器,从安装与配置各组件开始学习…

【十二省联考2019】异或粽子【01Trie】【堆】【前k大套路】

题意&#xff1a;给定长度为nnn的序列aaa&#xff0c;求前kkk大的区间异或和之和。 n≤5105,k≤min⁡(n(n−1)2,2105),ai<232n\leq 5\times 10^5,k\leq \min(\frac{n(n-1)}2,2\times10^5),a_i<2^{32}n≤5105,k≤min(2n(n−1)​,2105),ai​<232 原来省选题这么裸&…

.NET Core IdentityServer4实战 第六章-Consent授权页

在identityServer4中登陆页面只要是成功了&#xff0c;就会注册一个Cookie在服务器资源上&#xff0c;像现在大部分的网站第三方授权&#xff0c;都是经过一个页面&#xff0c;然后选需要的功能&#xff0c;IdentityServer4也给我们提供了&#xff0c;只要你登陆成功,就会跳转到…

Codeforces Round #674 (Div. 3) F. Number of Subsequences 简单计数dp

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给你一个长度为nnn的串&#xff0c;包含a,b,c,?a,b,c,?a,b,c,?四种字符&#xff0c;其中???可以变成为a,b,ca,b,ca,b,c的任意一种&#xff0c;让你求abcabcabc子序列出现的次数。 思路&#xff1a; …

【十二省联考】春节十二响【贪心】【堆】【启发式合并】

传送门 题意&#xff1a;给一棵nnn个点带点权的树&#xff0c;要求把点分成若干部分&#xff0c;有祖孙关系的点不能在同一部分。求每个部分最大值 的和 的最小值。 n≤2105n \leq 2\times 10^5n≤2105 由链的部分得到启发&#xff0c;每个点用一个堆来维护&#xff0c;合并两…

GitHub的CI实践(xUnit / OpenCover /Appveyor / Coveralls.net)

最近利用业余时间实现.ner core 版本的 casbin &#xff0c;即 Casbin.NET。之前的CI都使用的是公司搭建的jenkins和gitlab-runner&#xff0c;对开源社区的工具链并不是很熟悉&#xff0c;在casbin的原作者(hsluoyz )的“要求”下&#xff0c;只能被迫在项目的README.md加入下…

P4847 银河英雄传说V2 非旋treap

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 思路&#xff1a; 让我们分析一下题目需要实现什么操作&#xff1a; (1)(1)(1)将某个序列放到某个的后面&#xff0c;也就是合并两个序列。 (2)(2)(2)将一个序列从某处断开。 (3)(3)(3)查询某个序列的一段和…

【NOI online 2】游戏【二项式反演】【树上背包】

题意&#xff1a;一棵n2mn2mn2m个点的树&#xff0c;mmm个白点和mmm个黑点。对于k∈[0,n]k\in [0,n]k∈[0,n]&#xff0c;求出 把点黑白两两配对使得恰好有kkk对点有祖孙关系 的方案数 模998244353998244353998244353。 n≤5000n \leq 5000n≤5000 见到恰好考虑容斥&#xff0…

小白开学Asp.Net Core 《五》

小白开学Asp.Net Core《五》—— 使用.Net Core MVC Filter一、简介今天在项目&#xff08;https://github.com/AjuPrince/Aju.Carefree&#xff09;做登陆权限时&#xff0c;用到了Filter&#xff0c;现将Filer的使用做以下记录。二、Filter 简介Filter俗称过滤器&#xff0c;…

P5217 贫穷 平衡树

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 思路&#xff1a; 本来是不想写数据结构了&#xff0c;因为明天打蓝桥了&#xff0c;想放松一下&#xff0c;但是看到这个题感觉写起来挺简单的&#xff0c;就试了试&#xff0c;结果… 首先看一下他的操作…

高性能微服务网关.NETCore客户端Kong.Net开源发布

前言项目地址&#xff1a;https://github.com/lianggx/Kong.Net你的支持使我们更加强大&#xff0c;请单击 star 让更多的 .NETCore 认识它。拥抱开源的脚步&#xff0c;我们从来都是一直在路上&#xff1b;.NETCore作为后起之秀&#xff0c;带给我们太多的惊喜和感动&#xff…

【CF923E】Perpetual Subtraction【生成函数】【积分推式子】【NTT卷积】

题意&#xff1a;有一个整数x∈[0,n]x\in[0,n]x∈[0,n]&#xff0c;取iii的概率为pip_ipi​。执行mmm次操作&#xff0c;每次把xxx等概率变成[0,x][0,x][0,x]中的一个整数&#xff0c;求操作完后等于每个数的概率。模998244353998244353998244353。 n≤105,m≤1018n\leq 10^5,m…

使用Jenkins部署.Net Core遇到的几个坑

一、相关环境和版本搞过CI/CD的同学一定吃过不少苦头&#xff0c;或者说遇到不少坑&#xff0c;但是对自动化的执着住挡不了前进的步伐&#xff0c;如果你缺少了运维这一块知识&#xff0c;那么你的流水线总是不那么完美&#xff0c;本文记录的是自己躺过的坑&#xff0c;希望对…

Deltix Round, Spring 2021 E. Crypto Lights 组合数学 + 推公式

传送门 文章目录题意&#xff1a;思路&#xff1a;题意&#xff1a; 给你nnn个灯&#xff0c;每次可以打开一个灯&#xff0c;当连续的kkk个灯有至少两个灯开着的时候停止&#xff0c;问最终期望能打开多少灯。 思路&#xff1a; 由于不想打latexlatexlatex&#xff0c;所以…

【洛谷P5385】须臾幻境/【BZOJ3514】Codechef MARCH14 GERALD07加强版【LCT】【主席树】

题意&#xff1a;有nnn个点mmm条边&#xff0c;qqq次询问连接区间[L,R][L,R][L,R]中的边后的连通块个数。强制在线。 n,m,q≤2105n,m,q\leq 2\times10^5n,m,q≤2105 显然连通块个数n−任意一个生成森林的边数连通块个数n-任意一个生成森林的边数连通块个数n−任意一个生成森林…