https://www.bilibili.com/video/BV1Kr4y1i7ru/?p=163
https://blog.csdn.net/qq_47959003/article/details/126058710
随着互联网及移动互联网的发展,应用系统的数据量也是成指数式增长,若采用单数据库进行数据存储,存在以下性能瓶颈:
1、IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘O,效率较低。请求数据太多,带宽不够,网络O瓶颈。
2、CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源,请求数太多,CPU出现瓶颈。
分库分表的中心思想都是将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。
分库分表
垂直分库:以表为依据,根据业务将不同表拆分到不同库中。
特点:
1.每个库的表结构都不一样。
2.每个库的数据也不一样。
3.所有库的并集是全量数据。
垂直分表:以字段为依据,根据字段属性将不同字段拆分到不同表中。
特点:
1.每个表的结构都不一样。
2.每个表的数据也不一样,一般通过一列(主键/外键)关联。
3.所有表的并集是全量数据。
水平分库:以字段为依据,按照一定策略,将一个库的数据拆分到多个库中。
特点:
1.每个库的表结构都一样。
2.每个库的数据都不一样。
3.所有库的并集是全量数据。
水平分表:以字段为依据,按照一定策略,将一表的数据拆分到多个表中。
特点:
1.每个表的表结构都一样。
2.每个表的数据都不一样。
3.所有表的并集是全量数据。
实现技术
可以根据主键id不同,访问不同的服务器
shardingJDBC:基于AOP原理,在应用程序中对本地执行的SQL进行拦截,解析、改写、路由处理。需要自行编码配置实现,只支持java语言,性能较高。
MyCat:数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言,性能不及前者。
MyCat
MyCat是开源的、话跃的,基于java语言编写的Mysql数据库中间件。可以像使用mysql一样来使用mycat,对于开发人员来说根本感觉不到mycat的存在。(伪装协议)
http://www.mycat.org.cn/
目录结构:
bin:存放可执行文件,用于启动停止mycat;
conf:存放mycat的配置文件;
lib:存放mycat的项目依赖包;
logs:存放mycat的日志文件
mycat中不存放数据,只存放逻辑上的分片和其他一些聚合操作