shardingsphere的学习（一）：shardingsphere的基本概念和水平分表例子

简介

关于shardingsphere的基本相关概念的学习和使用shardingjdbc进行水平分表的例子

shardingsphere

是一套开源的分布式关系型数据库中间件解决方案，由sharding-jdbc，sharding-proxy，sharding-sidecar三个项目组成。
定位为关系型数据库中间件，合理在分布式环境下使用关系型数据库操作。

分库分表

随着时间和业务的发展，表中的数据会越来越多，这时，对数据库表进行crud操作的时候，会有性能问题。
解决方案：

  • 从硬件上
  • 分库分表

分库分表，主要分为：垂直分库，水平分库，垂直分表，水平分表

垂直分表

将一张表按照字段分成多个表，每个表存储其中的一部分字段。
一般按照字段的访问频率高低来区分

  • 将热门字段，冷门字段分别存到不同的表中
  • 把text，blob等大字段拆分出来放到附表中
  • 经常组合查询的列放到一张表中

好处：提高热门数据的操作效率上，避免io的争抢。

垂直分库

按照业务将表进行分类，存储到不同的数据库中，每个库可以放到不同的服务器上。
好处：

  • 降低业务层面的耦合，使得业务更清晰
  • 方便对数据进行分级管理，维护，监控和扩展等
  • 高并发场景下，可以提升io，数据库连接数，降低单机硬件资源的瓶颈

水平水库

把一个表的数据按照一定的规则拆分到不同的数据库中，每个库可以放到不同的服务器上。拆分出来的多张表结构是一样的。
好处：

  • 解决了单库大数据，高并发的性能瓶颈
  • 提高了系统的稳定性和可用性。一个库出问题，还有部分可用。
  • io冲突减少，锁定减少

水平分表

如果水平分库太多，运维成本会增加，就可以水平分表。
水平分表：把一个表的数据按一定规则拆到多个表中。
好处：

  • 解决单一表数据量过大而导致的性能问题
  • 避免io争抢并减少锁表的概率

最佳实践

系统设计阶段就根据业务耦合松紧来确定垂直分库，垂直分表方案，在数据量不是很大的时候，首先考虑缓存，读写分离，索引等方案。当数据量很大而且持续增长的时候，考虑水平分库水平分表方案。

分库分表问题

  • 跨节点连接查询问题（分页，排序）
  • 多数据源管理问题

shardingjdbc

开源的分布式数据库中间件，是轻量级的Java框架，在jdbc层提供额外的服务，使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的jdbc驱动，完全兼容jdbc和各种orm框架。

核心功能

  • 数据分片
  • 读写分离

shardingjdbc做的不是分库分表，而是让我们更简单地去操作分库分表里的数据。
通过shardingjdbc可以透明的访问已经分库分表，读写分离的多个数据源，而不用关心数据源的数量以及数据如何分布。
程序员不用知道多少张表，多少个数据源，通过shardingjdbc就像操作单个数据源单个表一样去操作。

性能

对于单库单表来说，shardingjdbc的性能比jdbc低一点点，不超7%。
对于多库多表来说，shardingjdbc的性能比jdbc高2倍左右。

水平分表例子

在一个数据库中，有两张同样结构的表，插入数据的时候，偶数插入course_1表，奇数插入course_2表。

创建数据库和表

创建数据库
在这里插入图片描述
创建表一course_1

CREATE TABLE `course_1` (`cid` bigint NOT NULL,`cname` varchar(50) NOT NULL,`user_id` bigint NOT NULL,`cstatus` varchar(10) NOT NULL,PRIMARY KEY (`cid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

创建表二course_2

CREATE TABLE `course_2` (`cid` bigint NOT NULL,`cname` varchar(50) NOT NULL,`user_id` bigint NOT NULL,`cstatus` varchar(10) NOT NULL,PRIMARY KEY (`cid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
创建springboot项目

在这里插入图片描述

pom.xml文件：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.2.1.RELEASE</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>com.atguigu</groupId><artifactId>shardingjdbcdemo</artifactId><version>0.0.1-SNAPSHOT</version><name>shardingjdbcdemo</name><description>Demo project for Spring Boot</description><properties><java.version>1.8</java.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId></dependency><dependency><groupId>com.alibaba</groupId><artifactId>druid-spring-boot-starter</artifactId><version>1.1.20</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId></dependency><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>4.0.0-RC1</version></dependency><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.0.5</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build>
</project>
实体类course
package com.christ.entity;
import lombok.Data;
@Data
public class course {private Long cid;private String cname;private Long userId;private String cstatus;
}
mapper接口CourseMapper
package com.christ.mapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.christ.entity.course;
import org.springframework.stereotype.Repository;
@Repository
public interface CourseMapper extends BaseMapper<course> {
}
启动类DemoApplication
package com.christ;
import com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure;
import org.apache.ibatis.annotations.Mapper;
import org.mybatis.spring.annotation.MapperScan;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
@MapperScan("com.christ.mapper")
public class DemoApplication {public static void main(String[] args) {SpringApplication.run(DemoApplication.class, args);}
}
配置文件application.properties
# 配置数据源，给数据源起名称
spring.shardingsphere.datasource.names=m1#让后加载的覆盖先加载的。
spring.main.allow-bean-definition-overriding=true#配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.m1.url=jdbc:mysql://localhost:3306/course_db?serverTimezone=GMT%2B8
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=123456#指定course表分布情况，配置表在哪个数据库里面，表名称都是什么  m1.course_1 , m1.course_2
spring.shardingsphere.sharding.tables.course.actual-data-nodes=m1.course_$->{1..2}# 指定course表里面主键cid 生成策略  SNOWFLAKE（雪花算法）
spring.shardingsphere.sharding.tables.course.key-generator.column=cid
spring.shardingsphere.sharding.tables.course.key-generator.type=SNOWFLAKE# 指定分片策略  约定cid值偶数添加到course_1表，如果cid是奇数添加到course_2表
spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}# 打开sql输出日志
spring.shardingsphere.props.sql.show=true

解析：
在这里插入图片描述
course 是实际的数据库表名。
m1.course_$->{1…2} 是该表在数据库中的实际数据节点，也就是物理分片。
这种配置是用来描述数据库分片的策略，即将逻辑表 course 在物理上分散存储在不同的数据库节点中，每个节点对应一个具体的物理表。
所以，course 表不是虚拟表，而是一个真实存在的逻辑表，只是它的数据在物理上被分片存储在多个数据库节点中。

测试类
package com.christ;import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.christ.entity.course;
import com.christ.mapper.CourseMapper;
import org.junit.jupiter.api.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
import javax.annotation.Resource;@RunWith(SpringRunner.class)
@SpringBootTest
class DemoApplicationTests {
@Resource
private CourseMapper courseMapper;@Testpublic void add() {course c = new course();c.setCname("christ");c.setUserId(1L);c.setCstatus("good");courseMapper.insert(c);}@Test
public void select(){QueryWrapper<course> queryWrapper = new QueryWrapper<>();queryWrapper.eq("cid",1024200364422856705L);course c = courseMapper.selectOne(queryWrapper);System.out.println(c);}
}
查看数据库

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/51214.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

日期类的实现(C++实现)

日期类的实现(C++实现)

完整呈现 Date.h #include <iostream> using namespace std; //日期类 class Date { public:int GetMonthDays(int year, int month) const;//构造函数Date(int year 0, int month 1, int day 1);//拷贝构造Date(const Date& d);//打印void Print();//析构函数~…
阅读更多...
Redis与MySQL数据一致性问题的策略模式及解决方案

Redis与MySQL数据一致性问题的策略模式及解决方案

目录 一、策略模式 1、旁路缓存模式&#xff08;Cache Aside Pattern&#xff09; 2、读写穿透&#xff08;Read-Through/Write-Through&#xff09; 3、异步缓存写入&#xff08;Write Behind&#xff09; 二、一致性解决方案 1、缓存延迟双删 2、删除重试机制 3、读取…
阅读更多...
【python】sklearn基础教程及示例

【python】sklearn基础教程及示例

【python】sklearn基础教程及示例 Scikit-learn&#xff08;简称sklearn&#xff09;是一个非常流行的Python机器学习库&#xff0c;提供了许多常用的机器学习算法和工具。以下是一个基础教程的概述&#xff1a; 1. 安装scikit-learn 首先&#xff0c;确保你已经安装了Python和…
阅读更多...
Unity 资源 之 Pop It 3D 解压玩具与双人AI游戏 Unity 资源包分享

Unity 资源 之 Pop It 3D 解压玩具与双人AI游戏 Unity 资源包分享

精彩呈现&#xff1a;Pop It 3D 解压玩具与双人AI游戏 Unity 资源包分享 一、Pop It 3D 解压玩具的魅力二、双人游戏的互动乐趣三、Unity 游戏资源包的优势四、如何获取资源包 亲爱的游戏爱好者们&#xff0c;今天为大家带来一款令人兴奋的游戏资源——Pop It 3D 解压玩具双人带…
阅读更多...
数字陷波器的设计和仿真(Matlab+C)

数字陷波器的设计和仿真(Matlab+C)

目录 一、数字陷波器的模型 二、Matlab仿真 1. 示例1 2. 示例2 三、C语言仿真 1. 由系统函数计算差分方程 2. 示例代码 一、数字陷波器的模型 二、Matlab仿真 1. 示例1 clear clc f0=100;%滤掉的100Hz fs=1000;%大于两倍的信号最高频率 r=0.9; w0=2*pi*f0/fs;%转换到…
阅读更多...
[图解]《分析模式》漫谈19-Midjourney、Sora

[图解]《分析模式》漫谈19-Midjourney、Sora

1 00:00:02,360 --> 00:00:03,360 今天的漫谈 2 00:00:03,370 --> 00:00:04,560 我们来说一下 3 00:00:04,570 --> 00:00:08,720 人工智能&#xff0c;还是前言 4 00:00:08,890 --> 00:00:11,840 这里有一句话 Kent Beck 5 00:00:12,630 --> 00:00:13,750 W…
阅读更多...
Spring Boot配置文件的语法规则

Spring Boot配置文件的语法规则

主要介绍两种配置文件的语法和格式&#xff0c;properties和yml 目录 1.配置文件的作用 2.创建配置文件 3.properties语法 4.yml语法 5.配置文件格式 1.配置文件的作用 对于配置文件&#xff0c;也有独立的文件夹去存放&#xff0c;主要用来存放一些需要经过变动的数据&a…
阅读更多...
python绘制方波信号

python绘制方波信号

python绘制方波信号 1、效果 2、导入库 pip install numpy pip install matplotlib3、实现代码 # -*- coding: utf-8 -*-""" @contact: 微信 1257309054 @file: test.py @time: 2024/7/28 14:48 @author: LDC """ import numpy as np import …
阅读更多...
IOS-04 Swift 中数组、集合、字典、区间、元组和可选类型

IOS-04 Swift 中数组、集合、字典、区间、元组和可选类型

在 Swift 编程语言中&#xff0c;数据结构和类型的合理运用对于高效编程至关重要。接下来&#xff0c;我们将深入探讨数组、集合、字典、区间、元组和可选类型的相关知识。 一、数组&#xff08;Array&#xff09; &#xff08;一&#xff09;元素定义 可以通过多种方式定义数…
阅读更多...
Hello 算法：动画图解、一键运行的数据结构与算法教程

Hello 算法：动画图解、一键运行的数据结构与算法教程

Hello 算法 《Hello 算法》是一份开源、免费的数据结构与算法入门教程&#xff0c;特别适合新手。全书采用动画图解&#xff0c;内容清晰易懂&#xff0c;学习曲线平滑&#xff0c;引导初学者探索数据结构与算法的知识地图。源代码可以一键运行&#xff0c;帮助读者通过练习提…
阅读更多...
C#中的同步编程和异步编程

C#中的同步编程和异步编程

1. 简单描述一下同步编程和异步编程 同步编程&#xff1a;按照代码的顺序一行一行执行&#xff0c;如果某个操作需要等待&#xff08;比如读取文件、网络请求、数据库操作等&#xff09;&#xff0c;那么当前的线程就会停下来&#xff0c;一直到这个操作完成了之后&#xff0c…
阅读更多...
git学习（一）

git学习（一）

一、代码仓库的初始化 1、先在本地操作&#xff0c;不涉及到远程服务器&#xff0c;创建目录mkdir git demo 想要本地创建的目录成为一个远程仓库就需要初始化git init git init 后会发生什么&#xff1f; 2、watch -n 1 -d tind每隔1s打印当前文件目录并且刷新 左边命令 wa…
阅读更多...
搞DDR，你是可以看看我的这篇笔记（三）

搞DDR，你是可以看看我的这篇笔记（三）

关于DDR PHY这个部分，是数模混合器件，工作涉及到了很多信号完整性，眼图，模拟等相关的东西我就没讲了。因为确实不太熟悉，只能站在架构、功能、使用上去聊聊。 上一篇我们看了这个图片，简化就是下面这个样子： 其实这个也不太合适~~~ 这样舒服多了，一般DDRC和DDRPHTY都会…
阅读更多...
被工信部认可的开源软件治理解决方案

被工信部认可的开源软件治理解决方案

近日&#xff0c;工信部网络安全产业发展中心正式发布了“2023年信息技术应用创新解决方案”&#xff0c;开源网安凭借“基于SCA技术开源软件治理解决方案”顺利入选&#xff0c;成为经工信部认可的优秀解决方案&#xff0c;这是开源网安连续两届荣获此荣誉。 工业和信息化部网…
阅读更多...
17.延迟队列

17.延迟队列

介绍 延迟队列&#xff0c;队列内部是有序的&#xff0c;延迟队列中的元素是希望在指定时间到了以后或之前取出和处理。 死信队列中&#xff0c;消息TTL过期的情况其实就是延迟队列。 使用场景 1.订单在十分钟内未支付则自动取消。 2.新创建的店铺&#xff0c;如果十天内没…
阅读更多...
【Redis系列】RedisTemplate的使用与注意事项

【Redis系列】RedisTemplate的使用与注意事项

目录 一.什么是RedisTemplate 二.如何使用RedisTemplate RedisTemplate的API 序列化 三.StringRedisTemplate 一.什么是RedisTemplate RedisTemplate 是一个工具类&#xff0c;由 Spring 官方提供的方便操作 Redis 数据库的一个工具类&#xff0c;来源于 org.springframe…
阅读更多...
【LLM】-10-部署llama-3-chinese-8b-instruct-v3 大模型

【LLM】-10-部署llama-3-chinese-8b-instruct-v3 大模型

目录 1、模型下载 2、下载项目代码 3、启动模型 4、模型调用 4.1、completion接口 4.2、聊天&#xff08;chat completion&#xff09; 4.3、多轮对话 4.4、文本嵌入向量 5、Java代码实现调用 由于在【LLM】-09-搭建问答系统-对输入Prompt检查-CSDN博客 关于提示词注入…
阅读更多...
涉密移动载体智能柜管控系统DW-S404|国产自主可控

涉密移动载体智能柜管控系统DW-S404|国产自主可控

东识移动载体管控系统载体柜系统采用RFID识别技术&#xff0c;结合智能载体管理软件&#xff0c;实现了文件载体权限管理、定位管理、智能存取、智能盘点、在线监控等功能&#xff0c;同时对文件载体进行规范化、智能化、自动化管理。工作人员通过授权进行文件、载体、卷宗等存…
阅读更多...
C# 简单的单元测试

C# 简单的单元测试

文章目录 前言参考文档新建控制台项目新建测试项目添加引用添加测试方法测试结果(有错误)测试结果&#xff0c;通过正规的方法抛出异常 总结 前言 听说复杂的项目最好都要单元测试一下。我这里也试试单元测试这个功能。到时候调试起来也方便。 参考文档 C# 单元测试&#xf…
阅读更多...
这一文，关于 Java 泛型的点点滴滴 一（泛型基础、类型擦除）

这一文，关于 Java 泛型的点点滴滴 一（泛型基础、类型擦除）

作为一个 Java 程序员&#xff0c;用到泛型最多的&#xff0c;我估计应该就是这一行代码&#xff1a; List<String> list new ArrayList<>();这也是所有 Java 程序员的泛型之路开始的地方啊。 不过本文讲泛型&#xff0c;先不从这里开始讲&#xff0c;而是再往前…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023