深度解析ShardingJDBC:Java开发者的分库分表利器

一、ShardingSphere

        ShardingSphere 是一款起源于当当网内部的应用框架。2015年在当当网内部诞 生,最初就叫ShardingJDBC 2016年的时候,由其中一个主要的开发人员张亮, 带入到京东数科,组件团队继续开发。在国内历经了当当网、电信翼支付、京东数 科等多家大型互联网企业的考验,在2017年开始开源。并逐渐由原本只关注于关系 型数据库增强工具的ShardingJDBC 升级成为一整套以数据分片为基础的数据生态  圈,更名为ShardingSphere 到2020年4月,已经成为了Apache软件基金会的顶级项目。

        ShardingSphere包含三个重要的产品,ShardingJDBC、ShardingProxy和ShardingSidecar其中sidecar是针对service mesh定位的一个分库分表插件,目 前在规划中。而我们今天学习的重点是ShardingSphere JDBC Proxy这两个组  件。

        其中, ShardingJDBC  是用来做客户端分库分表的产品,而ShardingProxy    来做服务端分库分表的产品。这两者定位有什么区别呢?我们看下官方资料中给出的两个重要的图:

        shardingJDBC 定位为轻量级 Java 框架,在 Java JDBC 层提供的额外服务。它使用客户端直连数据库,以jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM  框架。

ShardingProxy

        ShardingProxy 定位为透明化的数据库代理端,提供封装了数据库二进制协议的服 务端版本,用于完成对异构语言的支持。目前提供 MySQL  PostgreSQL  版本,它可以使用任何兼容 MySQL/PostgreSQL   协议的访问客户端。

        那这两种方式有什么区别呢?

        很显然, ShardingJDBC  只是客户端的一个工具包,可以理解为一个特殊的JDBC驱动包,所有分库分表逻辑均由业务方自己控制,所以他的功能相对灵活,支持的 数据库也非常多,但是对业务侵入大,需要业务方自己定制所有的分库分表逻辑。  ShardingProxy 是一个独立部署的服务,对业务方无侵入,业务方可以像用一个 普通的MySQL  服务一样进行数据交互,基本上感觉不到后端分库分表逻辑的存在,

        但是这也意味着功能会比较固定,能够支持的数据库也比较少。这两者各有优劣。

二、ShardingJDBC实战

        shardingjdbc的核心功能是数据分片和读写分离,通过ShardingJDBC,应用可以  透明的使用JDBC访问已经分库分表、读写分离的多个数据源,而不用关心数据源的数量以及数据如何分布。

1、核心概念:

  • 逻辑表:水平拆分的数据库的相同逻辑和数据结构表的总称
  • 真实表:在分片的数据库中真实存在的物理表。
  • 数据节点:数据分片的最小单元。由数据源名称和数据表组成
  • 绑定表:分片规则一致的主表和子表。
  • 广播表:也叫公共表,指素有的分片数据源中都存在的表,表结构和表中的数据在每个数据库中都完全一致。例如字典表。
  • 分片键:用于分片的数据库字段,是将数据库(表)进行水平拆分的关键字段。SQL中若没有分片字段,将会执行全路由,性能会很差。
  • 分片算法:通过分片算法将数据进行分片,支持通过=、BETWEEN和IN分片。分片算法需要由应用开发者自行实现,可实现的灵活度非常高。
  • 分片策略:真正用于进行分片操作的是分片键+分片算法,也就是分片策略。在 ShardingJDBC中一般采用基于Groovy表达式的inline分片策略,通过一个包含 分片键的算法表达式来制定分片策略,如t_user_$->{u_id%8}标识根据u_id模   8,分成8张表,表名称为t_user_0到t_user_7。
  • 2、测试项目介绍

    •         测试项目参见配套的ShardingDemo项。首先我们对测试项目的结构做下简单的梳理:

    • 注:1、引入MyBatisPlus依赖,简化JDBC操作,这样我们就不需要在代
      码中写SQL语句了。
      2、entity中的实体对象就对应数据库中的表结构。而mapper 中的接口 则对应JDBC操作。
      3、所有操作均使用JUnit的测试案例执行。后续所有测试操作都会配合 application.properties 中的配置以及JUnit测试案例进行。
      4、关于ShardingSphere版本,由于目前最新的5.0版本还在孵化当中, 所以我们使用已发布的4.1.1版本来进行学习。

    • 3、快速实战

    • 我们先运行一个简单的实例,来看下ShardingJDBC是如何工作的。

      在application.properties配置文件中写入application01.properties文件的内容:

    • #垂直分表策略
      # 配置真实数据源
      spring.shardingsphere.datasource.names=m1# 配置第 1 个数据源
      spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSo urce
      spring.shardingsphere.datasource.m1.driver-class-
      name=com.mysql.cj.jdbc.Driver
      spring.shardingsphere.datasource.m1.url=jdbc:mysql://localhost:3306/coursed b?serverTimezone=GMT%2B8
      spring.shardingsphere.datasource.m1.username=root
      spring.shardingsphere.datasource.m1.password=root# 指定表的分布情况 配置表在哪个数据库里,表名是什么。水平分表,分两个表:
      m1.course_1,m1.course_2
      spring.shardingsphere.sharding.tables.course.actual-data-nodes=m1.course_$- >{1..2}# 指定表的主键生成策略
      spring.shardingsphere.sharding.tables.course.key-generator.column=cid
      spring.shardingsphere.sharding.tables.course.key-generator.type=SNOWFLAKE #雪花算法的一个可选参数
      spring.shardingsphere.sharding.tables.course.key-
      generator.props.worker.id=1#使用自定义的主键生成策略
      #spring.shardingsphere.sharding.tables.course.key-generator.type=MYKEY
      #spring.shardingsphere.sharding.tables.course.key-generator.props.mykey- offset=88#指定分片策略 约定cid值为偶数添加到course_1表。如果是奇数添加到course_2表。 # 选定计算的字段
      spring.shardingsphere.sharding.tables.course.table-
      strategy.inline.sharding-column= cid
      # 根据计算的字段算出对应的表名。
      spring.shardingsphere.sharding.tables.course.table-
      strategy.inline.algorithm-expression=course_$->{cid%2+1}# 打开sql日志输出。
      spring.shardingsphere.props.sql.show=truespring.main.allow-bean-definition-overriding=true

      然后我们执行测试案例中的addcourse 案例。

    • 执行后,我们可以在控制台看到很多条这样的日志:

      •         从这个日志中我们可以看到,程序中执行的Logic SQL经过ShardingJDBC处理后, 被转换成了Actual SQL往数据库里执行。执行的结果可以在MySQL中看到,course_1和course_2两个表中各插入了五条消息。这就是ShardingJDBC帮我们进 行的数据库的分库分表操作。

      • 然后,其他的几个配置文件依次对应了其他几种分库分表策略,我们可以——演示下。

        ·application02.properties: 分库分表示例配置。内置分片算法示例, inline、standard、complex、hint。 广播表配置示例。

        ·application03.properties:   绑定表示例配置

        ·application04.properties:  读写分离示例配置

      • 4、ShardingJDBC  的分片算法

        •         ShardingJDBC 的整个实战完成后,可以看到,整个分库分表的核心就是在于配  置的分片算法。我们的这些实战都是使用的inline分片算法,即提供一个分片键和一 个分片表达式来制定分片算法。这种方式配置简单,功能灵活,是分库分表最佳的  配置方式,并且对于绝大多数的分库分片场景来说,都已经非常好用了。但是,如  果针对一些更为复杂的分片策略,例如多分片键、按范围分片等场景,inline   分片算 法就有点力不从心了。所以,我们还需要学习下ShardingSphere 提供的其他几种分片策略。
        • NoneShardingStrategy - 无分片。此配置实际上不涉及数据分片,但ShardingSphere提供此选项以应对不需分片的场景。

        • InlineShardingStrategy - 常用分片方式。配置包括:

          • inline.shardingColumn:分片键。
          • inline.algorithmExpression:分片表达式。 实现:根据分片表达式执行数据分片。
        • StandardShardingStrategy - 仅支持单分片键的标准分片策略。配置涉及:

          • standard.sharding-column:分片键。
          • standard.precise-algorithm-class-name:精确分片算法类名,必须实现io.shardingsphere.api.algorithm.sharding.standard.PreciseShardingAlgorithm接口。例如:com.roy.shardingDemo.algorithm.MyPreciseShardingAlgorithm
          • standard.range-algorithm-class-name:范围分片算法类名,实现io.shardingsphere.api.algorithm.sharding.standard.RangeShardingAlgorithm接口。例如:com.roy.shardingDemo.algorithm.MyRangeShardingAlgorithm。 实现:使用shardingColumn指定的分片键和提供的算法进行分片。其中精确分片算法是必需的,范围分片算法则是可选的。
        • ComplexShardingStrategy - 支持多分片键的复杂分片策略。配置包括:

          • complex.sharding-columns:多个分片键。
          • complex.algorithm-class-name:分片算法实现类。 实现:综合多个分片列进行分片,使用org.apache.shardingsphere.api.sharding.complex.ComplexKeysShardingAlgorithm接口的实现类。例如:com.roy.shardingDemo.algorithm.MyComplexKeysShardingAlgorithm
        • HintShardingStrategy - 不基于SQL分片键的强制分片策略。此策略允许程序指定分片键,适用于复杂的SQL情况。配置包括:

          • hint.algorithm-class-name:分片算法实现类,实现org.apache.shardingsphere.api.sharding.hint.HintShardingAlgorithm接口。例如:com.roy.shardingDemo.algorithm.MyHintShardingAlgorithm。 实现:通过HintManager.addDatabaseShardingValueHintManager.addTableShardingValue方法指定分片键。注意,此分片键仅在当前线程有效,应在使用后立即关闭。
        • Hint分片策略不依赖SQL解析树,可能在处理复杂语句时性能更佳。但需注意其在使用上的限制,如不支持UNION和多层子查询,也不能用于函数计算。这些限制导致即使使用ShardingSphere框架,分库分表后对SQL语句的支持仍然脆弱。

          •         而Hint分片策略并没有完全按照SQL解析树来构建分片策略,是绕开 了SQL解析的,所有对某些比较复杂的语句,Hint分片策略性能有可能会比较好(情况太多了,无法一一分析)。
            但是要注意,Hint强制路由在使用时有非常多的限制:

          • -- 不支持UNION
            SELECT * FROM t_order1 UNION SELECT * FROM t_order2
            INSERT INTO tbl_name (col1, col2, … ) SELECT col1, col2, … FROM tbl_name WHERE col3 = ?-- 不支持多层子查询
            SELECT COUNT (*) FROM (SELECT * FROM t_order o WHERE o.id IN (SELECT id FROM t_order WHERE status = ?))-- 不支持函数计算。ShardingSphere只能通过SQL字面提取用于分片的值
            SELECT * FROM t_order WHERE to_date(create_time, 'yyyy-mm-dd ') = '2019-01-01 ';

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/588174.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unity 新版 Meta XR SDK 无法导入解决方法

文章目录 📕教程说明📕新版 SDK 说明📕从 Meta 官网导入开发包⭐依赖包⭐如何导入⭐导入后包存放在哪里了?⭐场景样例文件去哪了? 此教程相关的详细教案,文档,思维导图和工程文件会放入 Spatia…

报表控件FastReport VCL 中的新 S3 传输 (Amazon)

在本文中,我们将探讨新的 S3 传输。从功能上来说,S3 与大多数人习惯使用的有很大不同,因此在本文的开头,我们将详细介绍它的主要功能。 FastReport .NET 是适用于.NET Core 3,ASP.NET,MVC和Windows窗体的全…

软件测试/测试开发丨Python内置库学习笔记

内置库 一、内置库OS 1、os概述 os: Operating Systemos 模块的常用功能跨平台的差异 2、os使用 导入 os 模块查看 os 模块使用文档 help(os)dir(os) import os# 查看os模块说明文档 help(os)# 查看os模块的属性和方法 print(dir(os))3、os 常用方法 (1&…

全渠道客服系统推荐:选型指南与最佳实践分享

售后服务是影响客户满意度的最直接的因素。有些企业不注重产品的售后服务,不仅是对客户的伤害,更是对企业品牌的损害。所以,做好售后服务对于企业来讲至关重要。 企业谈到做好售后服务,少不了一款好用的客服系统工具。其中&#…

C# PrinterSettings修改打印机纸张类型,paperType

需求:直接上图,PrinterSettings只能改变纸张大小,打印质量,无法更改打印纸类型 爱普生打印机打印照片已经设置了最高质量,打印图片仍不清晰,需要修改打印纸类型,使用PrintDialog调出对话框&…

集合高级面试题

1. ArrayList 和 Vector 的区别? 参考答案 这两个类都实现了 List 接口(List 接口继承了 Collection 接口),他们都是有序集合,即存储在这两个集合中的元素的位置都是有顺序的,相当于一种动态的数组&#x…

js获取某天日期

获取某天日期 getSomeDay(someDay) {let currentDate new Date();let targetday_milliseconds currentDate.getTime() 1000 * 60 * 60 * 24 * someDay;currentDate.setTime(targetday_milliseconds);const doHandleMonth (month) > {let m month;if (month.toString()…

2023-12-30 AIGC-LangChain介绍

摘要: 2023-12-30 AIGC-LangChain介绍 LangChain介绍 1. https://youtu.be/Ix9WIZpArm0?t353 2. https://www.freecodecamp.org/news/langchain-how-to-create-custom-knowledge-chatbots/ 3. https://www.pinecone.io/learn/langchain-conversational-memory/ 4. https://de…

SQL高级:存储过程和触发器

在前面的内容中,我们学习了视图的概念和使用,视图实际上代表了一种自定义的结果集,可以理解为一个虚拟表。它诠释了部分数据的逻辑关系,但并不会操作数据。 如果有一些需求可以通过多个DML SQL组合起来完成,我们就可以使用存储过程。存储过程可以类比其他编程语言中的方法…

乒乓球室计时计费软件,乒乓球馆怎么计时

一,软件程序问答 1、软件有计时功能吗,有会员管理功能吗? 如下图,软件以 佳易王乒乓球馆计时计费软件 为例说明 软件既可以既可以计时计费,也可以会员管理,会员可以用卡片也可以直接用手机号即可。 2、软…

2023年度总结——关于如何认清自己是个FW

前言 不到各位有没有今年过得特别快的感觉。写总结时候一整理,我敲,我今年这么忙? 从三月份开说 三月份 这段时间刚开学,还算比较懵懂。不过初生牛犊不怕虎,那个寒假学了点怎么挖edusrc,开学迫不及待地…

SpireCV项目实战——电诈园区人员及房屋情况识别

项目介绍前言 随着科技的进步和大数据时代的到来,计算机视觉技术逐渐渗透到各个行业领域,为人们的生活和工作带来了诸多便利。近年来,电信诈骗案件频发,给社会带来了巨大的经济损失和心理负担。电诈园区作为电信诈骗的高发区域&a…

弱电工程计算机网络系统基础知识

我们周围无时无刻不存在一张网,如电话网、电报网、电视网、计算机网络等;即使我们身体内部也存在许许多多的网络系统,如神经系统、消化系统等。最为典型的代表即计算机网络,它是计算机技术与通信技术两个领域的结合。 计算机网络的…

【QT】qt各模块描述

【未完待续】 QT主要版本,各个模块的作用描述。 QT5.12 版本(只有部分) qtgamepad: 提供了对游戏手柄的支持。qtandroidextras: 提供了一些特定于Android的功能。qtmacextras: 提供了一些特定于macOS的功能。qtx11extras: 提供了一些特定于X11的功能。qtsensors:…

spring ioc源码-refresh();

主要作用是刷新应用上下文 Override public void refresh() throws BeansException, IllegalStateException {synchronized (this.startupShutdownMonitor) {// 启动刷新的性能跟踪步骤StartupStep contextRefresh this.applicationStartup.start("spring.context.refre…

Typescript面向对象

面向对象 面向对象是程序中一个非常重要的思想,它被很多同学理解成了一个比较难,比较深奥的问题,其实不然。面向对象很简单,简而言之就是程序之中所有的操作都需要通过对象来完成。 举例来说: 操作浏览器要使用windo…

Windows 10启用Hyper-V

Windows 10启用Hyper-V 官网教程PowerShell 启用 Hyper-V启用 Hyper-V 角色 我们知道VMware是创建虚拟机的好工具,那Windows平台上有没有虚拟工具呢? 今天我们要讲解的就是Windows才入局的虚拟工具:Hyper-V 官网教程 https://learn.microsof…

2024年的学习规划和碎碎念

2023最后一天,仿佛都要将自己变成小孩子,在等待新的一年。春节与我的意义不大,我反而期待元旦,好似跨过去,我就蜕变成新的人啦,全身血液换了个变,人也不是之前的灵魂。 当然那不可能。回顾自己…

table表格中使用el-popover 无效问题解决

实例只针对单个的按钮管用在表格里每一列都有el-popover相当于是v-for遍历了 所以我们在触发按钮的时候并不是单个的触发某一个 主要执行 代码 <el-popover placement"left" :ref"popover-${scope.$index}"> 动态绑定了ref 关闭弹窗 执行deltask…

【数据结构和算法】找出两数组的不同

其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录 其他系列文章导航 文章目录 前言 一、题目描述 二、题解 2.1 哈希类算法题注意事项 2.2 方法一&#xff1a;哈希法 三、代码 3.1 方法一&#xff1a;哈希法 四…