gorm.io/sharding改造：赋能单表，灵活支持多分表策略（下）

背景

 分表组件改造的背景，我在这篇文章《gorm.io/sharding改造：赋能单表，灵活支持多分表策略（上）》中已经做了详细的介绍——这个组件不支持单表多个分表策略，为了突破这个限制做的改造。

在上一篇文章中，我们讨论了注册的改造，注册的改造修改逻辑比较简单，但是，上一篇文章中遗留了一个很重要的议题——在增删改查的实际业务操作中，分表组件究竟如何精准地定位到对应的分表策略，以确保业务逻辑的顺利执行？这篇文章，我们重点讨论这个逻辑。

源码解读

首先，我们需要看一下当我们执行查询，新增，更新或是删除逻辑，其执行流程是什么。比如，这么一个查询。

err := db.Model(&Order{}).Where("user_id = ?", userID).Find(&orders).Error

我们大概梳理一下其执行流程。

  1. 初始化查询：
    • 当我们执行查询 err := db.Model(&Order{}).Where("user_id = ?", userID).Find(&orders).Error，首先会通过 db.Model(&Order{}) 初始化一个查询实例，设置相关的模型信息。
  2. 构建查询条件：
    • 接着，通过 .Where("user_id = ?", userID) 方法，将查询条件 user_id = ? 以及对应的参数 userID 添加到查询实例中。
  3. 执行查询：
    • 调用 .Find(&orders) 方法时，开始执行查询流程。
    • 在 Find 方法中，首先通过 db.getInstance() 获取数据库实例。
    • 然后，检查是否存在查询条件，如果有，则构建 SQL 条件表达式，并将其添加到查询语句中。
    • 设置查询结果的目标对象 dest，即 &orders。
    func (db *DB) Find(dest interface{}, conds ...interface{}) (tx *DB) {tx = db.getInstance()if len(conds) > 0 {if exprs := tx.Statement.BuildCondition(conds[0], conds[1:]...); len(exprs) > 0 {tx.Statement.AddClause(clause.Where{Exprs: exprs})}}tx.Statement.Dest = destreturn tx.callbacks.Query().Execute(tx)
}
  4. 执行回调和处理：
    • 调用 tx.callbacks.Query().Execute(tx) 执行查询回调链。
    • 在 Execute 方法中，会遍历并执行所有注册的查询前和查询后的回调函数。
    func (p *processor) Execute(db *DB) *DB {//省略其他代码逻辑
......	
for _, f := range p.fns {f(db)}//省略其他代码逻辑
......	return db
}
  5. 分片和查询执行：
    • 最终，调用 pool.QueryContext 方法，根据上下文、SQL 查询语句和参数执行实际的数据库查询。
    • 在 QueryContext 方法中，会调用 pool.sharding.resolve 方法解析并修改查询语句，以处理数据库分片逻辑。
    • resolve 方法解析 SQL 查询语句，提取表名，并根据表名获取相应的分片配置。
    • 根据分片配置，可能会修改原始查询语句，以适应分片策略。
    func (pool ConnPool) QueryContext(ctx context.Context, query string, args ...any) (*sql.Rows, error) {var (curTime = time.Now())//该方法根据传入的SQL查询（及其参数）和上下文信息，动态地解析、修改并返回最终的分片 //查询、原始查询、目标表名以及可能出现的错误。_, stQuery, _, err := pool.sharding.resolve(query, args...)if err != nil {return nil, err}// 省略......return rows, err
}
    func (s *Sharding) resolve(query string, args ...any) (ftQuery, stQuery, tableName string, err error) {ftQuery = querystQuery = queryif len(s.configs) == 0 {return}expr, err := sqlparser.NewParser(strings.NewReader(query)).ParseStatement()if err != nil {return ftQuery, stQuery, tableName, nil}// 省略......tableName = table.Name.Namer, ok := s.configs[tableName]if !ok {return} // 省略......return
}
  6. 返回结果：
    • 执行查询后，将结果填充到目标对象 &orders 中，并返回查询结果或错误。

我们重点关注resolve方法，这个方法包含了分表逻辑的处理逻辑：r, ok := s.configs[tableName]获取对应表的分表策略。

通过上述代码的解析，我们现在应该有了解决方案。原来的逻辑获取分表策略是根据表明获取的。那我们只要修改这个逻辑，根据表名+分表键名作为唯一键获取对应的分表策略就能实现我们的目标。

方案

接下来，我们需要思考的是，如何把分表键传进来呢？

我一开始想的是通过解析query获取查询条件中的分表键。但是，当我深入的看了这个逻辑之后，发现这个设想不能实现，因为value, id, keyFind, err = s.nonInsertValue(r.ShardingKey, condition, args...)这个方法中获取查询条件的字段是在这个函数内部实现的，不能保持一个统一的结构，而且改造复杂度比较高。

context在go语言有着广泛的使用场景，所以，我想着通过context的方式把分表键传递进来。有了这个想法，改造起来就很简单了。我们只需要resolve方法增加一个context的传参，并且r, ok := s.configs[tableName]这个获取分表策略，改成用表名+从context中获取的分表键作为键来获取分表策略即可。

如此，我们就实现了根据表名+分表键获取对应分表策略的逻辑，至此，我们的改造任务完成。

案例

我目前也只是简单的测试了两种分表策略的场景，仅仅只覆盖了查询和插入的场景。更复杂的场景还没有测试。诸如并发情况下的场景。

package testimport ("context""fmt""testing""time""gorm.io/driver/mysql""gorm.io/gorm""gorm.io/sharding"
)
var globalDB *gorm.DBtype Order struct {ID        int64  `gorm:"primaryKey"`OrderId   string `gorm:"sharding:order_id"` // 指明 OrderId 是分片键UserID    int64  `gorm:"sharding:user_id"`ProductID int64OrderDate time.TimeOrderYear int
}
// 自定义 ShardingAlgorithm
func customShardingAlgorithm4(value any) (suffix string, err error) {if year, ok := value.(int); ok {return fmt.Sprintf("_%d", year), nil}return "", fmt.Errorf("invalid order_date")
}func customShardingAlgorithmUserId(value any) (suffix string, err error) {if userId, ok := value.(int64); ok {return fmt.Sprintf("_%d", userId%4), nil}return "", fmt.Errorf("invalid user_id")
}// customePrimaryKeyGeneratorFn 自定义主键生成函数
func customePrimaryKeyGeneratorFn(tableIdx int64) int64 {var id int64seqTableName := "gorm_sharding_orders_id_seq" // 序列表名db := globalDB// 使用事务来确保主键生成的原子性tx := db.Begin()defer func() {if r := recover(); r != nil {tx.Rollback()}}()// 锁定序列表以确保并发安全（可选，取决于你的 MySQL 配置和并发级别）// 注意：在某些 MySQL 版本和配置中，使用 LOCK TABLES 可能不是最佳选择// 这里仅作为示例，实际应用中可能需要更精细的并发控制策略tx.Exec("LOCK TABLES " + seqTableName + " WRITE")// 查询当前的最大 IDtx.Raw("SELECT id FROM " + seqTableName + " ORDER BY id DESC LIMIT 1").Scan(&id)// 更新序列表（这里直接递增 1，实际应用中可能需要更复杂的逻辑）newID := id + 1tx.Exec("INSERT INTO "+seqTableName+" (id) VALUES (?)", newID) // 这里假设序列表允许插入任意 ID，实际应用中可能需要其他机制来确保 ID 的唯一性和连续性// 释放锁定tx.Exec("UNLOCK TABLES")// 提交事务if err := tx.Commit().Error; err != nil {panic(err) // 实际应用中应该使用更优雅的错误处理机制}return newID
}// Test_Gorm_Sharding 用于测试 Gorm Sharding 插件
func Test_Gorm_Sharding6(t *testing.T) {// 连接到 MySQL 数据库dsn := "dev:xxxx@tcp(ip:port)/sharding_db2?charset=utf8mb4&parseTime=True&loc=Local"db, err := gorm.Open(mysql.New(mysql.Config{DSN: dsn,}), &gorm.Config{})if err != nil {panic("failed to connect database")}globalDB = dbconfig1 := sharding.Config{ShardingKey:       "order_year",ShardingAlgorithm: customShardingAlgorithm4, // 使用自定义的分片算法//PrimaryKeyGenerator: sharding.PKMySQLSequence,PrimaryKeyGenerator:   sharding.PKCustom,PrimaryKeyGeneratorFn: customePrimaryKeyGeneratorFn,}config2 := sharding.Config{ShardingKey:         "user_id",NumberOfShards:      4,ShardingAlgorithm:   customShardingAlgorithmUserId, // 使用自定义的分片算法PrimaryKeyGenerator: sharding.PKSnowflake,          // 使用 Snowflake 算法生成主键}mapConfig := make(map[string]sharding.Config)mapConfig["orders_order_year"] = config1mapConfig["orders_user_id"] = config2// 配置 Gorm Sharding 中间件，使用自定义的分片算法middleware := sharding.RegisterWithKeys(mapConfig) // 逻辑表名为 "orders"db.Use(middleware)// 查询示例var orders []Orderctx, cancel := context.WithCancel(context.Background())defer cancel()ctx = context.WithValue(ctx, "sharding_key", "order_year")db = db.WithContext(ctx)err = db.Model(&Order{}).Where("order_year=? and product_id=?", 2025, 102).Find(&orders).Errorif err != nil {fmt.Println("Error querying orders:", err)}fmt.Printf("sharding key order_year Selected orders: %#v\n", orders)// 查询示例FindByUserID2(db, int64(1))// 示例：插入订单数据InsertOrderByUserId(db)InsertOrderByOrderYear(db)
}func FindByUserID2(db *gorm.DB, userID int64) ([]Order, error) {var orders []Order// 查询示例ctx, cancel := context.WithCancel(context.Background())defer cancel()ctx = context.WithValue(ctx, "sharding_key", "user_id")db = db.WithContext(ctx)err := db.Model(&Order{}).Where("user_id = ?", userID).Find(&orders).Errorif err != nil {fmt.Println("Error querying orders:", err)}fmt.Printf("no sharding key user_id Selected orders: %#v\n", orders)return orders, err
}type OrderByUserId struct {ID        int64  `gorm:"primaryKey"`OrderId   string `gorm:"sharding:order_id"` // 指明 OrderId 是分片键UserID    int64  `gorm:"sharding:user_id"`ProductID int64OrderDate time.Time
}func InsertOrderByUserId(db *gorm.DB) error {ctx, cancel := context.WithCancel(context.Background())defer cancel()ctx = context.WithValue(ctx, "sharding_key", "user_id")db = db.WithContext(ctx)// 示例：插入订单数据order := OrderByUserId{OrderId:   "20240101ORDER0001",UserID:    100,ProductID: 100,OrderDate: time.Date(2024, 1, 1, 0, 0, 0, 0, time.UTC),}err := db.Table("orders").Create(&order).Errorif err != nil {fmt.Println("Error creating order:", err)}order2 := OrderByUserId{OrderId:   "20250101ORDER0001",UserID:    105,ProductID: 100,OrderDate: time.Date(2025, 1, 1, 0, 0, 0, 0, time.UTC),}err = db.Table("orders").Create(&order2).Errorif err != nil {fmt.Println("Error creating order:", err)}return err
}func InsertOrderByOrderYear(db *gorm.DB) error {ctx, cancel := context.WithCancel(context.Background())defer cancel()ctx = context.WithValue(ctx, "sharding_key", "order_year")db = db.WithContext(ctx)orderYear := 2024// 示例：插入订单数据order := Order{OrderId:   "20240101ORDER0002",UserID:    1,ProductID: 100,OrderDate: time.Date(2024, 1, 1, 0, 0, 0, 0, time.UTC),OrderYear: orderYear,}err := db.Create(&order).Errorif err != nil {fmt.Println("Error creating order:", err)}orderYear = 2025order2 := Order{OrderId:   "20250101ORDER0002",UserID:    1,ProductID: 100,OrderDate: time.Date(2025, 1, 1, 0, 0, 0, 0, time.UTC),OrderYear: orderYear,}err = db.Create(&order2).Errorif err != nil {fmt.Println("Error creating order:", err)}return err
}

总结

通过改造gorm.io/sharding组件，我们实现了根据表名+分表键获取对应分表策略的逻辑。这一改造使得组件能够支持单表多个分表策略，更加灵活和强大。目前，我们已经简单测试了查询和插入场景，更复杂的场景和并发情况还需进一步测试和优化。通过这一改造，我们为业务逻辑的执行提供了更加精准和高效的分表策略定位。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/57620.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

机器学习基础：算法如何让 AI 自我学习

机器学习基础：算法如何让 AI 自我学习

大家好，我是Shelly，一个专注于输出AI工具和科技前沿内容的AI应用教练，体验过300款以上的AI应用工具。关注科技及大模型领域对社会的影响10年。关注我一起驾驭AI工具，拥抱AI时代的到来。 AI工具集1：大厂AI工具【共23款…
阅读更多...
vue3+vue-baidu-map-3x 实现地图定位

vue3+vue-baidu-map-3x 实现地图定位

文档地址：一个是2一个是3 https://dafrok.github.io/vue-baidu-map/#/zh/index vue-baidu-map-3x 1.首先要到百度地图开放平台上建一个账号，如果有百度账号可以直接登录百度地图-百万开发者首选的地图服务商,提供专属的行业解决方案 2.点击控制台&am…
阅读更多...
ThreadLocal内存泄漏面试题

ThreadLocal内存泄漏面试题

一、ThreadLocal内部结构 首先更好的说明ThreadLocal内存泄露的场景，以及具体的原因，先来了解下ThreadLocal的内部结构，如图1所示。 可以看到，ThreadLocal对象是存储在每个Thread线程内部的ThreadLocalMap中的，并且在…
阅读更多...
行列式-常山赵子龙

行列式-常山赵子龙

终于知道这类题怎么写了 两个条件都要用到 要计算，减少直觉
阅读更多...
【加密系统】华企盾DSC服务台提示：请升级服务器，否则可能导致客户端退回到旧服务器的版本

【加密系统】华企盾DSC服务台提示：请升级服务器，否则可能导致客户端退回到旧服务器的版本

华企盾DSC服务台提示：请升级服务器，否则可能导致客户端退回到旧服务器的版本 产生的原因：控制台版本比服务器高导致控制台出现报错 解决方案 方法：将控制台回退到原来的使用版本，在控制台负载均衡查看连接该服务器各个…
阅读更多...
图像分割-DeepLab

图像分割-DeepLab

DeepLabV3源码链接：https://github.com/bubbliiiing/deeplabv3-plus-pytorch（打不开私信我获取） 一、简介 一般的模型如Unet一般用于医学领域，小目标，如细胞分割。 为了增大感受野（从而更好的获得全局特征…
阅读更多...
LeetCode 18.四数之和

LeetCode 18.四数之和

LeetCode 18.四数之和 C 思路🧐： 由题意得，四个数组里面的整数相加需要得到target这个目标值，且结果不能重复，那么我们可以用排序双指针的方式进行解答，将该数组变为升序数组，然后固定左边两个数…
阅读更多...
建站工具Halo

建站工具Halo

建站工具Halo 项目及文档快速体验启动成功 类似wordpress的建站工具，使用java技术栈Springboot开发，对java开发者友好。 项目及文档 https://github.com/halo-dev/halo 快速体验 为了快速体验，直接使用docker compose部署。也可在源码基础…
阅读更多...
人工智能+医学

人工智能+医学

医学影响的内型：(X光片、计算机断层扫描、磁共振成像、超声波） ITK snap医学图像读取 医学影像领域常见任务: 图像分类、语义分割、疾病预测、目标检测、图像配准、图像生成(应用少)、图像增强、生成放射学报告。 需要有很强的可解释…
阅读更多...
指针进阶（三）（C 语言）

指针进阶（三）（C 语言）

目录 一、回调函数二、快速排序函数 qsort1. qsort() 函数原型2. 使用 qsort() 函数 三、仿照 qsort 函数设计一个可以排序任意类型数组的冒泡函数1. 函数原型2. 函数设计思路 一、回调函数 在 C 语言中，回调函数是一种通过函数指针调用的函数，也就是一…
阅读更多...
Spring Boot驱动的植物健康监测革命

Spring Boot驱动的植物健康监测革命

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及，互联网成为人们查找信息的重要场所，二十一世纪是信息的时代，所以信息的管理显得特别重要。因此，使用计算机来管理植物健康系统的相关信息成为必然。开发合适…
阅读更多...
软件测试学习笔记丨Selenium学习笔记：常用页面信息对比方法expected_conditions

软件测试学习笔记丨Selenium学习笔记：常用页面信息对比方法expected_conditions

本文转自测试人社区，原文链接：https://ceshiren.com/t/topic/22514 本文为霍格沃兹测试开发学社的学习经历分享，写出来分享给大家，希望有志同道合的小伙伴可以一起交流技术，一起进步~ 说明：本篇博客基于sel…
阅读更多...
开拓鸿蒙测试新境界，龙测科技引领自动化测试未来

开拓鸿蒙测试新境界，龙测科技引领自动化测试未来

在当今科技舞台上，鸿蒙 OS 以非凡先进性强势登场，打破传统操作系统格局，为软件测试领域带来全新机遇与艰巨挑战。 一、鸿蒙 OS 的辉煌崛起 （一）壮丽发展历程与卓越市场地位 鸿蒙 OS 的发展如波澜壮阔的史诗。2023 年…
阅读更多...
JavaScript进阶：手写代码挑战(一)

JavaScript进阶：手写代码挑战(一)

​🌈个人主页：前端青山 🔥系列专栏：JavaScript篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来JavaScript篇专栏内容:JavaScript手写代码篇 #1024程序员节｜征文# 在现代Web开发中&#xff0c…
阅读更多...
中国移动机器人将投入养老场景；华为与APUS共筑AI医疗多场景应用

中国移动机器人将投入养老场景；华为与APUS共筑AI医疗多场景应用

AgeTech News 一周行业大事件 华为与APUS合作，共筑AI医疗多场景应用 中国移动展出人形机器人，预计投入养老等场景 作为科技与奥富能签约，共拓智能适老化改造领域 天与养老与香港科技园，共探智慧养老新模式 中山大学合作中国…
阅读更多...
[Python学习日记-53] Python 中的正则表达式模块 —— re

[Python学习日记-53] Python 中的正则表达式模块 —— re

[Python学习日记-53] Python 中的正则表达式模块 —— re 简介 re 模块 练习 简介 我们在编程的时候经常会遇到想在一段文字当中找出电话号码、身份证号、身高、年龄之类的信息，就像下面的数据一样 # 文件名：美丽学姐联系方式.txt 姓名 地区 …
阅读更多...
微信小程序美团点餐

微信小程序美团点餐

引言：外卖已经成为了都市人的必备，在无数个来不及（懒得）做饭的时刻拯救孤单寂寞的胃。美团外卖无疑是外卖届的领头羊，它的很多功能与设计都值得我们学习。本文将从五个方面，对美团外卖展开产品分析&#xf…
阅读更多...
【ArcGIS Pro实操第4期】绘制三维地图

【ArcGIS Pro实操第4期】绘制三维地图

【ArcGIS Pro实操第4期】绘制三维地图 ArcGIS Pro绘制三维地图-以DEM高程为例参考 如何使用ArcGIS Pro将栅格数据用三维的形式进行表达？在ArcGIS里可以使用ArcScene来实现，ArcGIS Pro实现原理跟ArcScene一致。由于Esri未来将不再对ArcGIS更新&#xff0c…
阅读更多...
深入浅出神经网络：从基础原理到高级应用

深入浅出神经网络：从基础原理到高级应用

第5章 神经网络 更加详细内容可以看这篇文章 5.1 神经元模型 神经网络的基本单元是神经元模型。神经元模拟了生物神经元的行为，通过接收输入信号，进行加权求和，然后经过激活函数输出结果。 数学上，一个简单的神经元可以表示为&…
阅读更多...
pipeline开发笔记

pipeline开发笔记

pipeline开发笔记 jenkins常用插件Build Authorization Token Root配置GitLab的webhooks(钩子)配置构建触发器--示例 piblish over sshBlue OceanWorkspace Cleanup PluginGit插件PipelineLocalization: Chinese (Simplified) --中文显示Build Environment Plugin 显示构建过程…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023