进程间传递 SQL 文的方法

SQL 文组成

SQL 文有 2 部分组成:

  • SQL 原型,如:INSERT INTO `test1` (`id`,`name`) VALUES (?,?)
  • Args ,? 号对应的值列表

有时,生成 SQL 文的进程和处理 SQL 文的进程,可能不是同一个

这里就涉及到如何高效的把 SQL 文从一个进程传递给另外一个进程

EscapeSQL

MySQL 原生 C Api 叫mysql_real_escape_string

该方法可以把 SQL 文两部分构成转义为一条 SQL 字符串

因为是字符串 SQL 语句,因此可以方便的从一个进程传递到另外一个进程

但是这种方法,有 2 个缺点:

  • 流量变大, Args 是需要转义的,会插入很多很多的\
  • 无法使用 MySQL 的预处理(PREPARE STATEMENT),使用 MySQL 的性能会变差

Gorm 库中,无 EscapeSQL API

项目用的是 Gorm

为了调通流程,首先考虑的是通过EscapeSQL传递 SQL 字符串

令人惊讶的是,Gorm 库并无EscapeSQL相关的 API

考虑到,Gorm 库也是使用 go-sql-driver/mysql 库和 MySQL 交互

因此查看 go-sql-driver/mysql 库

结果,go-sql-driver/mysql 库也无EscapeSQL相关的 API

GitHub 上搜了下 Issues ,发现 golang 库也有类似的提问、讨论: https://github.com/golang/go/issues/18478

说明,EscapeSQL 本身是不建议被使用的

go-sql-driver/mysql 库 SQL 文处理流程

单步调试了下 go-sql-driver/mysql 的简易例子

发现内部自动以下流程:

  • 判断 Args 是是否长度大于 0
    • 否,直接执行 SQL 文
    • 是,
      • PREPARE STATEMENT预处理 SQL 原型
      • 执行预处理,传递 Args

借鉴 go-sql-driver/mysql 库的思路,可以得出以下结论:

  • 进程间传递 SQL 文也可以分 2 个步骤:
    • 传递 SQL 原型
    • 传递 Args

因此问题转化为如何高效的传递 Args

进程间传递 Args

通常进程间传递数据,可以定义协议。这样另一个进程可以根据协议理解数据是什么

Args 值列表,存在任意组合性

因此,协议的定义需要一点技巧

粗糙的思路类似:

值部分说明
type指明数据类型
data具体数据

这样传递给另一个进程也能理解

protobuf 的 protowire 包

google.golang.org/protobuf/encoding/protowire protobuf 的编码器

因为项目中使用 protobuf ,那么可以使用它,减少重复构造轮子

protowire 库序列化方法,类似:

var b []byteb = protowire.AppendTag(b, protowire.Number(index), protowire.VarintType)
b = protowire.AppendVarint(b, uint64(val))b = protowire.AppendTag(b, protowire.Number(index), protowire.Fixed32Type)
vv := math.Float32bits(val)
b = protowire.AppendFixed32(b, vv)b = protowire.AppendTag(b, protowire.Number(index), protowire.Fixed64Type)
vv := math.Float64bits(val)
b = protowire.AppendFixed64(b, vv)b = protowire.AppendTag(b, protowire.Number(index), protowire.BytesType)
b = protowire.AppendString(b, val)

protowire 库反序列化方法,类似:

// b data
var vals []interface{}
_, t, i := protowire.ConsumeTag(b)
switch t {
case protowire.VarintType: v, n := protowire.ConsumeVarint(b)b = b[n:]vals = append(vals, v)
case protowire.BytesType: v, n := protowire.ConsumeString(b)b = b[n:]vals = append(vals, v)
case protowire.Fixed32Type:v, n := protowire.ConsumeFixed32(b)b = b[n:]vals = append(vals, math.Float32frombits(v))
case protowire.Fixed64Type: v, n := protowire.ConsumeFixed64(b)b = b[n:]vals = append(vals, math.Float64frombits(v))
}

方法汇总

2 个进程间传递 SQL 文

方法建议
使用 EscapeSQL不推荐
SQL 原型 + 自定义 Args 序列化规则看项目情况
SQL 原型 + Args Protobuf 序列化规则推荐

扩展

因为每个项目的存储方式会有差异。这样 2 个进程间传递 SQL 文还可以进一步适配具体项目,做调整

具体就不展开说明了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/697730.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

免费搭建个人网盘

免费搭建一个属于个人的网盘。 服务端 详情请参考原网站的服务端下载和安装虚拟磁盘Fuse4Ui可以支持把网盘内容挂载成系统的分区; 挂载工具效果图:应用端应用端的下载 效果图

蓝桥杯第1374题——锻造兵器

题目描述 小明一共有n块锻造石,第块锻造石的属性值为ai. 现在小明决定从这n块锻造石中任取两块来锻造兵器 通过周密计算,小明得出,只有当两块锻造石的属性值的差值等于C,兵器才能锻造成功 请你帮小明算算,他有多少种选…

人工智能几个关键节点:深蓝,AlphaGo,ChatGPT,Sora

近30年,人工智能几个关键节点:深蓝,AlphaGo,ChatGPT,Sora 深蓝: 1997年,深蓝击败卡斯帕罗夫的比赛是通过一系列复杂的算法和策略实现的。深蓝的开发团队使用了一种名为“暴力搜索”的技术&…

OGG-00918 映射中缺少键列 id.

2024-02-23 14:54:49 INFO OGG-02756 从线索文件获取了表 GISTAR.PXPH_PON_ROUTE 的定义。. The following columns did not default because of type mismatches: id OGG-00918 映射中缺少键列 id. 目标端有字段ID,由于mysql自增,所以只能是b…

短剧小程序系统,重塑视频观看体验的科技革命

随着科技的飞速发展,人们对于数字化内容的消费需求也在不断增长。在这个大背景下,短剧小程序作为一种新型的视频观看方式,正逐渐受到大众的青睐。本文将探讨短剧小程序的发展背景、特点以及市场前景,分析其在重塑视频观看体验方面…

如何使用Inno Setup制作Unity构建程序的Windows安装程序

1. 准备 (1)准备好Unity构建的程序集合 必须包括: Data文件夹(xxx_Data) Mono文件夹(MonoBleedingEdge) 打包的应用程序文件(xxx.exe) Unity播放器dll文件&#xff…

SpringBoot+Docker:高效容器化的最佳实践

首先为什么要使用 Docker? Docker 是一个强大的工具,它允许开发者将他们的应用程序打包到容器中,以便可以在任何平台上轻松部署和运行。当涉及到对 Spring Boot 应用程序进行 Docker 化时,每个开发人员都应该遵循一些最佳实践&am…

编程笔记 Golang基础 017 数据类型:字符串类型

编程笔记 Golang基础 017 数据类型:字符串类型 一、字符串类型小结 在Go语言中,字符串(string)是一种基本的数据类型,用于表示文本数据。它是一个不可变的字符序列,由UTF-8编码的字节组成,支持U…

深入URP之Shader篇15: Shader关键字和变体

之前说了很多shader关键字的事情,本篇好好说一下关键字和变体。 关键字是干什么的 我们写shader的时候,经常会遇到需要处理不同的情况,比如是否启用雾,光源是平行光还是点光源,是否使用法线贴图等等。如果为每一种情…

基于springboot+vue的大创管理系统(前后端分离)

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

【selenium】执行 Javascript 脚本 滚动、元素的特殊操作等

某些特殊情况下,使用selenium的api无法操作页面元素,点击、滚动实现的某些功能,可以考虑通过执行js来完成。 为什么不用js写自动化?——selenium第一版是js写的,但js兼容性存在问题,所以引入webdriver 现在…

ad15 PCB3D模型导出到SOLIDWORKS

注意,工程文件目录不能用中文,否则导出的文件会不存在 将这个文件直接拖到 SOLIDWORKS 中 下一步很关键 显示出来了 另存为一个转配体就可以了

12 个对开发人员有用的 Python 脚本

目录 Create strong random passwordsExtract text from a PDFText processing with PandocManipulate audio with PydubFilter textLocate addressesConvert a CSV to ExcelPattern match with regular expressionsConvert images to JPGCompress imagesGet content from Wiki…

FPS游戏之漫谈网络抖动引发客户端的卡顿优化

话说各位大神 你们遇到过因为网络抖动导致客户端的卡顿现象吗,或者说测试反馈模拟弱网环境的时候某个功能点会卡顿一下,然后通过各种定位,发现原来是一次性下发了好多包???? 问题来了如果我们在…

海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8(14)

自己挖了一个坑,准备做SS928/SD3403的Yolov8的移植,主要是后台私信太多人在问相关的问题。先别着急去写代码,因为在hi3516dv500下的移植还是比较顺利。之前在hi3519av100和hi3559av100系列时遇到过一些问题,所以没有继续去移植新的算法。 SS928架构乍一看和hi3559av100特别…

Ubuntu系统本地部署Inis博客结合内网穿透实现远程访问本地站点

文章目录 前言1. Inis博客网站搭建1.1. Inis博客网站下载和安装1.2 Inis博客网站测试1.3 cpolar的安装和注册 2. 本地网页发布2.1 Cpolar临时数据隧道2.2 Cpolar稳定隧道(云端设置)2.3.Cpolar稳定隧道(本地设置) 3. 公网访问测试总…

git 使用总结

文章目录 git merge 和 git rebasegit mergegit rebase总结 git merge 和 git rebase git merge git merge 最终效果说明: 假设有一个仓库情况如下,现需要进行 merge: merge 操作流程: merge 的回退操作: git reba…

Java适配器模式 - 灵活应对不匹配的接口

Java适配器模式 - 灵活应对不匹配的接口 引言: 在软件开发中,我们经常遇到不同系统、库或框架之间的接口不兼容问题。为了解决这些问题,我们可以使用适配器模式。适配器模式是一种结构型设计模式,它允许不兼容的接口之间进行协作…

用Python采集动态网页Requests就不那么好用了,试试Selenium

Requests + BeautifulSoup + 额外的库: 对于一些简单的动态内容,你能通过分析网络请求来找到并直接获取这些数据。 使用 requests 库来发送 HTTP 请求,并使用 BeautifulSoup 来解析 HTML。 对于 AJAX 请求,你可能需要使用额外的库(如 mitmproxy 或 BrowserMob Proxy)来…

武汉AAA企业信用等级认证

AAA企业信用等级认证 1. 什么是AAA企业信用等级认证 AAA企业信用等级认证是由国家知名的第三方机构对企业的信用状况进行评估和认证的一种方式。它是根据企业在市场经济中所展示出的信用水平、经营实力、企业形象等方面的表现来确定企业的信用等级,以此为企业提供…