在golang语言中简单使用protobuf时遭遇go_package困难重重

文章目录

  • 前言
  • 编写示例
    • 示例初始化
    • 编写协议文件内容
    • 导出协议文件
      • protoc 和 protoc-gen-go
      • 执行导出命令
    • 编写协议使用文件
  • 体会
  • 总结

前言

Protobuf,全称Protocol Buffers,是一种由Google开发的用于序列化结构化数据的开源数据交换格式,Golang作为一种后端语言,免不了使用protobuf这种数据交换格式,本来打算写个小例子展示一下怎样在go语言中使用protobuf,结果遇到的问题到不少,特别是这个go_package的要求,也是之前在项目开发过程中遇到的,这次就查找一下具体原因以及怎么使用吧。

编写示例

为了能对这个示例有一个整体的轮廓,我先把编写好的目录结构展示一下,后面再逐步实现

$ tree lib_protobuf 
lib_protobuf
├── go.mod
├── go.sum
├── lib_protobuf.go
├── msgproto
│   └── examplemsg.pb.go
└── srcproto└── examplemsg.proto

简单解释下,examplemsg.proto proto源文件,examplemsg.pb.go 是proto导出文件,lib_protobuf.go 是proto协议使用和测试文件

示例初始化

执行下面的命令,创建示例基础目录文件结构

$ mkdir lib_protobuf
$ cd lib_protobuf
$ mkdir srcproto
$ touch srcproto/examplremsg.proto
$ touch lib_protobuf.go
$ go mod init lib_protobuf
go: creating new go.mod: module lib_protobuf
go: to add module requirements and sums:go mod tidy$ go mod tidy
$ ls
go.mod  lib_protobuf.go  srcproto

编写协议文件内容

先编写proto文件,文件内容如下:

syntax = "proto3";message Person {string name = 1;int32 age = 2;repeated string hobbies = 3;
}

这个协议文件只定义了一个名为 Person 的结构,其中包括 nameagehobbies 三个字段

导出协议文件

这是本文的重点,至于怎么用proto文件定义结构,各个语言都是相通的,但是在导出时遇到 go_package 文件却是 golang 语言特有的,所以本文重点在这部分多花些篇幅,解释一下遇到的各种问题

protoc 和 protoc-gen-go

导出时需要是使用工具 protoc,而平时你可能听说过或者在.pb.go文件中看到过 protoc-gen-go 这个工具的名字,其实 protoc-gen-go 是一个用于生成 Go 代码的插件,它是 Protocol Buffers 编译器 protoc 的一部分。当您使用 protoc 编译 .proto 文件时,可以通过指定 --go_out 标志来指定要使用的 protoc-gen-go 插件,从而生成对应的 Go 代码文件。这个插件会根据 .proto 文件中定义的消息和服务等内容,生成与之对应的 Go 结构体、接口和方法等代码。因此,protoc-gen-goprotoc 是紧密相关的,它们共同用于将 Protocol Buffers 文件编译为 Go 语言中的数据结构和服务定义。

执行导出命令

使用protoc将proto文件导出golang可用的文件最重要的两个参数如下:

–proto_path= P R O T O F O L D E R − − g o o u t = {PROTO_FOLDER} --go_out= PROTOFOLDERgoout={DEST_FOLDER}

--proto_path:proto源文件所在文件夹
--go_out:proto文件导出的目标文件夹

执行命令如下:

$ cd lib_protobuf
$ protoc --proto_path=srcproto --go_out=. examplemsg.proto
protoc-gen-go: unable to determine Go import path for "examplemsg.proto"Please specify either:• a "go_package" option in the .proto source file, or• a "M" argument on the command line.See https://developers.google.com/protocol-buffers/docs/reference/go-generated#package for more information.--go_out: protoc-gen-go: Plugin failed with status code 1.

不出意外的果然出意外了,告诉我不能确定 examplemsg.proto 文件的导入路径,换句话说就是现在这样不能导出一个可以被正常导入的包,有两种解决办法,第一种就是在.proto文件中添加 go_package 选项,第二种是在执行导出的命令行中添加M参数,详细的解释参考链接 https://developers.google.com/protocol-buffers/docs/reference/go-generated#package

官方推荐是用第一种方式,也就是直接在.proto文件中添加 go_package 选项,假如我们这样写:

option go_package = "msgproto";

然后直接导出会遇到新的错误,提示"msgproto"并不是文件"examplemsg.proto"的一个有效的导入路径

$ protoc --proto_path=srcproto --go_out=. examplemsg.proto
protoc-gen-go: invalid Go import path "msgproto" for "examplemsg.proto"The import path must contain at least one period ('.') or forward slash ('/') character.See https://developers.google.com/protocol-buffers/docs/reference/go-generated#package for more information.--go_out: protoc-gen-go: Plugin failed with status code 1.

要求必须至少包含一个 . 或者 /,那么把选项改成下面这样就可以了

option go_package = "./msgproto";

有时为了在当前目录下生成,又要指定包名,可以写成这样:

option go_package = "./;msgproto";

使用分号将包路径和包名分开,但这种方法官方并不推荐,因为按照golang的包管理习惯,文件夹下的所有文件包名应该与文件名相同,通过包的路径能够推测是包名才对,否则写成 option go_package = "./msgprotoA;msgprotoB"; 就很奇怪了

关于go_package至少包含一个 . 或者 /的要求,据说v1.4.0以上的版本就要求必须加/了,最近查了一些资料,解释如下:

在 Protocol Buffers(Protobuf)中,go_package 选项用于指定生成的 Go 代码的包名和导入路径。要求导入路径(import path)必须包含至少一个点(.)或正斜杠(/)的原因与 Go 语言的模块系统和包导入机制有关

这个要求是因为在导出时,protoc 需要能够将生成的代码文件放置在文件系统的适当位置,并且需要能够以合适的包路径来导入这些生成的代码。在大多数情况下,包路径应该具有与文件系统路径相对应的结构,因此至少需要包含一个句点(.)或正斜杠(/)字符来指示层次结构。

如果导入路径不包含这些字符,那么生成的代码文件将无法以合适的方式组织和导入,可能会导致编译器无法正确识别代码的位置和包结构。因此,为了确保生成的代码能够被正确导入和使用,protoc 对导入路径设置了这个最低要求。

但是我觉得这个解释不能让人信服,我把go_package的值写成 .msgprotomsgproto. 或者 ..msgproto 都是能正常导出的,并没有看到这种限制的好处,其中深层次的原因还得在今后的使用过程中慢慢体会了

编写协议使用文件

在文件 lib_protobuf.go 中编写如下内容,执行 go mod tidygo run . 查看输出结果

package mainimport ("fmt""log"msg "lib_protobuf/msgproto""google.golang.org/protobuf/proto"
)func main() {p := &msg.Person{Name:    "Alice",Age:     30,Hobbies: []string{"reading", "running"},}// 序列化data, err := proto.Marshal(p)if err != nil {log.Fatalf("Failed to encode person: %v", err)}// 反序列化newP := &msg.Person{}err = proto.Unmarshal(data, newP)if err != nil {log.Fatalf("Failed to decode person: %v", err)}fmt.Println("Original Person:", p)fmt.Println("Decoded Person:", newP)
}
$ go run .
Original Person: name:"Alice"  age:30  hobbies:"reading"  hobbies:"running"
Decoded Person: name:"Alice"  age:30  hobbies:"reading"  hobbies:"running"

体会

有关 go_package 值官方给出的示例是这种 example.com/project/protos/fizz,这就跟go.mod文件中的module定义一样,比如 module github.com/tealeg/xlsxmodule github.com/peterbourgon/diskv/v3,提供的是一种导出之后的引用写法

但是 go_packagemodule 还确实有一些不同,因为它在导出时真的会根据 go_package 生成相应的路径,所以针对这些去情况我觉得一种比较好的写法是从项目根目录开始写,导出的目录也是根目录,这样在引用时直接写 go_package 就可以了,但是具体情况还需灵活应对

option go_package = "lib_protobuf/msgproto";
$ lib_protobuf
$ protoc --proto_path=srcproto --go_out=.. examplemsg.proto
import ("fmt""log"msg "lib_protobuf/msgproto""google.golang.org/protobuf/proto"
)

总结

  • Protobuf是一种由Google开发的用于序列化结构化数据的开源数据交换格式
  • 使用protoc 工具可以将 .proto 文件导出成golang可用的数据交换文件
  • protoc-gen-go 是一个用于生成 Go 代码的插件,它是 Protocol Buffers 编译器 protoc 的一部分
  • .proto文件中的go_package选项的值至少需要包含一个 . 或者 /
  • go_package 的值官方给出的示例是这种类似module名的写法 example.com/project/protos/fizz

==>> 反爬链接,请勿点击,原地爆炸,概不负责!<<==

仰天大笑出门去,我辈岂是蓬蒿人。不好意思,我们绝大多数都是蓬蒿人,都是陪跑的NPC,只是在穷尽一生的努力想做一颗稍微不那么矮的蓬蒿而已~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/688423.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在UE5中使用体积材质

在平时使用UE的材质设置时&#xff0c;经常会看见Material Domain Volume类型&#xff0c;但是却很少使用。其实该类型可以配合体积雾使用&#xff0c;并制作体积效果以弥补自带雾参数的不足。 操作流程 首先找到场景中的ExponentialHeightFog组件&#xff0c;开启体积雾Volu…

SpringBoot整合Redis实现登录失败锁定功能

文章目录 前言一、为何选择Redis作为账户锁定的存储解决方案&#xff1f;二、代码案例讲解1.引入依赖2.配置文件3.示例代码 总结 前言 在现代的软件开发中&#xff0c;安全性和用户体验是至关重要的方面。特别是在身份验证和授权方面&#xff0c;保护用户账户免受恶意访问是至…

【论文精读】SimCLR2

摘要 本文提出了一个半监督学习框架&#xff0c;包括三个步骤&#xff1a;无监督或自监督的预训练&#xff1b;有监督微调&#xff1b;使用未标记数据进行蒸馏。具体改进有&#xff1a; 发现在半监督学习&#xff08;无监督预训练有监督微调&#xff09;中&#xff0c;对于较大…

Linux第61步_“buildroot”构建根文件系统第3步_烧写根文件系统到EMMC中_并完善开发板配置

烧录到EMMC测试&#xff0c;还需进一步测试和配置。 1、删除rootfs”目录下的“rootfs.tar”压缩包 打开第1个终端 输入“ls回车” 输入“cd linux/回车”&#xff0c;切换到“linux”目录 输入“ls回车”&#xff0c;列出“linux”目录下的文件和文件夹 输入“cd nfs/回…

xtu oj 1150 n!进制 2.0

题目描述 n!进制是指每i位的权值是(i1)!,每一位的系数为0~i1。 比如n!进制的21 2*2! 1*1! 5。给你一个10进制数&#xff0c;求其n&#xff01;进制的值。 输入 每行一个10进制的整数n,0≤n≤3,628,799。 输出 每行输出一个样例的结果。 样例输入 0 1 10 100 3628799样…

Linux目录操作类命令 less | grep | ln | chattr | 清除日志内容

less 用来浏览超过一页的文件 用 / 可用来查找关键字 q键退出 cat -n 3.txt | less行号显示grep 文本处理工具&#xff0c;以行为单位找关键字 ls -l /boot | grep ^l grep 关键字 文件名 grep runlevel /etc/inittab 参数 -i忽略大小写 -n显示行号 -v排除关键字&#xff0…

数据结构与算法java—算法时间复杂度计算

课程安排 一、数据结构与算法的重要性 数据结构&#xff1a;数据与数据间的关系 1.1、数据结构的研究内容 数据结构&#xff1a;研究非数值计算的程序设计中计算机的操作对象以及它们之间的关系和操作的学科。 非数值计算问题中的数学模型不是数学方程&#xff0c;而是诸如…

线程安全性的原理分析学习

初步认识Volatile 一段代码引发的思考 下面这段代码&#xff0c;演示了一个使用volatile以及没使用volatile这个关键字&#xff0c;对于变量更新的影响 package com.sp.demo;/*** author : lssffy* Description :* date : 2024/2/16 18:42*/ public class VolatileDemo {publi…

类和结构体的区别

类&#xff08;class&#xff09;和结构体&#xff08;struct&#xff09;是面向对象编程&#xff08;Object-Oriented Programming&#xff0c;OOP&#xff09;中常见的两种数据类型&#xff0c;它们在不同的编程语言中有一些共同之处&#xff0c;但也存在一些区别。以下是它们…

MongoDB聚合运算符:$anyElementTrue

$anyElementTrue运算符用来对数组元素进行逻辑判断&#xff0c;如果数组的任何一个元素为true则返回true&#xff0c;否则返回false。空数组返回false。 语法 { $anyElementTrue: [ <expression> ] }<expresssion>必须是能够被解析为数组的表达式。 使用 对于内…

5G——小区搜索流程

小区搜索流程 小区搜索目标&#xff1a;读取到SIB1. 小区搜索流程概述&#xff1a;SIB1在PDSCH信道承载&#xff0c;承载SIB1的信道在哪个位置由PDCCH告诉&#xff0c;而PDCCH的基本信息由MIB告诉&#xff0c;MIB信息由广播信道PBCH广播出去&#xff0c;物理信道解调需要解调…

【机构vip教程】Charles(1):Charles的介绍及安装

Charles Charles 是在 Mac &#xff08;Charles是跨平台的 &#xff09;下常用的网络封包截取工具&#xff0c;在做移动开发、测试时&#xff0c;我们为了调试与服务器端的网络通讯协议&#xff0c;常常需要截取网络封包来分析。Charles是一个HTTP代理服务器,HTTP监视器,反转代…

算法学习系列(三十五):贪心(杂)

目录 引言一、合并果子&#xff08;Huffman树&#xff09;二、排队打水&#xff08;排序不等式&#xff09;三、货仓选址&#xff08;绝对值不等式&#xff09;四、耍杂技的牛&#xff08;推公式&#xff09; 引言 上一篇文章也说过了这个贪心问题没有一个规范的套路和模板&am…

【Spring底层原理高级进阶】轻松掌握 Spring MVC 的拦截器机制:深入理解 HandlerInterceptor 接口和其实现类的用法

&#x1f389;&#x1f389;欢迎光临&#x1f389;&#x1f389; &#x1f3c5;我是苏泽&#xff0c;一位对技术充满热情的探索者和分享者。&#x1f680;&#x1f680; &#x1f31f;特别推荐给大家我的最新专栏《Spring 狂野之旅&#xff1a;底层原理高级进阶》 &#x1f680…

【STM32】重定向printf函数

【STM32】重定向printf函数 重定义fputc到串口 /******************************************************************************************/ /* 加入以下代码, 支持printf函数, 而不需要选择use MicroLIB */#if 1 #include <stdio.h> #if (__ARMCC_VERSION > 6…

OpenAI 发布文生视频大模型 Sora,AI 视频要变天了,视频创作重新洗牌!AGI 还远吗?

一、一觉醒来&#xff0c;AI 视频已变天 早上一觉醒来&#xff0c;群里和朋友圈又被刷屏了。 今年开年 AI 界最大的震撼事件&#xff1a;OpenAI 发布了他们的文生视频大模型 Sora。 OpenAI 文生视频大模型 Sora 的横空出世&#xff0c;预示着 AI 视频要变天了&#xff0c;视…

【机构vip教程】Selenium(2):selenium IDE工具

Selenium IDE工具&#xff1a; 该工具是一个用于构建脚本的初级工具&#xff0c;其实是FireFox的一个插件&#xff0c;拥有一个易于使用的界面。它拥有记录功能&#xff0c;能够记录用户执行的操作&#xff0c;并可以导出为可重复使用的脚本。如果没有编程经验&#xff0c;也可…

C++ 中的 typedef 和 using

语法&#xff1a; typedef 的语法相对固定&#xff0c;而 using 在C11之后提供了更灵活的方式&#xff0c;可以定义模板别名等。模板别名&#xff1a; 在C11之后&#xff0c;using 可以用来定义模板别名&#xff0c;而 typedef 则无法做到这一点。作用域&#xff1a; 在命名空间…

MySQL持久化不为人知的一面⭐️卡顿现象的根源与对策

MySQL持久化不为人知的一面⭐️卡顿现象的根源与对策 2024新年新气象&#xff0c;小菜同学又踏上了求职之路&#xff0c;但求职路艰辛&#xff0c;新年第一次面试又被面试官给问住了 面试官&#xff1a;你有没有遇到过因为持久化&#xff0c;把线程的查询、修改请求卡住的情况…

环中最长子串/字符成环找偶数O

文章目录 题目描述输入描述输出描述示例1说明&#xff1a; 示例2说明&#xff1a; 说明&#xff1a;代码注意&#xff1a;printf中的%c 、%s 题目描述 给你一个字符串 s&#xff0c;字符串s首尾相连成一个环形 &#xff0c;请你在环中找出 ‘o’ 字符出现了偶数次最长子字符串…