Ubuntu下使用protoBuf

一、protobuf简介:

1.1 protobuf的定义:

protobuf是用来干嘛的?

protobuf是一种用于 对结构数据进行序列化的工具,从而实现 数据存储和交换。

(主要用于网络通信中 收发两端进行消息交互。所谓的“结构数据”是指类似于struct结构体的数据,可用于表示一个网络消息。当结构体中存在函数指针类型时,直接对其存储或传输相当于是“浅拷贝”,而对其序列化后则是“深拷贝”。)

**序列化:**将结构数据或者对象转换成能够用于存储和传输的格式。
**反序列化:**在其他的计算环境中,将序列化后的数据还原为数据结构和对象。

从“序列化”字面上的理解,似乎使用C语言中的struct结构体就可以实现序列化的功能:将结构数据填充到定义好的结构体中的对应字段即可,接收方再对结构体进行解析。

在单机的不同进程间通信时,使用struct结构体这种方法实现“序列化”和“反序列化”的功能问题不大,但是,在网络编程中,即面向网络中不同主机间的通信时,则不能使用struct结构体,原因在于:

(1)跨语言平台,例如发送方是用C语言编写的程序,接收方是用Java语言编写的程序,不同语言的struct结构体定义方式不同,不能直接解析;

(2)struct结构体存在内存对齐和 CPU不兼容的问题。

因此,在网络编程中,实现“序列化”和“反序列化”功能需要使用通用的组件,如 Json、XML、protobuf 等。

1.2 protobuf的优缺点:

1.2.1 优点:

① 性能高效:
与XML相比,protobuf更小(3 ~ 10倍)、更快(20 ~ 100倍)、更为简单。

**② 语言无关、平台无关:

**protobuf支持Java、C++、Python等多种语言,支持多个平台。

**③ 扩展性、兼容性强:

**只需要使用protobuf对结构数据进行一次描述,即可从各种数据流中读取结构数据,更新数据结构时不会破坏原有的程序。

Protobuf与XML、Json的性能对比:

测试10万次序列化:

img

测试10万次反序列化:

img

1.2.2 缺点:

① 自解释性较差,数据存储格式为二进制,需要通过 .proto 文件才能了解到内部的数据结构;
② 不适合用来对 基于文本的标记文档(如HTML) 建模。

1.3 protobuf中的数据类型限定修饰符:

protobuf 2 中有三种数据类型限定修饰符:

required, optional, repeated

required表示字段必选,optional表示字段可选,repeated表示一个数组类型。

其中, required 和 optional 已在 proto3 弃用了。

1.4 protobuf中常用的数据类型:

bool,		布尔类型double,		64位浮点数
float,		32位浮点数int32,		32位整数
int64,		64位整数
uint64,		64位无符号整数
sint32,		32位整数,处理负数效率更高
sint64,		64位整数,处理负数效率更高string,		只能处理ASCII字符
bytes,		用于处理多字节的语言字符
enum,		枚举类型

二、protobuf下载与安装

GitHub 地址:
https://github.com/protocolbuffers/protobuf

官方文档地址:
https://developers.google.com/protocol-buffers/

Releases 下载地址:
https://github.com/protocolbuffers/protobuf/releases

另外往下可以看到分平台的文件:
在这里插入图片描述
这些是已经 build 好的 Protocol Compiler,可以直接下载了用,也可以自己下载前面源码文件后自己进行 build

自己下载需要的版本protobuf进行编译,成功后会编译出动态库so和protoc编译器(这个也可在以上网址进行下载需要的版本 )

执行protoc编译器,成功后会有如下提示:

[root@linux] protoc --version
libprotoc 3.15.8

三、protobuf的使用流程

1.1 定义.proto文件

使用protobuf时,需要先根据应用需求编写 .proto 文件 定义消息体格式,例如:

test.proto文件如下:

syntax = "proto3";
package tutorial;option optimize_for = LITE_RUNTIME;message Person {int32 id = 1;repeated string name = 2;
}

以–cpp_out上

1、syntax 关键字表示使用的protobuf的版本,如不指定则默认使用 “proto2”

2、package关键字 表示“包”,生成目标语言文件后对应C++中的namespace命名空间,用于防止不同的消息类型间的命名冲突

3、message对应C++中的类, 内部包含各种属性, 其中repeated修饰数据类型表示是一个数组的概念

1.2 .proto文件编译

通过protoc编译器把.protoc文件编译出xxxx.pb.cc和xxxxx.pb.h

格式如下:

[root@linux] protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/xxx.proto

其中:
$SRC_DIR表示 .proto文件所在的源目录;
–cpp_out=$DST_DIR表示生成目标语言C++代码的目标目录;
xxx.proto表示要对哪个.proto文件进行解析;

以上目录最好使用绝对路径

编译出xxx.pb.cc和xxx.pb.h文件后,使用的话只需要把文件编译进去并链接protobuf动态库即可

类似这种格式:

g++ main_test.cpp xxx.pb.cc -o main_test -lprotobuf

1.3 C++使用protobuf实现序列化的示例

在protobuf源码中的 /examples 目录下有官方提供的protobuf使用示例:addressbook.proto

参考官方示例实现C++使用protobuf进行序列化和反序列化:

addressbook.proto :

syntax = "proto3";
package tutorial;option optimize_for = LITE_RUNTIME;message Person {string name = 1;int32 id = 2;string email = 3;enum PhoneType {MOBILE = 0;HOME = 1;WORK = 2;}message PhoneNumber {string number = 1;PhoneType type = 2;}repeated PhoneNumber phones = 4;
}

生成的addressbook.pb.h 文件内容摘要:

namespace tutorial {class Person;class Person_PhoneNumber;
};class Person_PhoneNumber : public MessageLite {
public:Person_PhoneNumber();virtual ~Person_PhoneNumber();
public://string number = 1;void clear_number();const string& number() const;void set_number(const string& value);//int32 id = 2;void clear_id();int32 id() const;void set_id(int32 value);//string email = 3; //...
};

add_person.cpp :

#include <iostream>
#include <fstream>
#include <string>
#include "pbs/addressbook.pb.h"
using namespace std;void serialize_process() {cout << "serialize_process" << endl;tutorial::Person person;person.set_name("Obama");person.set_id(1234);person.set_email("1234@qq.com");tutorial::Person::PhoneNumber *phone1 = person.add_phones();phone1->set_number("110");phone1->set_type(tutorial::Person::MOBILE);tutorial::Person::PhoneNumber *phone2 = person.add_phones();phone2->set_number("119");phone2->set_type(tutorial::Person::HOME);fstream output("person_file", ios::out | ios::trunc | ios::binary);if( !person.SerializeToOstream(&output) ) {cout << "Fail to SerializeToOstream." << endl;}cout << "person.ByteSizeLong() : " << person.ByteSizLong() << endl;
}void parse_process() {cout << "parse_process" << endl;tutorial::Person result;fstream input("person_file", ios::in | ios::binary);if(!result.ParseFromIstream(&input)) {cout << "Fail to ParseFromIstream." << endl;}cout << result.name() << endl;cout << result.id() << endl;cout << result.email() << endl;for(int i = 0; i < result.phones_size(); ++i) {const tutorial::Person::PhoneNumber &person_phone = result.phones(i);switch(person_phone.type()) {case tutorial::Person::MOBILE :cout << "MOBILE phone : ";break;case tutorial::Person::HOME :cout << "HOME phone : ";break;case tutorial::Person::WORK :cout << "WORK phone : ";break;default:cout << "phone type err." << endl;}cout << person_phone.number() << endl;}
}int main(int argc, char *argv[]) {serialize_process();parse_process();google::protobuf::ShutdownProtobufLibrary();	//删除所有已分配的内存(Protobuf使用的堆内存)return 0;
}

输出结果:

[serialize_process]
person.ByteSizeLong() : 39
[parse_process]
Obama
1234
1234@qq.com
MOBILE phone : 110
HOME phone : 119

分析

protobuf提供的序列化和反序列化的API接口函数:

class MessageLite {
public://序列化:bool SerializeToOstream(ostream* output) const;bool SerializeToArray(void *data, int size) const;bool SerializeToString(string* output) const;//反序列化:bool ParseFromIstream(istream* input);bool ParseFromArray(const void* data, int size);bool ParseFromString(const string& data);
};

三种序列化的方法没有本质上的区别,只是序列化后输出的格式不同,可以供不同的应用场景使用。
序列化的API函数均为const成员函数,因为序列化不会改变类对象的内容, 而是将序列化的结果保存到函数入参指定的地址中。

四、拓展: .proto文件中的 option 选项:

.proto文件中的option选项用于配置protobuf编译后生成目标语言文件中的代码量,可设置为 SPEEDCODE_SIZELITE_RUNTIME 三种。
默认option选项为 SPEED,常用的选项为 LITE_RUNTIME。

三者的区别在于:

① SPEED(默认值):
表示生成的代码运行效率高,但是由此生成的代码编译后会占用更多的空间。

② CODE_SIZE:
与SPEED恰恰相反,代码运行效率较低,但是由此生成的代码编译后会占用更少的空间,通常用于资源有限的平台,如Mobile。

③ LITE_RUNTIME:
生成的代码执行效率高,同时生成代码编译后的所占用的空间也非常少。
这是以牺牲Protobuf提供的反射功能为代价的。
因此我们在C++中链接Protobuf库时仅需链接libprotobuf-lite,而非protobuf。

SPEED 和 LITE_RUNTIME相比,在于调试级别上,例如 msg.SerializeToString(&str); 在 SPEED 模式下会利用反射机制打印出详细字段和字段值,但是 LITE_RUNTIME 则仅仅打印字段值组成的字符串。

因此:可以在调试阶段使用 SPEED 模式,而上线以后提升性能使用 LITE_RUNTIME 模式优化。

最直观的区别是使用三种不同的 option 选项时,编译后产生的 .pb.h 中自定义的类所继承的 protobuf类不同:

//1. SPEED模式:(自定义的类继承自 Message 类)
// .proto 文件:
option optimize_for = SPEED;
// .pb.h 文件:
class Person : public ::PROTOBUF_NAMESPACE_ID::Message {};//2. CODE_SIZE模式:(自定义的类继承自 Message 类)
// .proto 文件:
option optimize_for = CODE_SIZE;
// .pb.h 文件:
class Person : public ::PROTOBUF_NAMESPACE_ID::Message {};//3. LITE_RUNTIME模式:(自定义的类继承自 MessageLite 类)
// .proto 文件:
option optimize_for = LITE_RUNTIME;
// .pb.h 文件:
class Person : public ::PROTOBUF_NAMESPACE_ID::MessageLite {};

参考:

1、https://zhuanlan.zhihu.com/p/594534435?utm_id=0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/170270.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

编程常见报错信息及解决方案汇总

编程常见报错信息及解决方案汇总 1.Java语言编程 1.1 jdk相关 Java API java8帮助文档 Java最新JDK和API下载&#xff08;持续同步更新于官网&#xff09; jdk1.8.0_212 全平台下载 官网下载JDK1.7的方法和步骤 力扣 (LeetCode) PTA题库 1.2 编程工具Eclipse Eclips…

【STM32】GPIO输出

1 GPIO简介 &#xff08;1&#xff09;GPIO&#xff08;General Purpose Input Output&#xff09;通用输入输出口 &#xff08;2&#xff09;可配置为8种输入输出模式 &#xff08;3&#xff09;引脚电平&#xff1a;0V~3.3V&#xff0c;部分引脚可容忍5V&#xff08;可以输…

【LeetCode】挑战100天 Day15(热题+面试经典150题)

【LeetCode】挑战100天 Day15&#xff08;热题面试经典150题&#xff09; 一、LeetCode介绍二、LeetCode 热题 HOT 100-172.1 题目2.2 题解 三、面试经典 150 题-173.1 题目3.2 题解 一、LeetCode介绍 LeetCode是一个在线编程网站&#xff0c;提供各种算法和数据结构的题目&…

聊聊看番的经历

我本来是不看番的。 直到高一上的一个周末&#xff0c;在 Polaris 的强烈推荐下&#xff0c;我看了《Lycoris》&#xff0c;一个美少女战斗番。故事的情节比较简单&#xff0c;并且只有13集&#xff0c;我两个周末就看完了&#xff0c;最后是大团圆结局&#xff0c;非常开心。 …

Debezium日常分享系列之:Debezium 2.4.1.Final发布

Debezium日常分享系列之&#xff1a;Debezium 2.4.1.Final发布 一、Debezium Operator - 指定镜像拉取秘密二、Debezium Operator - 指定容器资源三、Debezium Operator 指标端点改进 从最新的 Debezium 2.5 开发系列中向后移植了一些新功能。所有这些新功能都集中在 Kubernete…

QQ空间上传一次 500张限制突破记录

手机又好多照片了&#xff0c;用手机上传耽误时间&#xff0c;就导出到电脑了&#xff0c;上传到qq空间去。 结果发现不开通黄钻无法上传原图&#xff0c;那就开通吧&#xff01; 开通了黄钻&#xff0c;居然不能一次上传超过 500 张&#xff0c;开通有何用&#xff1f; 五千…

电磁场信息论及先进MIMO (黄大年茶思屋座谈) 笔记

天线阵的负载动态调控&#xff0c;动态阻抗匹配网络&#xff0c;实时跟着扫描角度的变化而变化&#xff0c;可能突破Hannan极限。 新的天线构架&#xff1a; 周期 —》非周期 每个单元不一样 动态可调&#xff0c;可重构 每个天线多端口或多模式 多层天线 非周期结构天线的增…

vscode导入STM32CubeIDE工程文件夹未定义警告清除方法

0 前言 在我们使用vscode去编辑STM32CubeIDE的工程文件时&#xff0c;经常会出现一些类型未定义、头文件路径无效的问题&#xff0c;无法正常使用且非常影响观感。本文介绍如何设置vscode导入的STM32CubeIDE配置文件&#xff0c;解决这一问题。 1 vscode导入STM32CubeIDE工程…

从0到0.01入门 Webpack| 003.精选 Webpack面试题

&#x1f90d; 前端开发工程师&#xff08;主业&#xff09;、技术博主&#xff08;副业&#xff09;、已过CET6 &#x1f368; 阿珊和她的猫_CSDN个人主页 &#x1f560; 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 &#x1f35a; 蓝桥云课签约作者、已在蓝桥云…

rocky8.9配置K8S集群kubernetes,centos同理

rocky8.9配置K8S集群 节点主机名IP地址mastertang1192.168.211.101node1tang2192.168.211.102node2tang3192.168.211.103 1&#xff09;准备工作 全部主机都配置静态ip vi /etc/sysconfig/network-scriptsTYPEEthernet PROXY_METHODnone BROWSER_ONLYno BOOTPROTOstatic DE…

【C指针(五)】6种转移表实现整合longjmp()/setjmp()函数和qsort函数详解分析模拟实现

&#x1f308;write in front :&#x1f50d;个人主页 &#xff1a; 啊森要自信的主页 ✏️真正相信奇迹的家伙&#xff0c;本身和奇迹一样了不起啊&#xff01; 欢迎大家关注&#x1f50d;点赞&#x1f44d;收藏⭐️留言&#x1f4dd;>希望看完我的文章对你有小小的帮助&am…

Docker Remote API 使用详解

文章目录 1.容器相关1.1 列出所有容器1.2 创建新容器1.3 检查容器1.4 启动容器1.5 停止容器1.6 重启容器1.8 删除容器1.14 根据资源使用情况获取容器统计信息1.16 获取容器日志 2.镜像相关2.1 获取镜像清单2.2 构建镜像2.4 检查镜像2.5 获取镜像的历史记录2.6 标记一个镜像2.8 …

java学习part11继承

1.类的继承 继承为了让类之间建立联系&#xff0c;同时复用代码。 子类和父类的同名函数构成重写&#xff0c;能覆盖&#xff0c;除非用super.xx()调。 同名属性不会覆盖&#xff0c;而是并存&#xff0c;用super.xx调。 2.子类初始化 子类会自动调用父类无参构造super() 3.重…

辅助驾驶功能开发-功能规范篇-XPeng-NGP高速自主导航驾驶功能

1.概述 本文档明确对 NGP 的定义及设计要求,将作为自主开发的设计指导文 件。 2.功能定义 根据应用场景将横向控制功能分为两类,非高速公路和高速公路功能。在非高速公路场景中,主要由LCC/TJA/ALC来解决各类细化场景,在高速场景中,NGP来解决细化场景。(本文中高速公路…

如何把自己银行卡里的钱转账充值到自己支付宝上?

原文来源&#xff1a;https://www.caochai.com/article-4524.html 支付宝余额是支付宝核心功能之一&#xff0c;主要用于网购支付、线下支付、转账等场景。用户可以将银行卡、余额宝等资金转入或转出至支付宝余额&#xff0c;实现快速转账和支付。 如何把自己银行卡里的钱转账…

PyCharm 安装插件Vue

一、打开PyCharm工具 File -> Settings -> Plugins 二、在项目中添加Vue.js的依赖项。 npm install vue 三、页面应用

基于51单片机的百叶窗控制系统设计

**单片机设计介绍&#xff0c; 基于51单片机的百叶窗控制系统设计 文章目录 一 概要二、功能设计设计思路 三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于51单片机的百叶窗控制系统设计可以分为硬件设计和软件设计两个方面。下面是一个简要的设计介绍&#xff1a; …

【微服务专题】SpringBoot自动配置简单源码解析

目录 前言阅读对象阅读导航前置知识什么是自动配置0.1 基本概念0.2 SpringBoot中的【约定大于配置】0.3 从SpringMVC看【约定大于配置】0.4 从Redis看【约定大于配置】0.5 小结 笔记正文一、EnableAutoConfiguration源码解析二、SpringBoot常用条件注解源码解析2.1 自定义条件注…

WordPress插件开发教程手册 — 钩子(Hooks)

钩子是用一段代码添加/修改另外一段代码的方式&#xff0c;是 WordPress插件和主题与 WordPress 内核交互的基础&#xff0c;钩子在 WordPress 内核中也被广泛使用。WordPress 中有两种钩子&#xff0c;Action 和 Filter。使用钩子时&#xff0c;我们需要先编写一个自定义函数作…

我的创作纪念日第256天

机缘 时间过得好快啊&#xff0c;没想过一眨眼博客写了已经快一年了&#xff0c;这俩月其实写的挺少的&#xff0c;因为一方面是上了项目&#xff0c;一方面要备考研究生考试&#xff0c;所以很难权衡自己的时间和精力。 收获 写博客对我来说&#xff0c;提升能力是一方面&am…