目录
前言
一、标量数据类型
二、protobuf中的 “数组”
三、特殊类型
1、枚举类型
(1)类型讲解
(2)升级通讯录
2、Any类型
(1)类型讲解
(2)升级通讯录
3、oneof类型
(1)类型讲解
(2)升级通讯录
4、map类型
(1)类型讲解
(2)升级通讯录
前言
本文为protobuf系列的第二期,本文主要介绍protobuf中的数据类型,初步认识这些数据类型后,在来通过这些类型来不断完善我们通讯录的小项目;
一、标量数据类型
protobuf中将类型分为标量数据类型与特殊类型(枚举等),下面为常见的标量数据类型,与在C++中对应类型;
.proto type | Notes | C++ type |
double | 无 | double |
float | 无 | float |
int32 | 使用变长编码。负数的编码效率较低,若字段可能为负值,应用 sint32 代替。 | int32 |
int64 | 使用变长编码。负数的编码效率较低,若字段可能为负值,应用 sint64 代替。 | int64 |
uint32 | 使用变长编码。 | uint32 |
uint64 | 使用变长编码。 | uint64 |
sint32 | 使用变长编码。符号整型。负值的编码效率高于常规的 int32 类型。 | int32 |
sint64 | 使用变长编码。符号整型。负值的编码效率高于常规的 int64 类型。 | int64 |
fixed32 | 定长4字节。若值常大于 2^28 则会比 uint32 更高效。 | uint32 |
fixed64 | 定长8字节。若值常大于 2^56 则会比 uint64 更高效。 | uint64 |
sfixed32 | 定长4字节。 | int32 |
sfixed64 | 定长8字节。 | int64 |
bool | 无 | bool |
string | 包含 UTF-8 和 ASCII 编码的字符串,长度不能超过 2^32 。 | string |
bytes | 可包含任意的字节序列但长度不能超过 2^32 。 | string |
上述资料来自 protobuf 官网。如下图所示;protobuf官网
这里对上述表格内容进行解释补充;
1、所谓变长编码指的是protobuf在序列化中,不是按照固定字节进行序列化,而采用根据具体数据变化而不定长的编码。
2、定长编码则与变长为相反概念,为固定字节编码。
二、protobuf中的 “数组”
假若我们想让message中字段中有数组类型的字段我们应该如何处理呢?实际上,这里是通过字段规则来控制的,我们通过给字段声明额外属性来达到数组的效果;
singular:消息中包含该字段零次或一次。默认使用该字段。
repeated:消息中可以包含该字段任意多次(包括零次),其中重复值的顺序会被保留。可以理解为定义了⼀个数组。
我们继续完善通讯录小项目(没看上篇文章的不要急,这里仍可以看懂),我们分析一下我们PeopleInfo结构中所需字段,我们需要一个联系人姓名,一个联系人年龄,接着我们需要联系人电话,此时我们会发现联系人电话可能不止一个,所以我们应该将电话号码设置成一个类似数组的字段,这里由于后面每个电话可能还有电话类型,如座机、移动电话等,所以这里我们将电话单独放在一个message中;具体代码如下;
syntax="proto3";
package contacts;
// 非嵌套
message Phone
{string phone_num = 1;
}message PeopleInfo
{string name = 1; // 姓名int32 age = 2; // 年龄// 可嵌套// message Phone// {// string PhoneNum = 1;// }repeated Phone phones = 3; // 电话
}
注意上述中,我们展示message可以进行嵌套,甚至可以写在别的proto文件中,我们通过import 导入那个文件就可以使用了,这里就不展示了;
我们通过protoc编译器编译这个proto文件,如下所示;
我们查看.h文件来看一看proto帮我们生成序列化、反序列化相关方法;如下所示;
由于环境原因,我的机器上会显示报错,但实际上没有问题的,如上图,我们可以找到一个contacts的命名空间,这个命名空间就是我们在proto文件通过package生成的命名空间;
仔细翻阅,我们就能找到两个类,一个是Phone。一个是PeopleInfo,这两个就是由我们在proto文件中的message通过proto编译器编译来的;一般来说,都会给每个message中每个字段生成一个查询字段的接口,和一个设置字段的接口,查询字段以字段名为接口名,设置字段前带前缀set;我们继续阅读代码;
上面为message中三个普通字段的相关接口,我们仔细想一下,其中phone_num为嵌套message中的字段,这个嵌套message是一个数组,那么这个数组又如何的接口呢?实际上,我们也可以找到,只不过我把他单独拎出来了,如下图;
我单独标出来了四个接口,其中第一个接口就是数组中元素个数;第二个接口是我们传入数组的一个下标,该接口返回该下标下的地址,我们这个地址我们再仔细观察发现就是Phone*的,也就是这个数组存储数据的类型,我们通过这个地址可更改对应下标下元素的值;第三个接口是查询指定下标下的元素值;第四个接口与第二个接口类似,我们不关心将值加入哪个下标下,我们就指向增加要给元素,此时调用该接口返回一个地址,我们将数据放在这个地址下即可;
基于上面的proto代码,我们现在想实现一个写程序和一个读程序,读程序要求我们从用户输入中获取联系人的姓名,年龄。电话号等信息;然后将该信息通过protobuf进行序列化,存入文件中;我们的读程序则是从文件中读取程序,然后打印出来;代码如下;
首先更新proto文件,我们引入一个message叫做contact,该message中只有一个字段,就是PeopleInfo,如下所示(记得重新编译proto文件哦);
// contacts.proto文件
syntax="proto3";
package contacts;
// 非嵌套
message Phone
{string phone_num = 1;
}message PeopleInfo
{string name = 1; // 姓名int32 age = 2; // 年龄repeated Phone phones = 3; // 电话
}message Contact
{PeopleInfo people = 1;
}
接着我们编写write程序,如下所示;
// write.cc文件
#include <iostream>
#include <string>
#include <fstream>
#include "contacts.pb.h"#define FILE_NAME "./contact.bin"using namespace std;void AddPeopleInfo(contacts::Contact& con);int main()
{contacts::Contact con;// 1、获取文件中联系人相关信息,若有读进contact中fstream input(FILE_NAME, ios::in | ios::binary);if(!input){input.close();cout << "文件不存在, 已重新创建新文件!" << endl;}else if(!con.ParseFromIstream(&input)){input.close();cout << "反序列化失败, 程序退出!" << endl;exit(1);}input.close();// 2、向通讯录中添加联系人AddPeopleInfo(con);// 3、将通讯录重新写入文件中fstream output(FILE_NAME, ios::out | ios::trunc | ios::binary);if(!output){output.close();cout << "写文件时,文件打开失败, 程序退出!" << endl;exit(2);}else if(!con.SerializeToOstream(&output)){output.close();cout << "序列化失败, 程序退出!" << endl;exit(3);}cout << "写入成功!" << endl;output.close();return 0;
}void AddPeopleInfo(contacts::Contact& con)
{cout << "--------------- 添加联系人 ---------------" << endl;// 新增一个联系人contacts::PeopleInfo* people = con.add_people();// 从用户输入中获取联系人姓名string name;cout << "请输入联系人姓名# ";getline(cin, name);// 设置姓名people->set_name(name);// 获取联系人年龄cout << "请输入联系人年龄# ";int age;cin >> age;cin.ignore(256, '\n'); // 清空输入缓冲区中换行// 设置年龄people->set_age(age);// 获取联系人号码for(int i = 1; ; i++){string phone_num_str;cout << "联系人手机号" << i << "(只输入回车表示完成电话新增)# ";getline(cin, phone_num_str);if(phone_num_str.empty()) break;// 新增一个联系人号码类contacts::Phone* phone = people->add_phones();// 设置联系人号码类中的号码phone->set_phone_num(phone_num_str);}
}
我们运行该程序,并输入数据,此时会生成一个二进制文件,其中存放的就是我们序列化后的结果;如下图所示;
我们看不懂这个二进制序列,但是我们可以通过protoc编译器给我们提供的一个命令来解析这个二进制文件,具体用法如下图所示;
补充一下,图上的第一个参数为我们要按照哪个message的格式进行解析,因此这个参数为指定的message,第二个参数为指定message所在文件;由于decode指令默认从标准输入获取数据,所以这里进行重定向,让这条指令从指定文件读取数据;最后结果与我们输入结果一模一样,接下来我们可以再编写一个read程序完成反序列化的工作,我们通过这个read程序进一步来验证write程序是否正确;
// read.cc文件
#include <iostream>
#include <string>
#include <fstream>
#include "contacts.pb.h"#define FILE_NAME "./contact.bin"using namespace std;void PrintContacts(contacts::Contact& con);int main()
{contacts::Contact con;// 1、 读取文件中数据fstream input(FILE_NAME, ios::in | ios::binary);if(!input){input.close();cout << "文件不存在, 已重新创建新文件!" << endl;}else if(!con.ParseFromIstream(&input)){input.close();cout << "反序列化失败, 程序退出!" << endl;exit(1);}input.close();// 2、打印contact内容PrintContacts(con);return 0;
}void PrintContacts(contacts::Contact& con)
{for(int i = 0; i < con.people_size(); i++){cout << "------------------- 联系人" << i + 1 << " -------------------" << endl;// 获取联系人信息contacts::PeopleInfo* people = con.mutable_people(i);cout << "联系人姓名: " << people->name() << endl;cout << "联系人年龄: " << people->age() << endl;for(int j = 0; j < people->phones_size(); j++){const contacts::Phone& phone = people->phones(j);cout << "联系人号码" << j + 1 << ": " << phone.phone_num() << endl;}}
}
为了方便这两个文件的编译,我们编写了一份makefile文件,如下所示;
# makefile文件
.PHONY:all
all:read writeread:read.cc contacts.pb.ccg++ -o $@ $^ -std=c++11 -lprotobuf
write:write.cc contacts.pb.ccg++ -o $@ $^ -std=c++11 -lprotobuf
.PHONY:clean
clean:rm -f write read
我们运行read程序,结果如下所示;
为了进一步验证我们再次调用write,接着再调用read,如下图所示;
两个联系人都打印出来了,程序完成正确;
三、特殊类型
1、枚举类型
(1)类型讲解
protobuf为我们提供了一种与C语言C++类似的枚举类型;用法与C语言的枚举类型类似;如下所示;
syntax="proto3";enum PhoneType
{MP = 0; // 分号分割TEL = 1;
}
注意:
1、第一个枚举值必须从0开始!
2、每个枚举值之间用分号分隔开
3、对于一个枚举字段来说,默认的枚举值为0
4、同级(同层)的枚举类型,各个枚举类型中的常量不能重名。(下面举例理解)
上图中两个枚举类型的类型名不同,但是都一个MP,这种情况也属于同层;或者说同一个作用域的两个文件中,也不允许;比如我们再创建一个文件,文件中也有枚举值MP,当我们import这个文件后,同样也会编译报错;
(2)升级通讯录
首先,我们给通讯录的每个号码增加一个号码类型,如移动电话或者固定电话;所以我们先更改proto文件,如下所示;
syntax="proto3";
package contacts;enum PhoneType
{MP = 0; // 移动电话TEL = 1; // 固定电话
}// 非嵌套
message Phone
{string phone_num = 1; // 手机号PhoneType phone_type = 2; // 手机号类型
}message PeopleInfo
{string name = 1; // 姓名int32 age = 2; // 年龄repeated Phone phones = 3; // 电话
}message Contact
{repeated PeopleInfo people = 1;
}
我们再次给我们的通讯录代码的write程序和read程序进行修改,write程序增加让用户输入电话类型,read程序也会相应打印出对应程序;
// write.cc文件
#include <iostream>
#include <string>
#include <fstream>
#include "contacts.pb.h"#define FILE_NAME "./contact.bin"using namespace std;void AddPeopleInfo(contacts::Contact& con);int main()
{contacts::Contact con;// 1、获取文件中联系人相关信息,若有读进contact中fstream input(FILE_NAME, ios::in | ios::binary);if(!input){input.close();cout << "文件不存在, 已重新创建新文件!" << endl;}else if(!con.ParseFromIstream(&input)){input.close();cout << "反序列化失败, 程序退出!" << endl;exit(1);}input.close();// 2、向通讯录中添加联系人AddPeopleInfo(con);// 3、将通讯录重新写入文件中fstream output(FILE_NAME, ios::out | ios::trunc | ios::binary);if(!output){output.close();cout << "写文件时,文件打开失败, 程序退出!" << endl;exit(2);}else if(!con.SerializeToOstream(&output)){output.close();cout << "序列化失败, 程序退出!" << endl;exit(3);}cout << "写入成功!" << endl;output.close();return 0;
}void AddPeopleInfo(contacts::Contact& con)
{cout << "--------------- 添加联系人 ---------------" << endl;// 新增一个联系人contacts::PeopleInfo* people = con.add_people();// 从用户输入中获取联系人姓名string name;cout << "请输入联系人姓名# ";getline(cin, name);// 设置姓名people->set_name(name);// 获取联系人年龄cout << "请输入联系人年龄# ";int age;cin >> age;cin.ignore(256, '\n'); // 清空输入缓冲区中换行// 设置年龄people->set_age(age);// 获取联系人号码for(int i = 1; ; i++){// 获取用户输入联系人电话string phone_num_str;cout << "联系人手机号" << i << "(只输入回车表示完成电话新增)# ";getline(cin, phone_num_str);if(phone_num_str.empty()) break;// 新增一个联系人号码类contacts::Phone* phone = people->add_phones();// 设置联系人号码类中的号码phone->set_phone_num(phone_num_str);// 获取用户输入电话类型cout << "该电话类型(1.移动电话 2.固定电话): ";int type = 0;cin >> type;cin.ignore(256, '\n');// 设置电话类型switch (type){case 1:phone->set_phone_type(contacts::PhoneType::MP);break;case 2:phone->set_phone_type(contacts::PhoneType::TEL);break;default:break;}}
}
// read.cc文件
#include <iostream>
#include <string>
#include <fstream>
#include "contacts.pb.h"#define FILE_NAME "./contact.bin"using namespace std;void PrintContacts(contacts::Contact& con);int main()
{contacts::Contact con;// 1、 读取文件中数据fstream input(FILE_NAME, ios::in | ios::binary);if(!input){input.close();cout << "文件不存在, 已重新创建新文件!" << endl;}else if(!con.ParseFromIstream(&input)){input.close();cout << "反序列化失败, 程序退出!" << endl;exit(1);}input.close();// 2、打印contact内容PrintContacts(con);return 0;
}void PrintContacts(contacts::Contact& con)
{for(int i = 0; i < con.people_size(); i++){cout << "------------------- 联系人" << i + 1 << " -------------------" << endl;// 获取联系人信息contacts::PeopleInfo* people = con.mutable_people(i);cout << "联系人姓名: " << people->name() << endl;cout << "联系人年龄: " << people->age() << endl;for(int j = 0; j < people->phones_size(); j++){// 获取电话号码信息const contacts::Phone& phone = people->phones(j);cout << "联系人号码" << j + 1 << ": " << phone.phone_num();// 获取电话类型信息cout << "(" << contacts::PhoneType_Name(phone.phone_type()) << ")" << endl;}}
}
这里补充一个接口,接口名是枚举名+Name,也就是下面的PhoneType_Name,这个接口可以将枚举名转换成字段名;如下所示;
具体运送结果如下所示;
我们可以看到前面张三、李四我们并未为其增加电话类型,可以还是有默认值MP;
2、Any类型
(1)类型讲解
字段还可以声明为 Any 类型,可以理解为泛型类型。使⽤时可以在 Any 中存储任意消息类型。Any 类型的字段也⽤ repeated 来修饰。
Any 类型是 google 已经帮我们定义好的类型,在安装 ProtoBuf 时,其中的 include ⽬录下查找所有google 已经定义好的 .proto ⽂件。
接下来我们通过这个字段继续完善我们的通讯录,我们给我们的通讯录增加一个地址字段,我们设置两个地址,一个是家庭地址,一个是单位地址,我们将这两个地址放到同一个message中,接着我们不想像存储手机号一样存储,而是在PeopleInfo中定义一个Any类型;
(2)升级通讯录
我们根据上述重新再次更新我们的proto文件;如下所示;
syntax="proto3";
package contacts;// 使用any前必须引入文件
import "google/protobuf/any.proto";message Address
{string home_address = 1;string unit_address = 2;
}enum PhoneType
{MP = 0; // 移动电话TEL = 1; // 固定电话
}// 非嵌套
message Phone
{string phone_num = 1; // 手机号PhoneType phone_type = 2; // 手机号类型
}message PeopleInfo
{string name = 1; // 姓名int32 age = 2; // 年龄repeated Phone phones = 3; // 电话google.protobuf.Any data = 4; // 地址
}message Contact
{repeated PeopleInfo people = 1;
}
接着我们依次升级write程序与read程序文件;
// write.cc文件// 创建地址类contacts::Address address;string home_address;cout << "联系人家庭地址: ";getline(cin, home_address);// 设置地址类中的家庭地址address.set_home_address(home_address);string unit_address;cout << "联系人单位地址: ";getline(cin, unit_address);// 设置地址类中的单位地址address.set_unit_address(unit_address);// 将Address类型转换成Any类型people->mutable_data()->PackFrom(address);
// read.cc文件// 判断Any字段是否被设置以及判断Any字段中类型是否为Addressif(people->has_data() && people->data().Is<contacts::Address>()){contacts::Address address;// 将Any类型转换成Address类型people->data().UnpackTo(&address);if(!address.home_address().empty()){cout << "联系人家庭地址: " << address.home_address() << endl;}if(!address.unit_address().empty()){cout << "联系人单位地址: " << address.unit_address() << endl;}}
这里涉及三个新接口,具体作用如下;
PackFrom: 可以将任意消息类型转为 Any 类型。
UnpackTo:将 Any 类型转回之前设置的任意消息类型。
Is:判断存放的消息类型是否为 typename T。
测试运行结果如下;
3、oneof类型
(1)类型讲解
如果消息中有很多可选字段,并且将来同时只有⼀个字段会被设置,那么就可以使⽤ oneof 加强这个⾏为,也能有节约内存的效果。
简单来说,就是类似于C语言中的联合体,多个字段只有一个字段生效;
(2)升级通讯录
我们给通讯录增加一个其他联系方式,如QQ或这微信,我们规定这两者之间只能选一个;我们根据这个重写proto文件,如下所示;
syntax="proto3";
package contacts;// 使用any前必须引入文件
import "google/protobuf/any.proto";message Address
{string home_address = 1;string unit_address = 2;
}enum PhoneType
{MP = 0; // 移动电话TEL = 1; // 固定电话
}// 非嵌套
message Phone
{string phone_num = 1; // 手机号PhoneType phone_type = 2; // 手机号类型
}message PeopleInfo
{string name = 1; // 姓名int32 age = 2; // 年龄repeated Phone phones = 3; // 电话google.protobuf.Any data = 4; // 地址oneof other_contact{string qq = 5;string wechat = 6;}
}message Contact
{repeated PeopleInfo people = 1;
}
oneof字段内设置的字段属于外层message字段编号范围,故注意冲突问题;我们再次修改write与read程序代码,如下所示;
// write.cc文件
// 设置其他联系字段int other_contact = 0;cout << "请选择其他联系方式(1.qq 2.wechat): ";cin >> other_contact;cin.ignore(256, '\n');string qq;string wechat;switch(other_contact){case 1:cout << "请输入qq号: ";getline(cin, qq);people->set_qq(qq);break;case 2:cout << "请输入微信号: ";getline(cin, wechat);people->set_wechat(wechat);break;default:cout << "选择有误, 未成功设置其他联系方式" << endl;break; }
// read.cc文件
// 判断其他联系方式字段是否被设置switch(people->other_contact_case()){case contacts::PeopleInfo::OtherContactCase::kQq:cout << "联系人qq: " << people->qq();break;case contacts::PeopleInfo::OtherContactCase::kWechat:cout << "联系人微信号: " << people->wechat();break;default:break;}
4、map类型
(1)类型讲解
map类型就是与我们C++中map类似,就是建立一种映射;其格式为:
map<key_type, value_type> map_field = N;
我们在使用时,仍有以下几点需要特别注意;
- key_type是除了 float 与 bytes 以外的任意 标量 数据类型。value_type可以是任意类型。
- map字段不可以用 repeated 来修饰。
- map中存入的数据是 无序 的。
(2)升级通讯录
我们给我们的通讯录最后添加一个备注信息,我们希望这个备注信息呈现一种键值对的情况;我们首先更新我们的proto文件;如下所示;
// contacts.proto文件
syntax="proto3";
package contacts;// 使用any前必须引入文件
import "google/protobuf/any.proto";message Address
{string home_address = 1;string unit_address = 2;
}enum PhoneType
{MP = 0; // 移动电话TEL = 1; // 固定电话
}// 非嵌套
message Phone
{string phone_num = 1; // 手机号PhoneType phone_type = 2; // 手机号类型
}message PeopleInfo
{string name = 1; // 姓名int32 age = 2; // 年龄repeated Phone phones = 3; // 电话google.protobuf.Any data = 4; // 地址// 其他联系方式oneof other_contact{string qq = 5;string wechat = 6;}// 备注map<string, string> remarks = 7;
}message Contact
{repeated PeopleInfo people = 1;
}
接着更新read和write程序,如下所示;
// write.cc文件// 设置备注字段for(int i = 0; ; i++){string key;cout << "请输入备注" << i + 1 << "标题(只输入回车表示完成备注): ";getline(cin, key);if(key.empty()) break;string value;cout << "请输入备注" << i + 1 << "内容: ";getline(cin, value);people->mutable_remarks()->insert({key, value});}
// read.cc文件
// 设置备注字段
for(int i = 0; ; i++)
{string key;cout << "请输入备注" << i + 1 << "标题(只输入回车表示完成备注): ";getline(cin, key);if(key.empty()) break;string value;cout << "请输入备注" << i + 1 << "内容: ";getline(cin, value);people->mutable_remarks()->insert({key, value});
}
其中我们需要主要的是对于map来说,mutable系列接口的返回值就是C++map类型的指针;如下所示;
运行测试结果也在下面贴出;