5.Cyber RT通信机制解析与实践
5.1 通信机制简介
5.1.1 话题通信
模式:
以发布订阅的方式实现不同节点之间数据交互的通信模式。
如图1-1所示,Listener-Talker通信首先创建了两个Node,分别是Talker Node和 Listener Node。
每个Node实例化Writer类和Reader类对Channel进行消息的读写。
Writer和Reader通过Topic连接,对同一块共享内存(Channel)进行读写处理。
Talker Node 为了实现其“诉说”的功能,实例化Writer,通过Writer来对Channel进行消息写操作。
Listener Node为了实现其“聆听”功能,实例化reader类,通过Reader来对channel进行读操作。
场景:
话题通信方式适合于持续性通信的应用场景,比如雷达信号,摄像头图像信息这类数据的传输。
使用:
Listener-Talker通信一方主动送消息,一方被动接收。
我们想要一直获取车的速度,该需求不需要向发送方返回什么消息,也不需要发送方对消息进行进一步处理。所以我们选择了Listener-Talker通信方式实现该功能。
数据定义:
话题通信中用的的数据格式的定义car message 定义在car.proto中。
5.1.2 服务通信
模式:
以请求响应的方式实现不同节点之间数据交互的通信模式。
如图1-2所示,Server-Client通信可以在客户端发出消息请求时,服务端才进⾏请求回应,并将客户端所需的数据返回给客户端。
场景:
我们想要获得⼩⻋的详细信息,⽐如⻋牌这些,但是⼜不需要⼀直获得该信息,想要在需要知道这些信息的时候请求⼀下就好,于是考虑⽤Server- Client通信实现该功能。
使用:
该通信模式适合临时的消息传输,适⽤于不需要持续性发送数据的场景。
数据定义:
其传输的数据定义依然在对应的proto⽂件中。
5.1.3 参数通信
模式:
以共享的方式实现不同节点之间数据交互的通信模式。
参数服务器是基于服务实现的,包含客户端和服务器端,服务端节点可以存储数据,客户端节点可以访问服务端节点操作数据,这个过程虽然基于请求响应的,但是无需自己实现请求与响应,此过程已经被封装,调用者只需要通过比较简单友好的API就可以实现参数操作。
场景:
自动驾驶场景中有一些参数比如该车的最高限速、最多乘客以及是否自动驾驶等需要被各个模块使用数据,比如是否自动驾驶这个参数可能同时影响这很多模块,也可能被很多模块运行时所更改。
这些数据如何实现在不同模块之间的共享呢?
使用:
类似于“全局变量”的方式来存储这些参数,并定义一些自定义参数来进行使用。
数据定义:
Cyber中设计了全局参数服务器来实现这个功能,其通信基于RTPS协议。该通信方式服务端和客户端都可以设置参数和更改参数。
5.2 数据通信基础Protobuf
5.2.1 Protobuf简介
Protobuf 是 Google 公司开发的一种跨语言和平台的序列化数据结构的方式,是一个灵活的、高效的用于序列化数据的协议,与 XML 和 JSON 格式相比,Protobuf 更小、更快、更便捷。
Protobuf 是跨语言的,并且自带一个编译器( protoc ),只需要用protoc进行编译,就可以编译成 Java、Python、C++、C#、Go 等多种语言代码,然后可以直接使用,不需要再写其它代码,自带有解析的代码。只需要将要被序列化的结构化数据定义一次(在 .proto 文件定义),便可以使用特别生成的源代码(使用protobuf提供的生成工具)轻松的使用不同的数据流完成对结构数据的读写操作。甚至可以更新 .proto 文件中对数据结构的定义而不会破坏依赖旧格式编译出来的程序。其优点如下:
- 性能效率高:序列化后字节占用空间比 XML 少3-10倍,序列化的时间效率比 XML 快20-100倍。
- 使用便捷便捷:将对结构化数据的操作封装成一个类,便于使用。
- 兼容性高:通信两方使用同一数据协议,当有一方修改了数据结构,不会影响另一方的使用。
- 跨语言:支持 Java,C++,Python、Go、Ruby 等多种语言。
5.2.2 Protobuf文件编写
为了方便讲解,使用cyber/examples/proto/examples.proto文件来讲解Protobuf的结构:
Protobuf有几个部分构成:
(1)syntax :表示使用Protobuf的版本,目前Protobuf支持proto3,但在Apollo中使用的是proto2;
(2)package: 表示该文件的路径;
(3) message:表示一种数据结构,message后面跟的是数据结构名字,括号里的字段定义格式为:字段规则 数据类型 字段名称 字段编号。
字段规则主要有三种:
(1)required:调用时必须提供该字段的值,否则该消息被视为“未初始化”,官方不建议使用,当把字段规则改为其他规则会存在兼容性问题。
(2)optional:该字段的值可以设置也可以不设置,会根据数据类型生成一个默认的值。
(3)repeated:类似于动态数组,可以存储多个同类型的数据。
# examples.proto
syntax = "proto2";
package apollo.cyber.examples.proto;
message SamplesTest1 {optional string class_name = 1;optional string case_name = 2;
};
message Chatter {optional uint64 timestamp = 1;optional uint64 lidar_timestamp = 2;optional uint64 seq = 3;optional bytes content = 4;
};
message Driver {optional string content = 1;optional uint64 msg_id = 2;optional uint64 timestamp = 3;
};
5.2.3 Protobuf编译
Protobuf的编译要分为两个步骤:
(1)首先要根据.proto文件生成proto库;
(2)然后再根据生产的proto库生成C++相关的源文件。
这个源文件是C++语言自动编写的,可以被C++程序自动识别。每一个message会被解析生一个类,里面的字段就相当于这个类的属性。在源文件中也会根据属性生成额外的成员,如获取和设置属性的函数。
package(default_visibility = ["//visibility:public"])
#1、生成proto库
proto_library(name = "examples_proto",srcs = ["examples.proto"],
)
#2、生成源文件
cc_proto_library(name = "examples_cc_proto",deps = [":examples_proto",],
)
代码解析:
- 我们使用Bazel构建系统的BUILD文件,用于生成proto库和相关的源文件。
- 首先,通过proto_library规则定义了一个名为"examples_proto"的proto库,它使用"examples.proto"作为源文件。
- 然后,通过cc_proto_library规则定义了一个名为"examples_cc_proto"的源文件生成规则。它依赖于"examples_proto"库,并使用该库生成相关的C++源文件。
- 这些规则中的名称是任意定义的,您可以根据需要进行更改。
5.2.4 小案例
目的:使用Protobuf来定义数据格式,在main程序中设置数据值并输出。
流程:
<1> 创建本节实验工程目录
<2> 编写Apollo包管理相关的BUILD和cyberfile.xml文件文件
<3> 编写proto文件及BUILD文件;
<4> 编写主代码及BUILD文件:
<5> 编译代码目录
<6> 运行可执行文件
<1> 创建本节实验工程目录:
cyber_demo
|-- cyber_03|-- proto|-- BUILD|-- car_msg.proto|-- test_proto|-- BUILD|-- car.cc
|--BUILD
|--cyberfile.xml
|--cyber_demo.BUILD
<2> 编写Apollo包管理相关的BUILD和cyberfile.xml文件
- BUILD文件内容:
load("//tools/install:install.bzl", "install", "install_src_files")install(name = "install",data = ["cyber_demo.BUILD","cyberfile.xml",],deps = ["//cyber_demo/cyber_03/test_proto:install",],
)install_src_files(name = "install_src",src_dir = ["."],dest = "cyber_demo/src",filter = "*",deps = ["//cyber_demo/cyber_03/test_proto:install_src",]
)
编写cyberfile文件:
<package><name>cyber_demo</name><version>1.0.0</version><description>cyber_demo</description><maintainer email="AD-platform">AD-platform@baidu.com</maintainer><type>module</type><src_path>//cyber_demo</src_path><license>BSD</license><author>Apollo</author><depend type="binary" src_path="//cyber" repo_name="cyber">cyber-dev</depend><depend lib_names="protobuf" repo_name="com_google_protobuf">3rd-protobuf-dev</depend><builder>bazel</builder>
</package>
<3> 编写proto源文件及BUILD文件
编写proto文件,文件中定义了车辆的信息:
proto/car_msg.proto
syntax = "proto2";package apollo.cyber.test.proto;
message CarMsg {required string owner = 1;optional string license_plate = 2;optional uint64 max_passenger = 3;repeated string car_info = 4;
}
编写proto的BUILD文件:
load("@rules_proto//proto:defs.bzl", "proto_library")
load("@rules_cc//cc:defs.bzl", "cc_proto_library")
load("//tools:python_rules.bzl", "py_proto_library")
package(default_visibility = ["//visibility:public"])
proto_library(name = "car_msg_proto",srcs = ["car_msg.proto"],
)
cc_proto_library(name = "car_msg_cc_proto",deps = [":car_msg_proto"],
)
<4> 编写主代码及BUILD文件
通过car.cc输出车辆基本信息:
#include "test/proto/car_msg.pb.h"
using namespace std;
int main()
{apollo::cyber::test::proto::CarMsg car;
car.set_owner("apollo");car.set_license_plate("京A88888");car.set_max_passenger(6);car.add_car_info("SUV"); //车型car.add_car_info("Red"); //车身颜色car.add_car_info("electric"); //电动
string owner = car.owner();string license_plate = car.license_plate();uint64_t max_passenger = car.max_passenger();cout << "owner:" << owner << endl;cout << "license_plate:" << license_plate << endl;cout << "max_passenger:" << max_passenger << endl;
for (int i = 0; i < car.car_info_size(); ++i){string info = car.car_info(i);cout << info << " ";}cout << endl;return 0;
}
注意
本段代码中内容需要进行
#include "test/proto/car_msg.pb.h"
--------------------需要替换为---------------------------
#include "cyber_demo/cyber_03/proto/car_msg.pb.h"
编辑car.cc的BUILD文件:
load("@rules_cc//cc:defs.bzl", "cc_binary", "cc_library")
load("//tools/install:install.bzl", "install", "install_src_files")
load("//tools:cpplint.bzl", "cpplint")package(default_visibility = ["//visibility:public"])cc_binary(name = "car",srcs = ["car.cc"],deps = ["//test/proto:car_msg_cc_proto"],
)install(name = "install",runtime_dest = "test/bin",targets = [":car"],
)install_src_files(name = "install_src",src_dir = ["."],dest = "test/src/cyberatest",filter = "*",
)
注意
本段BUILD代码中内容需要进行修改
cc_binary(name = "car",srcs = ["car.cc"],deps = ["//test/proto:car_msg_cc_proto"],
)
--------------------需要替换为---------------------------
cc_binary(name = "car",srcs = ["car.cc"],deps = ["//cyber_demo/cyber_03/proto:car_msg_cc_proto"],
)
<5> 编译代码
cd /apollo_workspace
buildtool build -p cyber_demo/
编译结果如图所示:
编译完成后会在 /opt/apollo/neo/bin/的目录下生成可执行文件car,如下图所示:
<6> 运行可执行文件
cd /opt/apollo/neo/bin/
./car
运行结果如下所示:
5.3 话题通信实例
5.3.1 创建目录
接来下我们就开始用Cyber实现这个小demo,并一一解答以上疑问。该案例我们创建在/apollo/workspace/test文件下,命名为communication整体目录结构如下:
/apollo_workspace/|--test| |--communication| | |--BUILD //cyber_test编译文件| |--talker.cc //talker-listener通信实现| |--listener.cc| |--server.cc //server-client通信实现| |--client.cc| |--param_server.cc //parameter server-client通信实现| |--param_client.cc |--proto |--BUILD //car.proto 编译文件|--car.proto //小车数据定义的文件ß
5.3.2 编写
(1)proto文件编写
通过第一节内容,我们知道了proto文件的使用方法,那么这一章,我们来自己编写一个proto文件,来实现我们“车”的变量定义,在后续的三种通信方式的案例中都是用这一数据定义。
对car.proto文件进行编写,其内容如下:
// 定义proto使用的版本
syntax = "proto2";
//定义包名,在cc文件中调用
package apollo.cyber.test.proto;
//定义一个车的消息,车的型号,车主,车的车牌号,已跑公里数,车速
message Car{optional string plate = 1; optional string type = 2;optional string owner = 3;optional uint64 kilometers = 4;optional uint64 speed = 5;
};
(2)talker.cc 文件编写
- 我们来编写一个talker.cc来实现主动对话。
//头文件引用
#include "test/proto/car.pb.h"
#include "cyber/cyber.h"
#include "cyber/time/rate.h"//car数据定义的引用,可以看出其定义来源于一个proto
using apollo::cyber::examples::cyber_test_proto::Car;int main(int argc, char *argv[]) {// 初始化一个cyber框架apollo::cyber::Init(argv[0]);// 创建talker节点auto talker_node = apollo::cyber::CreateNode("talker");// 从节点创建一个Topic,来实现对车速的查看auto talker = talker_node->CreateWriter<Car>("car_speed");AINFO << "I'll start telling you the current speed of the car.";//设置初始速度为0,然后速度每秒增加5km/huint64_t speed = 0;while (apollo::cyber::OK()) {auto msg = std::make_shared<Car>();msg->set_speed(speed);//假设车速持续增加speed += 5;talker->Write(msg);sleep(1);}return 0;
}
(3) listener.cc 文件编写
- 编写一个listener来实现对talker发送过来的内容进行接收。
#include "test/proto/car.pb.h"
#include "cyber/cyber.h"using apollo::cyber::examples::cyber_test_proto::Car;//接收到消息后的响应函数
void message_callback(const std::shared_ptr<Car>& msg) {AINFO << "now speed is: " << msg->speed();
}int main(int argc, char* argv[]) {//初始化cyber框架apollo::cyber::Init(argv[0]);//创建监听节点auto listener_node = apollo::cyber::CreateNode("listener");//创建监听响应进行消息读取auto listener = listener_node->CreateReader<Car>("car_speed", message_callback);apollo::cyber::WaitForShutdown();return 0;
}
5.3.3 运行与测试
(1) bazel 编译文件编写
编写bazel编译文件(编写在cyber/examples/cyber_test/BUILD中)。
load("@rules_cc//cc:defs.bzl", "cc_binary", "cc_library")
load("//tools/install:install.bzl", "install", "install_src_files")
load("//tools:cpplint.bzl", "cpplint")
package(default_visibility = ["//visibility:public"])
cc_binary(name = "talker",srcs = ["talker.cc"],deps = ["//cyber","//test/proto:car_cc_proto",],linkstatic = True,
)
cc_binary(name = "listener",srcs = ["listener.cc"],deps = ["//cyber","//test/proto:car_cc_proto",],linkstatic = True,
)
(2) 编译:
使用apollo 包管理开发方式提供的buildtool工具
buildtool build -p test/communication/
如下图所示,则编译成功。
(3)运行
首先,先将输出方法改为控制台输出。
export GLOG_alsologtostderr=1
打开两个终端,都进入Apollo的docker环境,一个终端运行talker,另一个运行listener,会发现listener运行后开始接收talker发送的小车速度的消息。
./bazel-bin/test/communication/talker
结果显示:
./bazel-bin/test/communication/listener