GRPC: 如何实现分布式日志跟踪?

简介: 本文将介绍如何在 gRPC 分布式场景中,实现 API 的日志跟踪。

介绍

本文将介绍如何在 gRPC 分布式场景中,实现 API 的日志追踪。

什么是 API 日志追踪?

一个 API 请求会跨多个微服务,我们希望通过一个唯一的 ID 检索到整个链路的日志。

我们将会使用 rk-boot 来启动 gRPC 服务。

请访问如下地址获取完整教程:

  • https://rkdev.info/cn
  • RK 文档 (备用)

安装

go get github.com/rookie-ninja/rk-boot

快速开始

rk-boot 默认集成了 grpc-gateway,并且会默认启动。

我们会创建 /api/v1/greeter API 进行验证,同时开启 logging, meta 和 tracing 拦截器以达到目的。

1. 创建 api/v1/greeter.proto

syntax = "proto3";package api.v1;option go_package = "api/v1/greeter";service Greeter {rpc Greeter (GreeterRequest) returns (GreeterResponse) {}
}message GreeterRequest {string name = 1;
}message GreeterResponse {string message = 1;
}

2. 创建 api/v1/gw_mapping.yaml

type: google.api.Service
config_version: 3# Please refer google.api.Http in https://github.com/googleapis/googleapis/blob/master/google/api/http.proto file for details.
http:rules:- selector: api.v1.Greeter.Greeterget: /api/v1/greeter

3. 创建 buf.yaml

version: v1beta1
name: github.com/rk-dev/rk-demo
build:roots:- api

4. 创建 buf.gen.yaml

version: v1beta1
plugins:# protoc-gen-go needs to be installed, generate go files based on proto files- name: goout: api/genopt:- paths=source_relative# protoc-gen-go-grpc needs to be installed, generate grpc go files based on proto files- name: go-grpcout: api/genopt:- paths=source_relative- require_unimplemented_servers=false# protoc-gen-grpc-gateway needs to be installed, generate grpc-gateway go files based on proto files- name: grpc-gatewayout: api/genopt:- paths=source_relative- grpc_api_configuration=api/v1/gw_mapping.yaml# protoc-gen-openapiv2 needs to be installed, generate swagger config files based on proto files- name: openapiv2out: api/genopt:- grpc_api_configuration=api/v1/gw_mapping.yaml

5. 编译 proto file

$ buf generate
如下的文件会被创建。
$ tree api/gen 
api/gen
└── v1├── greeter.pb.go├── greeter.pb.gw.go├── greeter.swagger.json└── greeter_grpc.pb.go1 directory, 4 files

6. 创建 bootA.yaml & serverA.go

Server-A 监听 1949 端口,并且发送请求给 Server-B。

我们通过 rkgrpcctx.InjectSpanToNewContext() 方法把 Tracing 信息注入到 Context 中,发送给 Server-B。

---
grpc:- name: greeter                   # Name of grpc entryport: 1949                      # Port of grpc entryenabled: true                   # Enable grpc entryinterceptors:loggingZap:enabled: truemeta:enabled: truetracingTelemetry:enabled: true
package mainimport ("context""demo/api/gen/v1""fmt""github.com/rookie-ninja/rk-boot""github.com/rookie-ninja/rk-grpc/interceptor/context""google.golang.org/grpc"
)// Application entrance.
func main() {// Create a new boot instance.boot := rkboot.NewBoot(rkboot.WithBootConfigPath("bootA.yaml"))// Get grpc entry with namegrpcEntry := boot.GetGrpcEntry("greeter")grpcEntry.AddRegFuncGrpc(registerGreeter)grpcEntry.AddRegFuncGw(greeter.RegisterGreeterHandlerFromEndpoint)// Bootstrapboot.Bootstrap(context.Background())// Wait for shutdown sigboot.WaitForShutdownSig(context.Background())
}func registerGreeter(server *grpc.Server) {greeter.RegisterGreeterServer(server, &GreeterServer{})
}type GreeterServer struct{}func (server *GreeterServer) Greeter(ctx context.Context, request *greeter.GreeterRequest) (*greeter.GreeterResponse, error) {// Call serverB at 2008 with grpc clientopts := []grpc.DialOption{grpc.WithBlock(),grpc.WithInsecure(),}conn, _ := grpc.Dial("localhost:2008", opts...)defer conn.Close()client := greeter.NewGreeterClient(conn)// Inject current trace information into contextnewCtx := rkgrpcctx.InjectSpanToNewContext(ctx)client.Greeter(newCtx, &greeter.GreeterRequest{Name: "A"})return &greeter.GreeterResponse{Message: fmt.Sprintf("Hello %s!", request.Name),}, nil
}

7. 创建 bootB.yaml & serverB.go

Server-B 监听 2008 端口。

---
grpc:- name: greeter                   # Name of grpc entryport: 2008                      # Port of grpc entryenabled: true                   # Enable grpc entryinterceptors:loggingZap:enabled: truemeta:enabled: truetracingTelemetry:enabled: true
package mainimport ("context""demo/api/gen/v1""fmt""github.com/rookie-ninja/rk-boot""google.golang.org/grpc"
)// Application entrance.
func main() {// Create a new boot instance.boot := rkboot.NewBoot(rkboot.WithBootConfigPath("bootB.yaml"))// Get grpc entry with namegrpcEntry := boot.GetGrpcEntry("greeter")grpcEntry.AddRegFuncGrpc(registerGreeterB)grpcEntry.AddRegFuncGw(greeter.RegisterGreeterHandlerFromEndpoint)// Bootstrapboot.Bootstrap(context.Background())// Wait for shutdown sigboot.WaitForShutdownSig(context.Background())
}func registerGreeterB(server *grpc.Server) {greeter.RegisterGreeterServer(server, &GreeterServerB{})
}type GreeterServerB struct{}func (server *GreeterServerB) Greeter(ctx context.Context, request *greeter.GreeterRequest) (*greeter.GreeterResponse, error) {return &greeter.GreeterResponse{Message: fmt.Sprintf("Hello %s!", request.Name),}, nil
}

8. 文件夹结构

├── api
│   ├── gen
│   │   └── v1
│   │     ├── greeter.pb.go
│   │     ├── greeter.pb.gw.go
│   │     ├── greeter.swagger.json
│   │     └── greeter_grpc.pb.go
│   └── v1
│       ├── greeter.proto
│       └── gw_mapping.yaml
├── bootA.yaml
├── bootB.yaml
├── buf.gen.yaml
├── buf.yaml
├── go.mod
├── go.sum
├── serverA.go
└── serverB.go

9. 启动 ServerA & ServerB

$ go run serverA.go
$ go run serverB.go

10. 往 ServerA 发送请求

¥ curl "localhost:1949/api/v1/greeter?name=rk-dev"

11. 验证日志

两个服务的日志中,会有同样的 traceId,不同的 requestId。

我们可以通过 grep traceId 来追踪 RPC。

  • ServerA
------------------------------------------------------------------------
endTime=2021-10-20T00:02:21.739688+08:00
...
ids={"eventId":"0d145356-998a-4999-ab62-6f1b805274a0","requestId":"0d145356-998a-4999-ab62-6f1b805274a0","traceId":"c36a45eb076066df39fa407174012369"}
...
operation=/api.v1.Greeter/Greeter
resCode=OK
eventStatus=Ended
EOE
  • ServerB
------------------------------------------------------------------------
endTime=2021-10-20T00:02:21.739125+08:00
...
ids={"eventId":"8858a6eb-e953-42ad-bdc3-c466bbbd798e","requestId":"8858a6eb-e953-42ad-bdc3-c466bbbd798e","traceId":"c36a45eb076066df39fa407174012369"}
...
operation=/api.v1.Greeter/Greeter
resCode=OK
eventStatus=Ended
EOE

概念

当我们没有使用例如 jaeger 调用链服务的时候,我们希望通过日志来追踪分布式系统里的 RPC 请求。

rk-boot 的拦截器会通过 openTelemetry 库来向日志写入 traceId 来追踪 RPC。

当启动了日志拦截器,原数据拦截器,调用链拦截器的时候,拦截器会往日志里写入如下三种 ID。

EventId

当启动了日志拦截器,EventId 会自动生成。

---
grpc:- name: greeter                   # Name of grpc entryport: 1949                      # Port of grpc entryenabled: true                   # Enable grpc entryinterceptors:loggingZap:enabled: true
------------------------------------------------------------------------
...
ids={"eventId":"cd617f0c-2d93-45e1-bef0-95c89972530d"}
...

RequestId

当启动了日志拦截器和原数据拦截器,RequestId 和 EventId 会自动生成,并且这两个 ID 会一致。

---
grpc:- name: greeter                   # Name of grpc entryport: 1949                      # Port of grpc entryenabled: true                   # Enable grpc entryinterceptors:loggingZap:enabled: truemeta:enabled: true
------------------------------------------------------------------------
...
ids={"eventId":"8226ba9b-424e-4e19-ba63-d37ca69028b3","requestId":"8226ba9b-424e-4e19-ba63-d37ca69028b3"}
...
即使用户覆盖了 RequestId,EventId 也会保持一致。
rkgrpcctx.AddHeaderToClient(ctx, rkgrpcctx.RequestIdKey, "overridden-request-id")
------------------------------------------------------------------------
...
ids={"eventId":"overridden-request-id","requestId":"overridden-request-id"}
...

TraceId

当启动了调用链拦截器,traceId 会自动生成。

---
grpc:- name: greeter                   # Name of grpc entryport: 1949                      # Port of grpc entryenabled: true                   # Enable grpc entryinterceptors:loggingZap:enabled: truemeta:enabled: truetracingTelemetry:enabled: true
------------------------------------------------------------------------
...
ids={"eventId":"dd19cf9a-c7be-486c-b29d-7af777a78ebe","requestId":"dd19cf9a-c7be-486c-b29d-7af777a78ebe","traceId":"316a7b475ff500a76bfcd6147036951c"}
...

原文链接
本文为阿里云原创内容,未经允许不得转载。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512196.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一文搞懂物联网Modbus通讯协议

简介: 一般来说,常见的物联网通讯协议众多,如蓝牙、Zigbee、WiFi、ModBus、PROFINET、EtherCAT、蜂窝等。而在众多的物联网通讯协议中,Modbus是当前非常流行的一种通讯协议。它一种串行通信协议,是Modicon公司于1979年…

快看世界技术VP安尝思:从漫画到视频,如何用技术赋能创作

供稿 | 快看世界 2月25日,在火山引擎举办的视频云科技原力峰会上,快看世界技术VP安尝思受邀参加,并发表主题为《如何搭建轻量高效的视频技术体系》的演讲。 安尝思表示,快看视频内容的革命性变化来自于漫剧的推出,在过…

2021云栖大会丨阿里云发布第四代神龙架构,提供业界首个大规模弹性RDMA加速能力

简介: 10月20日,2021年杭州栖大云会上,阿里云发布第四代神龙架构,升级至全新的eRMDA网络架构,是业界首个大规模弹性RDMA加速能力。 10月20日,2021年杭州栖大云会上,阿里云发布第四代神龙架构。…

Rambus推出面向下一代数据中心的PCIe 6.0控制器

新闻摘要: 将先进的人工智能/机器学习、存储和网络应用的性能提升至64 GT/s优化了功耗、面积和延迟,全方位实现PCIe 6.0特性集成IDE引擎提供最先进的数据安全Rambus PCIe 6.0控制器框图 作为业界领先的芯片和IP核供应商,致力于使数据传输更…

阿里云混合云Apsara Stack 2.0发布 加速政企数智创新

简介: 2021年10月21日,杭州 – 今日,阿里云于云栖大会正式发布Apsara Stack 2.0,从面向单一私有云场景,升级为服务大型集团云&行业云场景。新一代Apsara Stack不仅可以为政企定制稳定、安全、开放、智能的数字底座…

ArrayList源码浅析

简介: ArrayList作为我们开发中最常用的集合,作为极高频次使用的类,我们不妨阅读源码一谈究竟。 前言 ArrayList作为我们开发中最常用的集合,作为极高频次使用的类,我们不妨阅读源码一谈究竟。 介绍 ArrayList继承…

阿里云边缘云ENS再升级 四大场景应用加速产业数字化落地

简介: 云栖大会 | 于10月21日上午举办的边缘云应用升级与技术创新论坛中,阿里云边缘云ENS产品全面升级,从边缘云产品、技术、行业应用等维度全面阐述阿里云在边缘计算领域的技术积累、产品&解决方案沉淀、商业实践。 一年一度科技圈盛事…

在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer(下)

作者 | Addo Zhang来源 | 云原生指北在上一篇《在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer(上)》中,我们使用 MetalLB 的 Layer2 模式作为 LoadBalancer 的实现,将 Kubernetes 集群中的服务暴露到集群外。还记得我们在 …

聚焦2021云栖大会,边缘云专场畅谈技术应用创新

简介: 本届大会以“前沿 探索 想象力”为主题,与业界同仁、合作伙伴共同打造一场数字时代的云上相聚。其中,边缘计算技术领域因5G快速发展而备受关注,阿里云边缘云专场吸引了数百位参会嘉宾驻足。 于10月21日上午举办的“边缘云应…

技术干货 | 闲鱼:一个优秀的 Push 平台,需要经历怎样的前世今生

简介: mPaaS 消息推送服务,快速集成多家厂商 Push 通道,有效提高用户留存率,提升用户体验。 编者荐语: 点击这里,了解 mPaaS 消息推送服务,快速集成多家厂商 Push 通道,有效提高用户…

「深入浅出」主流前端框架更新批处理方式

作者 | 👽来源 | 前端Sharing背景在不同的技术框架背景下,处理更新的手段各不相同,今天我们来探讨一下,主流的前端框架批量处理的方式,和其内部的实现原理。通过今天的学习,你将收获这些内容:主…

钉钉宜搭3.0发布!易连接、酷数据、更安全

简介: 10月20日,在2021云栖大会低代码分论坛上,阿里巴巴资深技术专家叶周全(花名骁勇)发布钉钉宜搭3.0版本。 10月20日,在2021云栖大会低代码分论坛上,阿里巴巴资深技术专家叶周全(…

基层数字化治理困境如何破局?

简介: 10月20日,2021云栖大会低代码分论坛如约举行。在这场低代码行业的盛会上,兰溪市大数据发展中心党组书记、主任芦建洪分享的内容获得了在场观众的热烈反响,兰溪市使用钉钉宜搭低代码破解基层数字化治理困境的成功经验也为全国…

形式化验证工具TLA+:程序员视角的入门之道

简介: 女娲是飞天分布式系统中提供分布式协同的基础服务,支撑着阿里云的计算、网络、存储等几乎所有云产品。在女娲分布式协同服务中,一致性引擎是核心基础模块,支持了Paxos,Raft,EPaxos等多种一致性协议&a…

性能突出的 Redis 是咋使用 epoll 的?

作者 | 闪客来源 | 低并发编程我是个 redis 服务,我马上就要启动了因为我的主人正在控制台输入:./redis-server宏观上看下我的流程突然,主人按下了回车键,不得了了。shell 程序把我的程序加载到了内存,开始执行我的 ma…

阿里云重磅发布业务中台产品 BizWorks,中台发展进入下一个阶段

简介: 业务中台产品BizWorks重磅发布,这可以看作是阿里云在 “做厚中台” 战略上继 “云钉一体”之后的又一个新动作! 10 月 19 日,2021 云栖大会正式开幕,连续举办多年的云栖大会俨然已经成为了国内科技产业展示前沿…

java32位怎么用eclipse_无法在Windows 7 32位上打开eclipse

我正在使用Eclipse Indigo(eclipse-jee-indigo-SR2-win32) . 当我双击eclipse.exe时,会出现以下对话框:日志文件的内容如下:!SESSION 2013-05-27 17:55:26.853 -----------------------------------------------eclipse.buildIdM20120208-080…

云栖发布|企业级互联网架构全新升级 ,助力数字创新

简介: 云原生产品家族全面升级,让业务技术团队有了更多选择,通过简单、丰富、开放和低成本的 PaaS 服务,帮助企业客户更简单、更高效的进行在云上创新,搭建更符合业务需要和团队情况的技术体系。 作者|白玙…

当类的泛型相关时,如何在两个泛型类之间创建类似子类型的关系呢

作者 | 阿Q来源 | 阿Q说代码事情是这样的:对话中的截图如下:看了阿Q的解释,你是否也和“马小跳”一样存在疑问呢?请往👇看我们都知道在java中,只要是类型兼容,就可以将一种类型的对象分配给另一…

java 垃圾回收 新生代_Java垃圾回收

一、概述Java垃圾回收器实现内存的自动分配和回收,这两个操作都发生在Java堆上(还包括方法区,即永久代)。垃圾回收操作不是实时的发生(对象死亡不会立即释放),当内存消耗完或者是达到某一指标(threshold,使用内存占总内存的比列,比…