【日志革新】在ThinkPHP5中实现高效TraceId集成，打造可靠的日志追踪系统

问题背景

最近接手了一个骨灰级的项目，然而在项目中遇到了一个普遍的挑战：由于公司采用 ELK（Elasticsearch、Logstash、Kibana）作为日志收集和分析工具，追踪生产问题成为了一大难题。尽管 ELK 提供了强大的日志分析功能，但由于项目历史悠久，日志输出不规范，缺乏唯一标识，导致在海量日志中准确定位问题变得异常困难。为了提升生产环境下的问题排查和故障诊断效率，迫切需要在项目中引入一种机制，能够为每个请求生成唯一的标识符（traceId），并将其与 ELK 集成，以便在日志中准确追踪请求的全链路过程。

系统默认日志格式
在这里插入图片描述

elk 对这种格式采集并不太友好，所以打算重新写一个日志log类。

查看application/config.php配置文件，第一反应就是这个File到底在哪？OK，我们直接全局搜索 File.php，最终锁定文件路径：source/thinkphp/library/think/log/driver/File.php

在这里插入图片描述
基于自身业务改造，时间比较短哈，改写了一个初版（简单粗暴就是日志单行展示），可以短时间适配业务，改造后的代码如下：

<?phpnamespace app\common\library;use think\App;
use think\Request;class YeeLog
{protected $config = ['time_format' => ' c ','single'      => false,'file_size'   => 2097152,'path'        => LOG_PATH,'apart_level' => [],'max_files'   => 0,'json'        => true,'trace_id'  => null,'log_format'  => 'json'];// 实例化并传入参数public function __construct($config = []){if (is_array($config)) {$this->config = array_merge($this->config, $config);}$this->config['trace_id'] = $_SERVER['traceId'] ?? "";}/*** 日志写入接口* @access public* @param array $log 日志信息* @param bool $append 是否追加请求信息* @return bool*/public function save(array $log = [], $append = false){$destination = $this->getMasterLogFile();$path = dirname($destination);!is_dir($path) && mkdir($path, 0755, true);$info = [];foreach ($log as $type => $val) {foreach ($val as $msg) {if (!is_string($msg)) {if ($this->config['log_format'] == 'json') {$msg = json_encode($msg, 320);} else {$msg = var_export($msg, true);}}$info[$type][] = $this->config['json'] ? $msg : $this->getCurrentTime() . ' [ ' . $type . ' ] ' . $msg;}if (!$this->config['json'] && (true === $this->config['apart_level'] || in_array($type, $this->config['apart_level']))) {// 独立记录的日志级别$filename = $this->getApartLevelFile($path, $type);$this->write($info[$type], $filename, true, $append);unset($info[$type]);}}if ($info) {return $this->write($info, $destination, false, $append);}return true;}/*** 获取主日志文件名* @access public* @return string*/protected function getMasterLogFile(){if ($this->config['single']) {$name = is_string($this->config['single']) ? $this->config['single'] : 'single';$destination = $this->config['path'] . $name . '.log';} else {$cli = PHP_SAPI == 'cli' ? '_cli' : '';if ($this->config['max_files']) {$filename = date('Ymd') . $cli . '.log';$files    = glob($this->config['path'] . '*.log');try {if (count($files) > $this->config['max_files']) {unlink($files[0]);}} catch (\Exception $e) {}} else {$filename = date('Ym') . DIRECTORY_SEPARATOR . date('d') . $cli . '.log';}$destination = $this->config['path'] . $filename;}return $destination;}/*** 获取独立日志文件名* @access public* @param string $path 日志目录* @param string $type 日志类型* @return string*/protected function getApartLevelFile($path, $type){$cli = PHP_SAPI == 'cli' ? '_cli' : '';if ($this->config['single']) {$name = is_string($this->config['single']) ? $this->config['single'] : 'single';$name .= '_' . $type;} elseif ($this->config['max_files']) {$name = date('Ymd') . '_' . $type . $cli;} else {$name = date('d') . '_' . $type . $cli;}return $path . DIRECTORY_SEPARATOR . $name . '.log';}/*** 获取当前时间戳* @return false|string*/protected function getCurrentTime(){$customTimestamp = trim(config('log.timestamp'));return empty($customTimestamp) ? date($this->config['time_format']) : date($customTimestamp);}/*** 日志写入* @access protected* @param array $message 日志信息* @param string $destination 日志文件* @param bool $apart 是否独立文件写入* @param bool $append 是否追加请求信息* @return bool*/protected function write($message, $destination, $apart = false, $append = false){// 检测日志文件大小，超过配置大小则备份日志文件重新生成$this->checkLogSize($destination);// 日志信息封装$info['time'] = $this->getCurrentTime();foreach ($message as $type => $msg) {$info[$type] = is_array($msg) ? implode("\r\n", $msg) : $msg;}if (PHP_SAPI == 'cli') {$message = $this->parseCliLog($info);} else {// 添加调试日志$this->getDebugLog($info, $append, $apart);$message = $this->parseLog($info);}return error_log($message, 3, $destination);}/*** 检查日志文件大小并自动生成备份文件* @access protected* @param string $destination 日志文件* @return void*/protected function checkLogSize($destination){if (is_file($destination) && floor($this->config['file_size']) <= filesize($destination)) {try {rename($destination, dirname($destination) . DIRECTORY_SEPARATOR . time() . '-' . basename($destination));} catch (\Exception $e) {}}}/*** CLI日志解析* @access protected* @param array $info 日志信息* @return string*/protected function parseCliLog($info){if ($this->config['json']) {$message = json_encode($info, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES) . "\r\n";} else {$now = $info['time'];unset($info['time']);$message = implode("\r\n", $info);$message = "[{$now}]" . $message . "\r\n";}return $message;}/*** 解析日志* @access protected* @param array $info 日志信息* @return string*/protected function parseLog($info){$request     = Request::instance();$requestInfo = ['[trace_id]'      => $this->config['trace_id'],'[request_ip]'      => getIp(),'[method]'          => $request->method(),'[domain]'          => $request->domain(),'[uri]'             => $request->url(),'[param]'           => json_encode($request->post(), 320),'[x-forwarded-for]' => $_SERVER['HTTP_X_FORWARDED_FOR'] ?? '--','[http_x_real_ip]'  => $_SERVER['HTTP_X_REAL_IP'] ?? '--','[remote_addr]'     => $_SERVER['REMOTE_ADDR'] ?? '--'];if ($this->config['json']) {$info    = $requestInfo + $info;$println = "---------------------------------------------------------------\r\n";$msg     = sprintf("%s%s ", $println, $this->getCurrentTime());foreach ($info as $key => $value) {$msg .= sprintf("%s: %s ", $key, $value);}return $msg . "\r\n";}array_unshift($info, "---------------------------------------------------------------\r\n{$info['time']} [ hit ] {$this->config['trace_id']} {$requestInfo['ip']} {$requestInfo['method']} {$requestInfo['host']}{$requestInfo['uri']}");unset($info['time']);return implode("\r\n", $info) . "\r\n";}protected function getDebugLog(&$info, $append, $apart){if (App::$debug && $append) {if ($this->config['json']) {// 获取基本信息$runtime = round(microtime(true) - THINK_START_TIME, 10);$reqs    = $runtime > 0 ? number_format(1 / $runtime, 2) : '∞';$memory_use = number_format((memory_get_usage() - THINK_START_MEM) / 1024, 2);$info = ['runtime' => number_format($runtime, 6) . 's','reqs'    => $reqs . 'req/s','memory'  => $memory_use . 'kb','file'    => count(get_included_files()),] + $info;} elseif (!$apart) {// 增加额外的调试信息$runtime = round(microtime(true) - THINK_START_TIME, 10);$reqs    = $runtime > 0 ? number_format(1 / $runtime, 2) : '∞';$memory_use = number_format((memory_get_usage() - THINK_START_MEM) / 1024, 2);$time_str   = '[运行时间：' . number_format($runtime, 6) . 's] [吞吐率：' . $reqs . 'req/s]';$memory_str = ' [内存消耗：' . $memory_use . 'kb]';$file_load  = ' [文件加载：' . count(get_included_files()) . ']';array_unshift($info, $time_str . $memory_str . $file_load);}}}
}

探索日志追踪解决方案

1. 生成 traceId： 需要一个能够生成唯一 traceId 的方法，确保每个请求都有一个唯一的标识符。
2. 存储 traceId： 将生成的 traceId 存储在 $_SERVER 中，以便在整个请求处理过程中都能够方便地访问到它。
3. 添加到响应头中： 在每次请求的响应中都添加 traceId 到响应头中，以便客户端收到响应后可以通过 traceId 与请求对应起来。
4. 处理异步请求： 对于异步请求，需要在发送请求时将 traceId 包含在请求头中，以便日志也能够与对应的原始请求进行关联。

解决方案

1. 生成 traceId： 在 Tags.php 中的 app_begin 钩子中，执行以下操作：

<?php
return [// 应用开始'app_begin' => ['app\\api\\behavior\\TraceId'],
];

2. 存储 traceId： 将生成的 traceId 存储在 $_SERVER 中（或者存储在header中）。

为了简化获取 traceId 的代码，我选择将其存储在 $_SERVER 中。这样，只需要通过 $_SERVER[‘traceId’] 就能够轻松获取到 traceId，而不需要编写繁琐的获取代码。相比之下，如果将 traceId 存储在请求体的 header 中，获取代码则需要写成 (Request::instance()->header())[‘traceId’] ?? “”。此外，如果系统中存在原生调用，需要获取所有的 header 头，就需要使用到 getallheaders() 函数。然而，getallheaders() 函数只能获取到最初请求打到服务上的所有 header 内容，而手动设置的 header 是无法被 getallheaders() 函数获取到的。因此，将 traceId 存储在 $_SERVER 中可以更加方便地获取，并且不受限于原生调用的影响

3. 添加到响应头中： 在响应头中添加 traceId。

<?phpnamespace app\api\behavior;/*** TraceId 行为类** 此行为类用于在 API 请求的上下文中自动注入一个唯一的 traceId 到 HTTP 响应头。* traceId 主要用于链路追踪，有助于在日志中跟踪请求的全链路过程，* 提升系统问题排查和诊断的效率。*/
class TraceId
{/*** 执行行为** @return void*/public function run(){// 使用generateTraceId()函数生成一个唯一的traceId值$traceId = generateTraceId();// 将生成的唯一traceId值存储在$_SERVER全局变量中$_SERVER['traceId'] = $traceId;// 设置响应头header("X-Trace-Id: {$traceId}");}
}

4. 处理异步请求： 在异步请求中，确保在发送请求时将 traceId 包含在请求头中。
发送请求

public function exec_bce($method, $post)
{$config = new \stdClass();$config->secret = 'dz_mufeng';$sign = $this->make_sign($post, $config);$traceId = $_SERVER['traceId'] ?? "";// 获取数据$content = http_build_query($post, '', '&');$header = ["Content-type:application/x-www-form-urlencoded","Content-length:" . strlen($content),"traceId: " . $traceId];$context['http'] = ['timeout' => 60,'method' => 'POST','header' => implode("\r\n", $header),'content' => $content,];$url = config('bce_url').'/code.php?method=' . $method . '&sign=' . $sign;log_write('code_exec_context:' . json_encode($context), 'info');$contextStream = stream_context_create($context);$res = file_get_contents($url, false, $contextStream);log_write("执行返回结果：" . $res, 'info');$res = preg_replace('/[\x00-\x1F\x80-\xFF]/', '', $res);$res = json_decode($res, true);if ($res['result'] == 0) {return $this->renderError($res['data']);} else {return $this->renderSuccess($res['data']);}}

本系统原生代码在接收请求时，可直接使用 $_SERVER[‘HTTP_TRACEID’] 获取 traceId。

<?php
public function log($params, $type = 'info')
{if (!is_string($params)) {$params = json_encode($params, 320);}$requestId = $_SERVER['traceId'] ?? '';$traceId = $_SERVER['HTTP_TRACEID'] ?? "";!is_dir($this->logPath) && mkdir($this->logPath, 0755, true);$requestInfo = ['[trace_id]' => empty($traceId) ? $requestId : $traceId,'[request_ip]' => $this->getIp(),'[method]'     => $_SERVER['REQUEST_METHOD'],'[domain]'     => sprintf('%s://%s', $_SERVER['REQUEST_SCHEME'], $_SERVER['HTTP_HOST']),'[uri]'        => sprintf('%s://%s%s', $_SERVER['REQUEST_SCHEME'], $_SERVER['HTTP_HOST'], $_SERVER['REQUEST_URI']),'[param]'      => $params . "\r\n",'[trace]'      => (new \Exception)->getTraceAsString()];$println = "---------------------------------------------------------------\r\n";$msg     = sprintf("%s%s [%s] ", $println, date("Y-m-d H:i:s"), $type);foreach ($requestInfo as $key => $value) {$msg .= sprintf("%s: %s ", $key, $value);}file_put_contents(sprintf("%s/%s_%s",$this->logPath, date("d"), "api.log"), $msg . "\r\n", FILE_APPEND);
}

结论

以上解决方案有效地为 ThinkPHP5 的日志添加了 traceId，实现了请求的全链路追踪（包括异步请求，确保请求连贯性），从而提高了系统问题排查和诊断的效率。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/8430.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Spring：OAuth2.0

Spring：OAuth2.0

文章目录 一、认证与授权二、OAuth2.0介绍 一、认证与授权 认证&#xff08;Authentication&#xff09;与授权&#xff08;Authorization&#xff09;在网络安全和系统管理中是两个重要的概念&#xff0c;它们各自有不同的作用和目标。 认证是验证确认身份以授予对系统的访问…
阅读更多...
RAG解决方案：解决LLM大模型私域数据缺失问题

RAG解决方案：解决LLM大模型私域数据缺失问题

目前LLM大模型是一种预训练模型(训练完成后 信息就会截止)&#xff0c;那么在获取最新数据和私域数据时候&#xff0c;LLM会有无法给出相关回答的问题。 那么RAG方案可以一定程度上解决这个问题。 用户搜索后&#xff0c;会先在检索系统中检索&#xff0c;然后再把问题和私域数…
阅读更多...
夏天一到，手机越用越烫？怎样降低持久使用手机时的温度？

夏天一到，手机越用越烫？怎样降低持久使用手机时的温度？

夏季来临&#xff0c;手机的温度也随着使用环境的温度升高变得更容易发热。 虽说属于正常的物理现象&#xff0c;但手机过热用起来还是不太舒服&#xff0c;还容易出现过热提醒&#xff0c;导致除“拨号”和“联系人”外&#xff0c;无法使用其它应用。 分享几个减少功耗的小技…
阅读更多...
JAVA版本的ATM编程问题记录

JAVA版本的ATM编程问题记录

前段时间用C语言写了个银行ATM系统&#xff0c;还写了一篇文章记录了一些&#xff0c;C语言的ATM文章。后来又用IDEA写了一个JAVA版本的银行ATM。有人就会问为啥浪费这个时间写ATM呢&#xff1f;&#x1f9d0;其实是我本科代码没学好&#xff0c;所以现在想利用比较熟悉的ATM系…
阅读更多...
Spring Web MVC 快速入门

Spring Web MVC 快速入门

&#x1f3a5; 个人主页&#xff1a;Dikz12&#x1f525;个人专栏&#xff1a;Spring学习之路&#x1f4d5;格言&#xff1a;吾愚多不敏&#xff0c;而愿加学欢迎大家&#x1f44d;点赞✍评论⭐收藏 目录 什么是Spring MVC&#xff1f; MVC模式介绍 ​编辑学习Spring MVC…
阅读更多...
node.js对数据库mysql的连接与操作（增、删、改、查、五种SQL语法）

node.js对数据库mysql的连接与操作（增、删、改、查、五种SQL语法）

前提&#xff1a;先在vscode终端下载安装mysql&#xff1a;npm install mysql -save 步骤总结&#xff1a; (1)建立与数据库的连接 (2)做出请求&#xff1a; 实际上就是操作mysql里的数据。增删改查 insert、delete、updata、select (3)通过回调函数获取结果 一、什么是SQ…
阅读更多...
【Kubernetes集群一主二从安装教程】

【Kubernetes集群一主二从安装教程】

文章目录 环境准备主机间做信任安装ansible工具 升级内核版本使用elrepo源升级内核查看最新版内核安装最新的内核版本设置系统默认内核设置默认内核为我们刚才升级的内核版本 初始化关闭防火墙关闭selinux关闭swap修改主机名修改hosts文件将桥接的IPv4流量传递到iptables的链配…
阅读更多...
nlp课设 - 基于BERT 的情感分类

nlp课设 - 基于BERT 的情感分类

基于BERT 的情感分类 主要论文&#xff1a; BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding&#xff08;双向Transformer 的预训练&#xff09; 核心技术&#xff1a; Embedding 、Attention --> Transformer 任务简介、拟解决问题…
阅读更多...
09 - 数据清洗案例

09 - 数据清洗案例

流程图 kettle 面板图片 操作步骤 1、订阅数据源&#xff08;kafka consumer&#xff09; 2、抽取字段并转换key&#xff08;JSON input&#xff09; 3、判断img字段是否有值&#xff0c;有的话进行url转base64&#xff08;JavaScript 代码&#xff09; // 获取输入字段的值 v…
阅读更多...
流量分析利器arkime的学习之路（三）---结合Suricata攻击检测

流量分析利器arkime的学习之路（三）---结合Suricata攻击检测

1、基础 Arkime安装部分参考《流量分析利器arkime的学习之路&#xff08;一&#xff09;—安装部署》 在此基础上安装suricata软件并配置。 2、安装suricata yum install suricate 可能依赖的文件包括libyaml&#xff0c;PyYAML&#xff0c;这些可能在之前安装arkime或者其他…
阅读更多...
面试二十四、继承多态

面试二十四、继承多态

一、继承的本质和原理 组合&#xff08;Composition&#xff09;&#xff1a; 组合是一种"有一个"的关系&#xff0c;表示一个类包含另一个类的对象作为其成员。这意味着一个类的对象包含另一个类的对象作为其一部分。组合关系通常表示强关联&#xff0c;被包含的对象…
阅读更多...
Terrain —— Nodes

Terrain —— Nodes

目录 Convert HeightField —— 转化高度场 HeightField —— 为地形创建初始高度场或遮罩场 HeightField Blur —— 模糊高度场或遮罩场 HeightField Clip —— 限制高度场的值 HeightField Combine Layers —— 将多个volume或VDB合并为一个新的volume或VDB HeightFiel…
阅读更多...
我独自升级崛起怎么玩 我独自升级崛起游玩教程分享

我独自升级崛起怎么玩 我独自升级崛起游玩教程分享

《我独自升级&#xff1a;ARISE》是一款预计在 Android、iOS 和 PC 平台推出的动作 RPG&#xff0c;故事内容基于网络漫画版本改编&#xff0c;讲述世界各地出现「次元传送门」&#xff0c;而少部分人类觉醒了可以对抗传送门中怪物的「猎人」能力&#xff0c;玩家可以在故事模式…
阅读更多...
【进程等待】是什么 | 为什么 | 怎么办 | wait阻塞等待

【进程等待】是什么 | 为什么 | 怎么办 | wait阻塞等待

目录 进程等待是什么&#xff1f; 为什么要进程等待&#xff1f; 如何进程等待&#xff1f; wait 阻塞等待 进程等待是什么&#xff1f; 进程终止会把进程退出的数据&#xff08;退出码和退出信号&#xff09;存放到进程的PCB中保存下来&#xff0c;让父进程进行等待。…
阅读更多...
【投稿资讯】区块链会议CCF C -- CoopIS 2024 截止7.10 附录用率

【投稿资讯】区块链会议CCF C -- CoopIS 2024 截止7.10 附录用率

会议名称&#xff1a;CoopIS CCF等级&#xff1a;CCF C类学术会议 类别&#xff1a;人机交互与普适计算 录用率&#xff1a;2023年接收率21% (21 regular 10 work-in-progress papers/100) AREA 5: HUMAN-CENTRIC SECURITY AND PRIVACY IN INFORMATION SYSTEMS Access Con…
阅读更多...
Linux网站服务

Linux网站服务

1.概念:HTML:超级文本编辑语言 网页:使用HTML,PHP,JAVA语言格式书写的文件。 主页:网页中呈现用户的第一个界面。 网站:多个网页组合而成的一台网站服务器。 URL:统一资源定位符&#xff0c;访问网站的地址。 网站架构:LAMP: LinuxApacheMYSQLPHP(系统服务器程序数据管理…
阅读更多...
OpenHarmony 实战开发 - 如何在源码中编译复杂应用（4.0-Release）

OpenHarmony 实战开发 - 如何在源码中编译复杂应用（4.0-Release）

文档环境 开发环境&#xff1a;Windows 11 编译环境&#xff1a;Ubuntu 22.04 开发板型号&#xff1a;DAYU 200&#xff08;RK3568&#xff09; 系统版本&#xff1a;OpenHarmony-4.0-Release 功能简介 在 OpenHarmony 系统中预安装应用的 hap 包会随系统编译打包到镜像中&a…
阅读更多...
使用电路仿真软件教学的优势分析

使用电路仿真软件教学的优势分析

随着科技的飞速发展&#xff0c;电子工程领域对人才的需求与日俱增。为了满足这一需求&#xff0c;教育者们不断探索着更加高效、直观的教学方法。电路仿真软件的出现&#xff0c;为电子工程教学注入了新的活力&#xff0c;它以其独特的优势&#xff0c;成为现代电子工程教育中…
阅读更多...
啸叫抑制器采用什么处理芯片？ES56031或PH56031

啸叫抑制器采用什么处理芯片？ES56031或PH56031

会议系统或卡拉OK最头疼的就是啸叫了吧&#xff0c;来看看啸叫抑制器采用什么芯片 四通道啸叫抑制器&#xff0c;采用了2个电路板&#xff0c;每个板子处理2路信号&#xff0c;每块电路板有2个卡侬输入插座&#xff0c;2个卡侬输出插座 ES56031S&#xff0c;该啸叫抑制器为4通道…
阅读更多...
请大数据把我推荐给正在申请小程序地理位置接口的人

请大数据把我推荐给正在申请小程序地理位置接口的人

小程序地理位置接口有什么功能&#xff1f; 若提审后被驳回&#xff0c;理由是“当前提审小程序代码包中地理位置相关接口( chooseAddress、getLocation )暂未开通&#xff0c;建议完成接口开通后或移除接口相关内容后再进行后续版本提审”&#xff0c;那么遇到这种情况&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023