goaccess分析json格式日志

一.安装使用yum安装,yum install goaccess

二.主要介绍格式问题

1.nginx日志格式如下:

log_format  main escape=json '{"time_local":"$time_local",'
        '"remote_addr":"$remote_addr",'
        '"referer":"$http_referer",'
        '"request":"$request",'
        '"status":"$status",'
        '"bytes":"$body_bytes_sent",'
        '"agent":"$http_user_agent",'
        '"dm":"$request_body",'
        '"up_resp_time":"$upstream_response_time",'
        '"request_time":"$request_time"'
        '}';

2.nginx输出日志内容:

{"time_local":"11/Jul/2024:10:56:30 +0800","remote_addr":"x.x.x.x","referer":"https://www.xxxxx","request":"GET /xxxx/xxx/xxxx HTTP/2.0","status":"200","bytes":"47","agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)","dm":"","up_resp_time":"","request_time":"0.000"}

3.goaccess配置如下:

goaccess -f access.log -o /data/java-program/webpage/record.html --real-time-html --log-format='"time_local":" %d:%t %^","%^":"%h","%^":"%R","%^":"%U","%^":"%s",%^,%^,%^,%^,"%^":"%T"' --time-format='%H:%M:%S' --date-format='%d/%b/%Y'
 

三.遇到的问题

1.时间格式问题

"time_local":" %d:%t %^"

注意中间这里有个空格,不加这个空格会报Token '[11/Jul/2024' doesn't match specifier '%d' ,

下面这种方法无法解决不识别问题,或者我没试出来。

LANG="en_US.UTF-8" bash -c 'goaccess access.log'

日志输出之后中间并没有这个空格,在解析日志的时候是出现了"双引号,去掉双引号之后依然无法识别,后偶然间加了空格,成功识别,希望踩坑经过可以帮助后来的人。

2.log-format格式问题

这个里面的格式要和输出的日志保持一致,里面空格也需要添加才能识别到,所以遇到空格多又不是特别重要的,可以使用%^跳过。

3.time-format,date-format

这两个必须要指定,不然会出现时间格式未设置的问题,参考命令设置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/44830.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

回收站清空了怎么恢复回来?8个数据恢复方法汇总分享!

在日常工作中,我们常常会遇到一个令人头痛的问题:回收站清空了怎么恢复回来?这种情况其实比想象中更常见。有时在整理桌面时可能会不小心彻底清理文件,或者误开启了回收站的自动清理功能,甚至可能因为病毒或bug而意外丢…

人工智能内容创作中RAG方法综述

论文链接:https://arxiv.org/pdf/2402.19473v1 尽管AIGC取得了显著的性能,但仍面临着如保持最新和长尾知识困难、数据泄露风险以及训练和推理成本高昂等挑战。检索增强生成(RAG)作为一种范式应运而生,通过从可用数据存…

【ACM珠海分会,IEEE Fellow加盟,CPS出版】第四届管理科学和软件工程国际学术会议(ICMSSE 2024,7月19-21)

第四届管理科学和软件工程国际学术会议(ICMSSE 2024)由ACM珠海分会,广州番禺职业技术学院主办;全国区块链行业产教融合共同体,AEIC学术交流中心承办,将于2024年7月19-21日于广州召开。 会议旨在为从事管理与软件工程领域的专家学…

realsense D435l+mid360标定

目录 一、安装realsense环境 二、获取realsense D450L相机内参 三、标定雷达和相机 1.下载livox_camera_calib 2.修改配置参数 3.使用fastlio生成点云 4.标定 一、安装realsense环境 git clone https://github.com/IntelRealSense/librealsense.git cd librealsense //更…

helm简介

基本命令 新增一个repo helm repo list helm repo add repo_name repo_url helm repo add gzk https://abc.gz.com/gzk helm repo remove 列出仓库内可用的包 helm search repo gzk #支持模糊匹配 安装一个包 helm repo update 发布一个release helm …

【文科类cpci/cnki会议,主题广泛】第九届现代管理、教育与社会科学国际学术会议(MMET2024)

会议信息 点击跳转会议官网(更多会议信息可添加会议官网下方负责老师-杨老师) 大会时间:2024年09月20-22日 大会地点:中国-厦门 提交检索:CPCI,CNKI (知网检索快速稳定) 点击一键投稿 点击一键参会&a…

Datadomain存储上的文件大小,linux环境建议使用du -sh --apparent-size或ll -sh来查看

发现一个有趣的现象,linux服务器挂载了DELL的Datadomain存储,有一个文件大小是424MB,这个文件在linux服务器本地路径上占用磁盘空间也是424MB,但是把这个文件拷贝到Datadomain存储路径,发现这个文件在Datadomain存储路…

模拟开关应用注意事项

应用模拟开关时,开关时间是一个重要的考虑因素,但是,不能将开关时间与建立时间相 混淆。导通时间和关断时间只是从控制输入到开关切换间的传播延迟的一种衡量指标,主要由驱动和电平转换电路中的时间延迟导致。tON和tOFF两个值一般…

网络设备安全

交换机安全威胁 交换机是网络中负责数据帧传输和流量管理的关键设备。尽管交换机在数据链路层(第二层)工作,但它们也涉及到某些第三层功能,例如VLAN路由和访问控制。交换机的安全对于整个网络的安全性至关重要。以下是交换机面临…

Vertical Reading(abc360)

题意&#xff1a;给两个字符串s,t。如果从开头每隔w个字符拆分s&#xff0c;那么长度至少为c的子串的第c个字符依次连接成t&#xff0c;则输出yes&#xff0c;否则no 分析&#xff1a;暴力枚举&#xff0c;w和c #include<bits/stdc.h> using namespace std; int main()…

基于单片机的温湿度感应智能晾衣杆系统设计

&#xff3b;摘 要&#xff3d; 本设计拟开发一种湿度感应智能晾衣杆系统 &#xff0c; 此新型晾衣杆是以单片机为主控芯片 来控制的实时检测系统 &#xff0e; 该系统使用 DHT11 温湿度传感器来检测大气的温湿度 &#xff0c; 然后通过单 片机处理信息来控制 28BYJ &…

网络安全防御 -- 防火墙安全策略用户认证综合实验

实验拓扑&#xff1a; 实验目的&#xff1a; 1、DMZ区内的服务器&#xff0c;办公区仅能在办公时间内(9:00-18:00)可以访问&#xff0c;生产区的设备全天可以访问。 2、生产区不允许访问互联网&#xff0c;办公区和游客区允许访问互联网。 3、办公区设备10.0.2.10不允许访问DM…

sql常用语句:

1.联合查询 对表中的数据进行限制&#xff1b; 2.从一个表复制到另一个表 SELECT INTO 将数据复制到一个新表&#xff08;有的 DBMS 可以覆盖已经存在的表&#xff0c;这依赖于 所使用的具体 DBMS&#xff09; SELECT *&#xff08;字段&#xff09; INTO CustCopy FROM Cu…

高仿imtoken钱包源码/获取助记词/获取私钥/自动归集

简介&#xff1a; 高仿imtoken钱包/获取助记词/获取私钥/自动归集 带双端&#xff0c;无纯源码 下载源码

从微分方程组构建 bbr 模型

描述分析 bbr 的文字自 2016 年底起至今从空白到泛滥&#xff0c;我自己在期间贡献了不少&#xff0c;本文又是一篇&#xff0c;但不同的是&#xff0c;本文尝试用闭环的数学模型给出一个 bbr 的全貌&#xff0c;顺便和 aimd 做对比。 先看带宽特性 bw(t)&#xff0c;设瓶颈带…

Java中的消息中间件选择与比较

Java中的消息中间件选择与比较 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 在分布式系统中&#xff0c;消息中间件是一种关键组件&#xff0c;它能帮助不同…

等保2.0丨5分钟速览:小白都能理解的等保2.0简介

等保2.0的概念 等保2.0全称网络安全等级保护2.0制度&#xff0c;是我国网络安全领域的基本国策、基本制度。以1.0的规范为基础&#xff0c;等级保护标准以积极的防御为重点&#xff0c;由被动的防御发展为安全可信、动态感知和全过程的事前、事中和事后的全过程的全方位的审核…

函数式接口、匿名内部类、lambda表达式

一、函数式接口 只有一个抽象方法的接口叫函数式接口&#xff0c;不能有两个&#xff0c;也不能有方法实现。 FunctionalInterface注解标记&#xff0c;在idea中可以用这个注解验证是不是函数式接口。实现函数式接口可以转成lambda表达式。 二、匿名内部类 匿名内部类的格式&a…

Vue实战【基于wangEditor富文本编辑器+拖拽实现一个自定义打印模版】

目录 &#x1f31f;前言&#x1f31f;需求&#x1f31f;效果预览&#x1f31f;安装wangEditor富文本编辑器&#x1f31f;拖拽API&#x1f31f;wangEditor富文本编辑器所用到的API&#x1f31f;写在最后&#x1f31f;JSON包里写函数&#xff0c;关注博主不迷路 &#x1f31f;前言…

7.11 cf div3 C

Problem - C - Codeforces 操作 根据给定的索引数组ind和字符串c&#xff0c;按照一定的顺序修改字符串s中对应位置的字符。具体来说&#xff0c;第i次操作会修改s中索引为indi的位置的字符&#xff0c;将其设置为ci。 将c字符串按照从小到大排序&#xff0c;替换ind数组所表…