linux 提取日志字段,记一次Linux下提取MySQL日志关键字段

66b52468c121889b900d4956032f1009.png

8种机械键盘轴体对比

本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选?

环境说明

操作系统:centos7

sed版本:4.2.2

egrep版本:2.20

paste版本:8.22

提取要求

一次同事说,需要提取MySQL日志的关键字段,叫我帮忙,每一行一定包含4个或者7个字段,下面是字段例子

IP(特殊处理为内网IP):192.168.1.1

时间:2018-07-07 19:10:18

文件绝对路径:/home/hms/data/c/rec_pub_73_c/TVOD/88888905/224/3221229835/10000100000000060000000009130764_0.smil.20180707191000.ts

丢包时间:1.659539

上次丢包时间(不一定有):1530961817.271825

当前丢包时间(不一定有):1530961818.935411

码率(不一定有):2540.155518

如上展示,每一行一定会包含4个字段,至于后面3个只能都是有或者都没有

思路

1.删除多余字段,直接得到4个或者7个字段,表达式太过复杂

2.直接过滤出7个想要的字段,因为7个字段不是每一行都出来,基本上不可能实现(至少我想不到怎么写)

3.重组文件,把想要的字段筛选出来,文件合并,按照字段顺序重组文件(待会使用这个思路)

日志样板

点击显/隐内容

192.168.1.1 2018-07-07 19:10:18:935 C06B688SPC013 ts_record.c:11105 code:2 thread:11349 ts_packet_check: Warning: Stream /home/hms/data/c/rec_pub_73_c/TVOD/88888905/224/3221229835/10000100000000060000000009130764_0.smil.20180707191000.ts curr_lose_pkg_time 1.659539 sec,time 1530961817.271825 -> 1530961818.935411 second_rate 2540.155518.

192.168.1.1 2018-07-07 19:15:00:056 C06B688SPC013 ts_record.c:11600 code:2 thread:11349 ts_packet_set_status: /home/hms/data/c/rec_pub_73_c/TVOD/88888905/224/3221229835/10000100000000060000000009130764_0.smil.20180707191000.ts record successfully with total_lose_pkg_time 1.659539 sec.

192.168.1.1 2018-07-07 04:59:25:848 C06B688SPC013 ts_record.c:11105 code:2 thread:21051 ts_packet_check: Warning: Stream /home/hms/data/c/rec_pub_68_dgcp2_c/TVOD/88888888/224/3221229808/10000100000000060000000009083746_0.smil.20180707045500.ts curr_lose_pkg_time 1.920283 sec,time 1530910763.925132 -> 1530910765.848897 second_rate 2952.463135.

192.168.1.1 2018-07-07 05:00:00:067 C06B688SPC013 ts_record.c:11600 code:2 thread:21051 ts_packet_set_status: /home/hms/data/c/rec_pub_68_dgcp2_c/TVOD/88888888/224/3221229808/10000100000000060000000009083746_0.smil.20180707045500.ts record successfully with total_lose_pkg_time 1.920283 sec.

提取字段方法

1、得到 IP 时间

cat hms_log_20180707.log| egrep -o “([0-9]{1,3}.){3}[0-9]{1,3}[[:space:]][0-9]{4}(-[0-9]{2}){2}[[:space:]][0-9]{2}(:[0-9]{2}){2}”

2、得到 文件绝对路径

cat hms_log_20180707.log | egrep -o “/home.*.ts”

3、得到 丢包时间

cat hms_log_20180707.log | egrep -o “[[:space:]][0-9]{1,3}.[0-9]{6,7}[[:space:]]sec” | egrep -o “[0-9]{1,3}.[0-9]{6,7}”

4、获取 上次丢包时间、当前丢包时间、码率(不一定有)

cat hms_log_20180707.log | egrep -o “sec.*” | sed “s/ ->//g” | sed “s/ second_rate//g” | sed “s/.$//g” | sed ‘s/sec,time //g’ | sed ‘s/sec//g’

这里注意一个是,这三个字段不一定有,当不存在时,匹配不到需要保留空白行

提取过程

1、得到 IP 时间

cat hms_log_20180707.log | egrep -o “([0-9]{1,3}.){3}[0-9]{1,3}[[:space:]][0-9]{4}(-[0-9]{2}){2}[[:space:]][0-9]{2}(:[0-9]{2}){2}” > hms_log_20180707.log_1

2、得到 文件绝对路径

cat hms_log_20180707.log | egrep -o “/home.*.ts” > hms_log_20180707.log_2

3、得到 丢包时间

cat hms_log_20180707.log | egrep -o “[[:space:]][0-9]{1,3}.[0-9]{6,7}[[:space:]]sec” | egrep -o “[0-9]{1,3}.[0-9]{6,7}” > hms_log_20180707.log_3

4、获取 上次丢包时间、当前丢包时间、码率(不一定有)

cat hms_log_20180707.log | egrep -o “sec.*” | sed “s/ ->//g” | sed “s/ second_rate//g” | sed “s/.$//g” | sed ‘s/sec,time //g’ | sed ‘s/sec//g’ > hms_log_20180707.log_4

合成包含4或7个字段的文件

paste -d” “ hms_log_20180707.log_1 hms_log_20180707.log_2 hms_log_20180707.log_3 hms_log_20180707.log_4 | sed “s/ $//g” > hms_log_20180707.log_5

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/430500.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux 那些事儿之我是 u 盘,《Linux那些事儿之我是USB》.PDF

《Linux 那些事儿之我是 USB》作者:华清远见第 1 章 Linux 那些事儿之我是 USB Core专业始于专注 卓识源于远见1 .引子老夫子们痛心疾首地总结说,现代青年的写照是——自负太高,反对太多,商议太久,行动太迟…

Systemd 入门教程:命令篇

http://www.ruanyifeng.com/blog/2014/09/illustration-ssl.html转载于:https://www.cnblogs.com/zengkefu/p/5527003.html

linux链接达梦数据库,linux下面 达梦数据库的JDBC链接

此次由于学习上面的事情,接触到了达梦数据库,这是第一次用,去年有个关于隐通道的课程设计,其实就已经差很少算了解了点点,相对与国外主流数据库,Dm7有个很明显的特色,那就是它的安全级别&#x…

[转]字符串和编码

编码是真的是非常头疼的一个问题。 看到一份说的非常简洁清晰的文章,分享记录一下。 廖雪峰: 字符串和编码转载于:https://www.cnblogs.com/oDoraemon/p/5533221.html

linux 4.9 内核 nptl,【linuxThread和NPTL】

有关Linux线程的问题,有几个需要澄清的:1.核心级线程与用户级线程2.核内还是核外3.linux的标准线程库是哪个?他们之间有什么区别?4.lwp与线程的关系5.LinuxThreads的缺点,NPTL作了哪些改善?6.如何确定你的g…

ccs6 linux安装教程,【图片】【吧主帖】在LINUX(ubuntu)系统下装CCSv6方法(原创)【dsp吧】_百度贴吧...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼首先说下我的系统:系统: Ubuntu14.04.1 (AMD64bit)目标板:三兄弟嵌入式F28335旗舰板仿真器:三兄弟嵌入式XDS100V3仿真器CCS版本:CCS v6 linux版 32bitLinux系统必须库&…

17. 处理日期

import java.text.SimpleDateFormat; import java.util.Date; import java.util.Calendar;public class Test {public static void main(String[] args) {Date date new Date(); //创建日期对象SimpleDateFormat formater new SimpleDateFormat("yyyy-MM-dd");//定…

1x1 11b g n linux,基于RN1810下的2.4 GHz IEEE 802.11b/g/n无线模块

特性• 符合IEEE 802.11b/g/n的收发器• 2.4 GHz IEEE 802.11n单流1x1• 与主机控制器的UART接口(4线,包括RTS/CTS)• 易于集成到最终产品中——最大程度地减少产品开发工作量,缩短上市时间• 使用简单的ASCII命令进行配置• 带稳压电路、晶振、RF匹配电…

!!“理都懂”为什么“然并卵”?

“理都懂”为什么“然并卵”? 脑子有话讲 收藏(176)| 阅读(17980)以前看见过别人问过这么一个问题:「为什么我们懂得很多道理,却依然过不好这一生?」 知乎上有很多这个问题的不同版本,但其实都说的是同一个事情&#…

linux终端模拟器app下载,3C终端模拟器app下载-3C终端模拟器v0.9最新版下载 - 91手游网...

应用介绍3C终端模拟器是一个终端模拟的app,风格多变,轻松好用,还有功能各异的语句等你来试验,可以在其中运行属于你自己的脚本内容,并且这个软件是不限定使用的,这也就意味着你是否有ROOT并不影响这个软件的…

c语言输入坐标判断位置,〓求助〓谁能帮忙编个程序:输入N个点坐标,判断能否构成多边形....

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼编了两天了,没弄出来参考程序(错):#include#define N 4int tt(double p[][2],int a,int b){int temp[N],k0;double t;for(int i0;i{if(ia||ib){continue;}tp[i][0]*(p[b][1]-p[a][1])(p[a][0]-p[b][0])*p[i][1]-p[a][0]…

c语言截断的作用,C语言-整除截断

在《The C Programming Language》提到整除截断的问题:…, as in many other languages, integer division truncates: any fractional part is discarded. Since 5 and 9 are integers. 5/9 would be truncated to zero …简单来说,就是程序中计算5/9时…

c语言控制数码管显示时间,数码管显示时间整点报时C语言实例

电路很简单就不画图了,数码管的段是p0口,2个数码管位选分别是p2.5,p2.6#includesbit cs1P2^5;sbit cs2P2^6;sbit eP2^7;sbit beepP0^4;#define uchar unsigned charuchar display_code[11]{0xc0,0xf9,0xa4,0xb0,0x99,0x92,0x82,0xf8,0x80,0x9…

12.history的用法

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns"http://www.w3.org/1999/xhtml"> <head><title> 演示示例&#xff1a;his…

51单片机流水灯用c语言,51单片机之流水灯(C语言和汇编两个版本)

c语言#includetypedef unsigned char uint8;sbit ADDR0P1^0;sbit ADDR1P1^1;sbit ADDR2P1^2;sbit ENLED0P1^4;sbit ENLED1P1^3;uint8 i;uint8 j;void delay(){for(i0;i<255;i){for(j0;j<255;j){}}}uint8 x;void Main(){ENLED00;ENLED11;ADDR00;ADDR11;ADDR21;x1;while(1)…

【VS开发】static、extern分析总结

引用请注明出处&#xff1a;http://blog.csdn.net/int64ago/article/details/7396325 对于写了很多小程序的人&#xff0c;可能static和extern都用的很少&#xff0c;因为static和extern通常在工程量很大时候才能体现优势很必要性&#xff0c;这就不奇怪linux内核代码中“泛滥”…

c语言 单词长度统计,编写一个程序,打印输入中单词长度的直方图

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼#include #define inside 1#define outside 0/*编写一个程序&#xff0c;统计并打印输入单词不同长度的个数&#xff0c;并打印输入中单词长度的直方图*/main (){int test,c,i,j,k;int tj[10];testoutside;for (i0;i<10;i)tj[i]…

c语言怎样输入动态数组代码,求助~~ 如何把数组变成动态输入的?

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼代码在这里#include#include#includeint card[6][20];int pass_word(int num)//判断输入卡号{int i,j7;if(num<0) j8;for(i0;i<6;i)if(numcard[i][0]) ji;return j;}void get_mony(int i) //取款{int j,k;printf("Pleas…

Java之反射机制

一&#xff1a;基本概念&#xff1a;在Java运行时&#xff0c;对于任意一个类&#xff0c;能否知道这个类对应的属性和方法&#xff1f;对于一个对象&#xff0c;能否知道可以调用它的哪些方法&#xff1f;YES! 这种动态获取类的信息以及动态调用对象的方法的功能来自于Java语言…

android 画布心形,Android CustomShapeImageView对图片进行各种样式裁剪:圆形、星形、心形、花瓣形等...

&#xfeff;&#xfeff;Android CustomShapeImageView对图片进行各种样式裁剪&#xff1a;圆形、星形、心形、花瓣形等Android CustomShapeImageView是github上一个第三方开源的对图片进行各种样式裁剪的库&#xff0c;其要实现的功能如图所示&#xff1a;Android CustomShap…