linux 提取日志字段,记一次Linux下提取MySQL日志关键字段

66b52468c121889b900d4956032f1009.png

8种机械键盘轴体对比

本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选?

环境说明

操作系统:centos7

sed版本:4.2.2

egrep版本:2.20

paste版本:8.22

提取要求

一次同事说,需要提取MySQL日志的关键字段,叫我帮忙,每一行一定包含4个或者7个字段,下面是字段例子

IP(特殊处理为内网IP):192.168.1.1

时间:2018-07-07 19:10:18

文件绝对路径:/home/hms/data/c/rec_pub_73_c/TVOD/88888905/224/3221229835/10000100000000060000000009130764_0.smil.20180707191000.ts

丢包时间:1.659539

上次丢包时间(不一定有):1530961817.271825

当前丢包时间(不一定有):1530961818.935411

码率(不一定有):2540.155518

如上展示,每一行一定会包含4个字段,至于后面3个只能都是有或者都没有

思路

1.删除多余字段,直接得到4个或者7个字段,表达式太过复杂

2.直接过滤出7个想要的字段,因为7个字段不是每一行都出来,基本上不可能实现(至少我想不到怎么写)

3.重组文件,把想要的字段筛选出来,文件合并,按照字段顺序重组文件(待会使用这个思路)

日志样板

点击显/隐内容

192.168.1.1 2018-07-07 19:10:18:935 C06B688SPC013 ts_record.c:11105 code:2 thread:11349 ts_packet_check: Warning: Stream /home/hms/data/c/rec_pub_73_c/TVOD/88888905/224/3221229835/10000100000000060000000009130764_0.smil.20180707191000.ts curr_lose_pkg_time 1.659539 sec,time 1530961817.271825 -> 1530961818.935411 second_rate 2540.155518.

192.168.1.1 2018-07-07 19:15:00:056 C06B688SPC013 ts_record.c:11600 code:2 thread:11349 ts_packet_set_status: /home/hms/data/c/rec_pub_73_c/TVOD/88888905/224/3221229835/10000100000000060000000009130764_0.smil.20180707191000.ts record successfully with total_lose_pkg_time 1.659539 sec.

192.168.1.1 2018-07-07 04:59:25:848 C06B688SPC013 ts_record.c:11105 code:2 thread:21051 ts_packet_check: Warning: Stream /home/hms/data/c/rec_pub_68_dgcp2_c/TVOD/88888888/224/3221229808/10000100000000060000000009083746_0.smil.20180707045500.ts curr_lose_pkg_time 1.920283 sec,time 1530910763.925132 -> 1530910765.848897 second_rate 2952.463135.

192.168.1.1 2018-07-07 05:00:00:067 C06B688SPC013 ts_record.c:11600 code:2 thread:21051 ts_packet_set_status: /home/hms/data/c/rec_pub_68_dgcp2_c/TVOD/88888888/224/3221229808/10000100000000060000000009083746_0.smil.20180707045500.ts record successfully with total_lose_pkg_time 1.920283 sec.

提取字段方法

1、得到 IP 时间

cat hms_log_20180707.log| egrep -o “([0-9]{1,3}.){3}[0-9]{1,3}[[:space:]][0-9]{4}(-[0-9]{2}){2}[[:space:]][0-9]{2}(:[0-9]{2}){2}”

2、得到 文件绝对路径

cat hms_log_20180707.log | egrep -o “/home.*.ts”

3、得到 丢包时间

cat hms_log_20180707.log | egrep -o “[[:space:]][0-9]{1,3}.[0-9]{6,7}[[:space:]]sec” | egrep -o “[0-9]{1,3}.[0-9]{6,7}”

4、获取 上次丢包时间、当前丢包时间、码率(不一定有)

cat hms_log_20180707.log | egrep -o “sec.*” | sed “s/ ->//g” | sed “s/ second_rate//g” | sed “s/.$//g” | sed ‘s/sec,time //g’ | sed ‘s/sec//g’

这里注意一个是,这三个字段不一定有,当不存在时,匹配不到需要保留空白行

提取过程

1、得到 IP 时间

cat hms_log_20180707.log | egrep -o “([0-9]{1,3}.){3}[0-9]{1,3}[[:space:]][0-9]{4}(-[0-9]{2}){2}[[:space:]][0-9]{2}(:[0-9]{2}){2}” > hms_log_20180707.log_1

2、得到 文件绝对路径

cat hms_log_20180707.log | egrep -o “/home.*.ts” > hms_log_20180707.log_2

3、得到 丢包时间

cat hms_log_20180707.log | egrep -o “[[:space:]][0-9]{1,3}.[0-9]{6,7}[[:space:]]sec” | egrep -o “[0-9]{1,3}.[0-9]{6,7}” > hms_log_20180707.log_3

4、获取 上次丢包时间、当前丢包时间、码率(不一定有)

cat hms_log_20180707.log | egrep -o “sec.*” | sed “s/ ->//g” | sed “s/ second_rate//g” | sed “s/.$//g” | sed ‘s/sec,time //g’ | sed ‘s/sec//g’ > hms_log_20180707.log_4

合成包含4或7个字段的文件

paste -d” “ hms_log_20180707.log_1 hms_log_20180707.log_2 hms_log_20180707.log_3 hms_log_20180707.log_4 | sed “s/ $//g” > hms_log_20180707.log_5

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/430500.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1x1 11b g n linux,基于RN1810下的2.4 GHz IEEE 802.11b/g/n无线模块

特性• 符合IEEE 802.11b/g/n的收发器• 2.4 GHz IEEE 802.11n单流1x1• 与主机控制器的UART接口(4线,包括RTS/CTS)• 易于集成到最终产品中——最大程度地减少产品开发工作量,缩短上市时间• 使用简单的ASCII命令进行配置• 带稳压电路、晶振、RF匹配电…

!!“理都懂”为什么“然并卵”?

“理都懂”为什么“然并卵”? 脑子有话讲 收藏(176)| 阅读(17980)以前看见过别人问过这么一个问题:「为什么我们懂得很多道理,却依然过不好这一生?」 知乎上有很多这个问题的不同版本,但其实都说的是同一个事情&#…

linux终端模拟器app下载,3C终端模拟器app下载-3C终端模拟器v0.9最新版下载 - 91手游网...

应用介绍3C终端模拟器是一个终端模拟的app,风格多变,轻松好用,还有功能各异的语句等你来试验,可以在其中运行属于你自己的脚本内容,并且这个软件是不限定使用的,这也就意味着你是否有ROOT并不影响这个软件的…

【VS开发】static、extern分析总结

引用请注明出处:http://blog.csdn.net/int64ago/article/details/7396325 对于写了很多小程序的人,可能static和extern都用的很少,因为static和extern通常在工程量很大时候才能体现优势很必要性,这就不奇怪linux内核代码中“泛滥”…

android 画布心形,Android CustomShapeImageView对图片进行各种样式裁剪:圆形、星形、心形、花瓣形等...

Android CustomShapeImageView对图片进行各种样式裁剪:圆形、星形、心形、花瓣形等Android CustomShapeImageView是github上一个第三方开源的对图片进行各种样式裁剪的库,其要实现的功能如图所示:Android CustomShap…

iOS开发UI篇-在UItableview中实现加载更多功能

iOS开发UI篇-在UItableview中实现加载更多功能 一、实现效果 点击加载更多按钮,出现一个加载图示,三秒钟后添加两条新的数据。 二、实现代码和说明 当在页面(视图部分)点击加载更多按钮的时候,主页面&#…

ublox Android 定位超时,[RK3288] [Android 7.1] u-blox GPS调试

我这里GPS使用的是TTL串口GPS芯片,用的是uart01.确认原理图对应的uart节点,将其打开&uart0 {status "okay";dma-names "!tx", "!rx";pinctrl-0 ;};2.在hal层编译出 gps.default.so 目录在hardware/rockchip/gps/有的目录下自带…

1.4Activity保存现场状态

概念: 保存Activity的状态是非常重要的,例如我们在玩一个游戏的时候,突然来了一个电话,这个时候在接听完电话之后我们返回到游戏中,这个时候我们希望游戏还是之前那个进度,或者说发生突发事件,游戏这个应用…

鸿蒙系统什么时候超过苹果,为何任正非说鸿蒙系统想超过苹果系统需要的时间,不会超过300年...

还记得任正非的一段话:华为操作系统要想超安卓苹果,需要很长时间,但不会超过 300 年。我相信这段话并不是说华为系统要超过苹果手机,需要300年的时间。任正非只是解释了华为系统目前和安卓系统以及苹果系统还有一定的差距&#xf…

android开发设计平台,10款开发和设计应该安装的android应用

过去几年里有很多新开发的小工具出现,人们的生活越来越离不开智能机,当然包括android手机,它已经成为了人们的最大需求量之一,市场上出现的android手机也越来越多,人们也比较喜欢用andorid手机。因为相对而言&#xff…

html的div显示到最左侧,HTML/CSS:如何淡化div的左右边缘?

嗨,我想淡出div和它的内容从左和右边缘使用纯CSS。 目前,我能够根据一个关于堆栈溢出的问题的答案来实现这一点。null.container {height: 234px;width: 234px;overflow: scroll;mask-image: linear-gradient(transparent,black 20%,black 80%,transpare…

android 微积分计算器,高数计算器1.0(高数计算工具app)

高数计算器1.0是手机上的一款免费好用的高数计算工具app,利用它,用户就可以进行快速进准的高等数学计算操作,范围包涵函数偏导、泰勒展开、一重积分、二重积分以及Latex编辑等等。详细内容请感兴趣的朋友前来西西下载体验!应用简介…

教你搞定Android自定义View

Android App开发过程中,很多时候会遇到系统框架中提供的控件无法满足我们产品的设计需求,那么这时候我们可以选择先Google下有没有比较成熟的开源项目可以让我们用,当然现在Github上面的项目非常丰富,能够满足我们绝不多数的开发需…

将游戏成绩传到排名页面html,用野狗开发实时游戏排行榜

创建wilddog应用填写应用名称和应用ID就可以创建了。应用ID需要全网唯一创建成功之后就可以在控制面板看到应用了.1.引入SDK2.创建引用ref Wilddog("https://.wilddogio.com/")//将替换成申请的应用IDref Wilddog("https://fullstack-top-demo.wilddogio.com/…

波士顿大学计算机与传媒专业,波士顿大学传媒专业好吗

波士顿大学传媒专业是美国历史上最早的可以授予公共关系学位的大学,它是世界历史上培养得最多的公共关系学者的一所学校。在美国所有新闻传媒专业的排名来讲,波士顿大学传媒专业全美排名也是在前10名的,而在全世界的排名上则是位于前50名的超…

html5 deckview,六本木Hills出現超大型巨人?進擊的巨人展FINAL×頂樓Sky Deck的VR體驗...

戶外複合型度假區「相模湖森林度假遊樂園」將從2019年7月20日(六)~8月30日(五)這段期間展開超人氣動畫《進擊的巨人》與超人氣競技設施「MUSCLE MONSTER」的合作企劃「進擊的企劃『MUSCLE MONSTER』」活動!這次的活動是為了紀念7月5日(五)~9月…

surface系列平板电脑属于微型计算机,什么是Surface平板电脑 微软的Surface平板电脑泽怎么样...

什么是Surface平板电脑?微软的Surface平板电脑是什么?Surface平板电脑分两个版本一个是运行Windows RT系统,搭载ARM处理器(类似于大多手机和平板电脑),9.3毫米(比iPad薄一点),676g(比iPad重一点),配有10.6英寸ClearType高清显示…

用户注意到用户计算机中千兆位网卡,为何你电脑上的千兆网卡跑不到千兆?

这几天谈了不少网络方面的知识和教程,基本上已经脱离百兆的温饱线,走向了高大上的千兆小康生活……事实上,对于目前的硬件环境而言,无论是路由器、网卡、光纤、网线,仅从带宽而言,达到千兆毫无难度&#xf…

安卓学习日记:初识Android Studio · java环境配置和AS安装

工欲善其事,必先利其器。要进行安卓开发,必须要有一款上手的开发利器。查阅了相关资料后,了解到,现在主流的安卓开发工具是: 1. Eclipse Android SDK 2. Android Studio 因为安卓的开发语言是 java,所以…

sql 递归查询

1、既然要谈到sql,数据库表是必须的 2、数据结构 3、获取某个节点的所有子节点 传统的写法(sql2000) 很麻烦,暂且就不写了 来看看CTE的写法 CREATE PROC sp_getTreeById(TreeId int) AS BEGIN WITH cteTree AS (SELECT * FROM Tuz…