Linux系列之统计某个字符串出现次数并排序

业务场景

最近遇到一个流量异常调用的接口,所以需要通过后台日志查看接口调用情况,先统计今天内接口的调用次数,再具体到对应的设备号,就知道哪台设备有问题了,初步想到wcawk命令来筛选统计,但是真正去写的时候,发现很多写法都不太记得了,所以花了点时间去查手册,找资料,现在整理成博客,方便以后需要就马上统计出来,也分享出来,希望可以帮助需要的人

项目环境

  • JDK1.8.0_111-b14
  • Linux3.10.0-1062.el7.x86_64
  • Apache Tomcat/8.5.85

实验步骤

统计某个接口调用次数,可以通过grep筛选出对应得到接口,然后加上wc统计出调用次数

cat catalina.out.2024-03-26| grep "/api/get"| wc -l

如果要统计这个接口具体是哪个设备调用的,每个设备具体的调用次数,就稍微有点麻烦,因为接口请求后,会有一个请求参数,一般是json传参的,所以思路是先用grep定位到具体的接口,然后解析传参json字符串,获取设备号code,对应的值value,然后使用uniq加上sort统计出这个设备调用的次数,具体的linux命令是:

cat catalina.out.2024-03-26| grep "/api/get"| awk -F "[,:}]" '{for(i=1;i<=NF;i++){if($i~"code"){print $(i+1)} }}' | tr -d '"'| sort | uniq -c | sort -nr

不熟悉的读者看起来有点懵,所以,一点点分析一下,为什么这样写?

  • 查看日志
    因为是tomcat部署的后端服务,所以要查看tomcat的catalina.out日志文件,使用cat命令
cat catalina.out.2024-03-26
  • 筛选出具体的api接口
cat catalina.out.2024-03-26| grep "/api/get"
  • 筛选请求json字符串对应设备号的value值
    首选,我们请求参数是一串json字符串,假如是这样的:
{ "code", "0B403940FF289695FC093BF2556FFD75", "type":1}

所以需要获取json对应key,也就是我们的设备号code,对应的值0B403940FF289695FC093BF2556FFD75

cat catalina.out.2024-03-26| grep "/api/get" | awk -F "[,:}]" '{for(i=1;i<=NF;i++){if($i~"code"){print $(i+1)} }}'

解释一下awk对应参数

  1. awk -F "[,:}]" :按照中括号中的内容,}:依次分割字符串
  2. {for(i=1;i<=NF;i++){if($i~"code"){print $(i+1)} }}:遍历筛选出来的数据,匹配到code打印出对应的value

通过上面的linux命令,打印出来的是

"0B403940FF289695FC093BF2556FFD75"
"0B403940FF289695FC093BF2556FFD76"
....

如果觉得比较别扭,可以去掉"字符,使用命令

tr -d '"'

打印:

0B403940FF289695FC093BF2556FFD75
0B403940FF289695FC093BF2556FFD76
....
  • 统计字符串出现的次数
    统计字符串重复次数,可以使用uniq -c,然后为什么还要在前面加上sort命令?因为uniq这个命令只能统计连续的的重复行。所以需要结合sort命令使用,先sort排序,然后uniq统计重复的行
sort | uniq -c

打印,可以看出可以统计数量了,但是,没排序

1000 0B403940FF289695FC093BF2556FFD75
1001 0B403940FF289695FC093BF2556FFD76
999 0B403940FF289695FC093BF2556FFD77
....
  • 按照调用次数进行倒序
    sort命令的-n表示按照数值排序,-r表示按照数值降序排序,所以需要加上排序命令
sort -nr
999 0B403940FF289695FC093BF2556FFD77
1000 0B403940FF289695FC093BF2556FFD75
1001 0B403940FF289695FC093BF2556FFD76....

总结归纳

如果遇到param=0b33131等等这样传参的可以使用如下命令进行筛选,意思是使用param=作为分隔符

 awk -F '(param=)' '{print $2}'

如果遇到和本文类似的场景,直接使用命令进行统计即可:

cat catalina.out.2024-03-26| grep "/api/get"| awk -F "[,:}]" '{for(i=1;i<=NF;i++){if($i~"code"){print $(i+1)} }}' | tr -d '"'| sort | uniq -c | sort -nr

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/774513.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

企业微信变更主体公证怎么弄?

企业微信变更主体有什么作用&#xff1f;现在很多公司都用企业微信来加客户&#xff0c;有时候辛辛苦苦积累了很多客户&#xff0c;但是公司却因为各种各样的原因需要注销&#xff0c;那么就需要通过企业微信变更主体的方法&#xff0c;把企业微信绑定的公司更改为最新的。企业…

python内置函数 V

python内置函数 V Python 解释器内置了很多函数和类型&#xff0c;任何时候都能使用。 V 名称描述vars返回当前局部符号表的字典。 vars() vars(object) 返回模块、类、实例或任何其它具有 __dict__ 属性的对象的 __dict__ 属性。 模块和实例这样的对象具有可更新的 __d…

恶意勒索软件VirLock,通过ApkAnalyser一键提取安卓应用APK敏感信息

恶意勒索软件VirLock&#xff0c;通过ApkAnalyser一键提取安卓应用APK敏感信息。 ############################# 免责声明&#xff1a;本文仅作收藏学习之用&#xff0c;亦希望大家以遵守《网络安全法》相关法律为前提学习&#xff0c;切勿用于非法犯罪活动&#xff0c;对于恶…

ES集群部署的注意事项

文章目录 引言I ES集群部署前期工作II 部署ES2.1 配置安全组2.2 创建ES用户和组2.3 下载安装ES2.4 修改内存相关配置III es集群添加用户安全认证功能3.1 生成 elastic-certificates.p123.2 创建 Elasticsearch 集群密码3.2 设置kibana的 elasticsearch帐号角色和密码3.3 logsta…

python和c语言的区别是什么

Python可以说是目前最火的语言之一了&#xff0c;人工智能的兴起让Python一夜之间变得家喻户晓&#xff0c;Python号称目前最最简单易学的语言&#xff0c;现在有不少高校开始将Python作为大一新生的入门语言。本萌新也刚开始接触Python&#xff0c;发现Python与其他语言确实有…

linux查找指定目录下包含指定字符串文件,包含子目录

linux查找指定目录下包含指定字符串的文件&#xff0c;包含子目录 linux查找指定目录下包含指定字符串的指定文件格式&#xff0c;包含子目录 指定目录 cd /home/www/linux查找指定目录下包含指定字符串的文件&#xff0c;包含子目录 grep -r "指定字符串"注释 gr…

无代码开发:公贝资产钉钉版助力电商平台和用户运营系统集成

{连接公贝资产钉钉版与营销系统} 公贝资产钉钉版可以轻松连接营销系统&#xff0c;实现资产管理与营销活动的有效结合。通过简单的连接操作&#xff0c;用户可以将公贝资产钉钉版中的资产信息与营销系统进行同步&#xff0c;实现信息的共享和更新。这样一来&#xff0c;营销团…

IntelliJ中的非JVM技术

Markdown&#xff1a;https://www.jetbrains.com/help/idea/markdown.html 支持CommonMark&#xff08;定制Markdown标准&#xff09;&#xff0c;IntelliJ默认捆绑了Markdown插件&#xff0c;所以可以学学这个文章&#xff0c; 以便可以更好的在IntelliJ中使用Markdown。JSON&…

测试开发工程师(QA)职业到底需要干些什么?part6:数据测试工程师QA

常见任务和工作内容 作为数据测试工程师QA&#xff08;Quality Assurance&#xff09;&#xff0c;您的主要职责是确保数据的质量、准确性和一致性。以下是数据测试工程师QA的一些常见任务和工作内容&#xff1a; 数据验证和准确性测试&#xff1a;您将负责验证数据的准确性和…

C++中的结构体数组

本文介绍C中的结构体数组&#xff0c;是建立在结构体和数组的知识基础上的&#xff0c;如果你对结构体不够熟悉&#xff0c;可以先看我的另一篇文章&#xff1a; C中的结构体 在C中&#xff0c;结构体&#xff08;struct&#xff09;是一种用户自定义的数据类型&#xff0c;它允…

Python基础教程:基本数据类型

基本数据类型 不可变数据(3 个):Number(数字)、String(字符串)、Tuple(元组) 可变数据(3 个):List(列表)、Dictionary(字典)、Set(集合) Numbers(数字) 数字数据类型用于存储数值。 他们是不可改变的数据类型,这意味着改变数字数据类型会分配一个新的对…

【爬虫基础】第1讲 网络爬虫基本知识

什么是网络爬虫 网络爬虫&#xff08;Web crawler&#xff09;是一种自动化程序&#xff0c;用于在互联网上收集信息。它可以通过扫描和解析网页的超链接&#xff0c;自动访问网页并抓取所需的数据。网络爬虫常用于搜索引擎和数据采集工具中。 作用 通过有效的爬虫手段批量采…

鸿蒙HarmonyOS应用开发——组件级配置

在开发应用时&#xff0c;需要配置应用的一些标签&#xff0c;例如应用的包名、图标等标识特征的属性。本文描述了在开发应用需要配置的一些关键标签。 应用包名配置 应用需要在工程的AppScope目录下的 app.json5配置文件 中配置bundleName标签&#xff0c;该标签用于标识应用…

班级综合测评管理系统的设计与实现|Springboot+ Mysql+Java+ B/S结构(可运行源码+数据库+设计文档)

本项目包含可运行源码数据库LW&#xff0c;文末可获取本项目的所有资料。 推荐阅读100套最新项目持续更新中..... 2024年计算机毕业论文&#xff08;设计&#xff09;学生选题参考合集推荐收藏&#xff08;包含Springboot、jsp、ssmvue等技术项目合集&#xff09; 目录 1. …

Vitest 单元测试方案

&#x1f525; 交流讨论&#xff1a;欢迎加入我们一起学习&#xff01; &#x1f525; 资源分享&#xff1a;耗时200小时精选的「软件测试」资料包 &#x1f525; 教程推荐&#xff1a;火遍全网的《软件测试》教程 &#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1…

鸿蒙OS开发案例:【API9】遍历沙漏文件夹并输入文件的大小

1.获取打印文件大小 /*** 获取打印文件大小*/static getFileSize(byteNum: number) {if (byteNum < 0) {return "shouldnt be less than zero!";} else if (byteNum < 1024) {return ${byteNum.toFixed(3)}B;} else if (byteNum < 1048576) {return (byteNu…

Mysql各种日志管理

文章目录 事务日志事务日志的记录过程事务日志类型事务日志的相关变量 错误日志二进制日志功能作用文件的构成日志格式查看日志删除日志 通用日志慢查询日志 Mysql日志记录着数据库在运行过程中的各种操作&#xff0c;帮助管理员定位查找问题。 事务日志 事务日志(Transaction…

(原型与原型链)前端八股文修炼Day5

一 原型链的理解 原型链定义&#xff1a; 原型链是 JavaScript 中实现对象继承的关键机制之一&#xff0c;它是一种对象之间的关系&#xff0c;通过这种关系&#xff0c;一个对象可以继承另一个对象的属性和方法。 原型链的组成&#xff1a; 每个对象都有一个指向另一个对象的…

Vue3尚硅谷张天禹笔记

1. Vue3简介 2020年9月18日&#xff0c;Vue.js发布版3.0版本&#xff0c;代号&#xff1a;One Piece&#xff08;n 经历了&#xff1a;4800次提交、40个RFC、600次PR、300贡献者 官方发版地址&#xff1a;Release v3.0.0 One Piece vuejs/core 截止2023年10月&#xff0c;最…

TopoDS_Face的面积及TopoDS_Edge的长度

TopoDS_Face 和 TopoDS_Edge 是 opencascade 中常用的几何体表示方式&#xff0c;为面和边提供了统一的表达&#xff0c;其面积和长度计算应该也很常用。 TopoDS_Face 面积计算&#xff1a; #include <GProp_GProps.hxx> #include <BRepGProp.hxx>double FaceArea…