shell最大出现和连续出现次数_shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询)...

当服务器压力比较大,跑起来很费力时候。我们经常做站点页面优化,会去查找那些页面访问次数比较多,而且比较费时。 找到那些访问次数高,并且比较耗时的地址,就行相关优化,会取得立竿见影的效果的。 下面是我在做优化时候,经常用到的一段shell 脚本。 这个也可以算是,统计web页面的slowpage 慢访问页面,象mysql slowquery 。

以下是我的:nginx 配制

log_format  main  '$remote_addr - $remote_user [$time_local] $request '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" $request_time';

access_log  /var/log/nginx/access.log  main buffer=32k;

从上面配置,可以看到:ip在 第一列,页面耗时是在最后一列,中间用空格分隔。 因此在awk 中,分别可以用:$1

$NF 读取到当前值。 其中NF是常量,代表整个列数。

下面是分析代码的shell文件,可以存为slow.sh

#!/bin/sh

export PATH=/usr/bin:/bin:/usr/local/bin:/usr/X11R6/bin;

export LANG=zh_CN.GB2312;

function usage()

{

echo "$0 filelog  options";

exit 1;

}

function slowlog()

{

#set -x;

field=$2;

files=$1;

end=2;

msg="";

[[ $2 == '1' ]] && field=1&&end=2&&msg="总访问次数统计";

[[ $2 == '2' ]] && field=3&&end=4&&msg="平均访问时间统计";

echo -e "\r\n\r\n";

echo -n "$msg";

seq -s '#' 30 | sed -e 's/[0-9]*//g';

awk '{split($7,bbb,"?");arr[bbb[1]]=arr[bbb[1]]+$NF; arr2[bbb[1]]=arr2[bbb[1]]+1; } END{for ( i in arr ) { print i":"arr2[i]":"arr[i]":"arr[i]/arr2[i]}}' $1 | sort  -t: +$field -$end -rn |grep "pages" |head -30 | sed 's/:/\t/g'

}

[[ $# < 2 ]] && usage;

slowlog $1 $2;

只需要执行:slow.sh 日志文件  1或者2

1:三十条访问最平凡的页面

2:三十条访问最耗时的页面

执行结果如下:

chmod +x ./slow.sh

chmod +x slow.sh

./slow.sh /var/log/nginx/

./slow.sh /var/log/nginx/access.log 2

平均访问时间统计#############################

/pages/########1.php        4       120.456 30.114

/pages/########2.php 1       16.161  16.161

/pages/########3.php 212     1122.49 5.29475

/pages/########4.php     6       28.645  4.77417

..................

希望以上脚本对大家会有一定帮助。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/301318.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[翻译]Go与C#的比较,第二篇:垃圾回收

Go vs C#, part 2: Garbage Collection | by Alex Yakunin | ServiceTitan — Titan Tech | Medium目录译者注什么是垃圾回收&#xff1f;什么是GCBurn&#xff1f;峰值分配吞吐量&#xff08;"速度测试"&#xff09;GCBurn 测试GC Burn测试结果结论.NET CoreGo两者…

写在《ASP.NET MVC 4 Web 编程》即将出版之际!献给有节操的程序员!

《Programming ASP.NET MVC 4》中文版即将上市了&#xff01;非常荣幸我可以再次参与一本不错的技术书籍的翻译工作。 这也是在《WCF技术内幕》与《WCF服务编程》第三版之后&#xff0c;翻译的第三本书。此书由世界上最著名的计算机出版社Oreilly出版&#xff0c;中文版本由华中…

日本码农为了萝莉,竟然在GitHub上做这种事,“警察,快来抓我啊!”

全世界只有3.14 % 的人关注了数据与算法之美近日&#xff0c;日本刈谷市警方抓了一名13岁的小女孩&#xff0c;原因是“她将一段恶意代码的链接放到了网上&#xff0c;导致一千多台电脑系统崩溃。”其实&#xff0c;这就是一个入门级的恶作剧无限弹窗而已&#xff0c;只要你点了…

10玩rust_C++工程师的Rust迁移之路(5)- 继承与组合 - 下

2020-11-25 更新&#xff1a;修正了C 20中的concept语法在上一篇文章 https://zhuanlan.zhihu.com/p/76740667 中&#xff0c;我介绍多态、静态分发和动态分发的概念&#xff0c;以及他们各自在C和Rust中的实现方式。在本文中&#xff0c;我会重点讲Rust中的Trait实现的静态分发…

带老弟做个实时排行榜

阿巴可懂的实时排行榜设计和实现思路。大家好&#xff0c;我是鱼皮&#xff0c;暑假快到了&#xff0c;我的老弟小阿巴听说我家有很多好康的&#xff0c;就跑来找我玩。结果我摆出了几个以前开发过的小系统&#xff0c;准备在这段时间带着小阿巴多做些作品&#xff0c;学习编程…

c++ memcpy与strcpy的比较

1&#xff1a;区别memcpy可以拷贝任何数据类型的对象&#xff0c;指定拷贝的数据长度。strcpy只能拷贝字符串了&#xff0c;它遇到\0就结束拷贝2&#xff1a;性能static inline char *__kernel_strcpy(char *dest, const char *src){char*xdest dest;asmvolatile("\n&quo…

每日一笑 | 在托运行李时,怎样才能不会因为超重被罚钱?

全世界只有3.14 % 的人关注了数据与算法之美&#xff08;图片来源于网络&#xff0c;侵权删&#xff09;

加时间水印_如何在手机照片上添加时间和日期?打开这个设置即可添加,超方便...

经常在朋友圈或者微博刷到一些照片&#xff0c;上面带有拍照时间和地点&#xff0c;甚至是天气&#xff0c;很多人还不知道是怎么操作的吗&#xff0c;今天小编就来告诉大家怎么操作&#xff0c;1分钟包学包会&#xff01;1、照片添加文字、地址、天气打开手机相机&#xff0c;…

少儿编程教育是“揠苗助长”还是要培养未来的程序员?

▲数据汪特别推荐点击上图进入玩酷屋去年有一款名叫CoderMindz的棋类游戏在硅谷名声大噪&#xff0c;它的前身CoderBunnyz发布不到一年时间&#xff0c;销量超过1000余套&#xff0c;销售额以超35000美元&#xff0c;因此大家对新款CoderMindz充满期待。而这款游戏的开发者&…

创建一个列表

/* Note:Your choice is C IDE */#include "stdio.h"#include "malloc.h"struct node{intdata;structnode *next;};typedef struct node NODE;NODE *create_linklist(int n){NODE*p,*q,*head;inti;p(NODE*)malloc(sizeof(NODE));headp;printf("请输入…

日志ILog(文件日志/控制台日志/控件日志/网络日志)

日志组件是NewLife系列组件最早最基础&#xff0c;同时也是流血流泪最多的一个模块&#xff0c;它的底蕴定能感动每一个用户&#xff01;没有日志的应用系统是不完整的。系统遇到啥问题&#xff0c;翻日志看看当时上下文&#xff0c;实在分析不出问题&#xff0c;修改代码再打几…

php crypt mysql password_php使用crypt()函数进行加密

一、代码$str 应用crypt()函数进行单向加密!; //声明字符串变量$strecho 加密前$str的值为&#xff1a;.$str;$crypttostr crypt($str); //对变量$str加密echo 加密后$str的值为&#xff1a;.$crypttostr; //输出加密后的变量?>二、运行结果参数不带salt&#xff0c;每次…

.NET 容器环境下创建应用 dump 文件

.NET 容器环境下创建应用 dump 文件Intro有时候我们的应用会出现一些异常的情况&#xff0c;比如内存飙升&#xff0c;线程死锁等等&#xff0c;通过一些 metrics 我们可能大概的了解内存是增长了&#xff0c;但是具体是哪里增长了&#xff0c;单单看内存的变化很难看出来哪里导…

安装mysql二进制文件_MySQL二进制文件规范安装

演示环境介绍操作系统&#xff1a;CentOS 6.7 (64位)二进制包&#xff1a;MySQL-5.6.30-linux-glibc2.5-x86_64.tar.gzMySQL 下载地址&#xff1a;http://dev.mysql.com/downloads/1、下载MySQL# mkdir /root/mysql# cd /root/mysql# wget http://dev.mysql.com/get/Downloads…

清华体质优良可降5分录取;窃取密钥者奖百万;阿里投入1亿保护方言;腾讯不正当竞争被罚;这就是今天的大新闻...

今天是3月21日农历二月十五今天星期四网络突然变得特别的卡严重影响到我的激情下面是今天的大新闻清华体质优良可再降5分录取&#xff08;中国新闻网&#xff09;据清华大学招生办公室官方微信消息&#xff0c;2019年清华大学将继续在自主招生中开展体质测试。体质测试成绩优良…

[Android]关于IntentService

2019独角兽企业重金招聘Python工程师标准>>> IntentService其实是Service加Handler的组合&#xff0c;Handler存在于专门的HandlerThread上&#xff0c; 区别于UI thread, Service每通过onStart()收到Intent&#xff0c;则转给Handler,通过handleMessage()的方式一个…

Facebook 竟然把服务 27 亿人的 AI 硬件系统开源了?!

全世界只有3.14 % 的人关注了数据与算法之美一直以来&#xff0c;社区对 Facebook 的硬件研究比较关注。在今日的开放计算项目全球峰会上&#xff0c;Facebook 技术策略主管 Vijay Rao 开源了全新的 AI 硬件&#xff1a;面向 AI 训练与推理的硬件系统 Zion 与 Kings Canyon&…

一秒创建高级查询服务

在业务开发中&#xff0c;一个常用的功能就是“高级查询”&#xff0c;就是客户可以根据自己的需要设置查询条件查找数据&#xff0c;类似下图&#xff1a; 通常&#xff0c;我们需要为每个“高级查询”定制Dto类&#xff0c;用于传输条件&#xff0c;并要根据条件组合成查询语…

SQL Server CONVERT() 函数

定义和用法 CONVERT() 函数是把日期转换为新数据类型的通用函数。 CONVERT() 函数可以用不同的格式显示日期/时间数据。 语法 CONVERT(data_type(length),data_to_be_converted,style) data_type(length) 规定目标数据类型&#xff08;带有可选的长度&#xff09;。data_to_be_…

首款产后抑郁药问世;京东推出城市操作系统;阿里将推出全新销售平台;香港政府砸5300亿填海;脸书再爆隐私丑闻;这就是今天的大新闻...

今天是3月22日农历二月十六今天星期五一周就这么过去了周末得好好耍下面是今天的大新闻首款产后抑郁药问世&#xff08;红星新闻&#xff09;据美国CNN新闻3月19日报道&#xff0c;当地时间本周二&#xff08;19日&#xff09;&#xff0c;美国食品和药物管理局&#xff08;FDA…