linux统计日志,Linux一些常使用的统计日志 方法

IP相关统计

统计IP访问量(独立ip访问数量)

awk '{print $1}' access.log | sort -n | uniq | wc -l

查看某一时间段的IP访问量(4-5点)

grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l

查看访问最频繁的前100个IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100

查看访问100次以上的IP

awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

查询某个IP的详细访问情况,按访问频率排序

grep '127.0.01' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

页面访问统计

查看访问最频的页面(TOP100)

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

查看访问最频的页面([排除php页面】(TOP100)

grep -v ".php" access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100

查看页面访问次数超过100次的页面

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

查看最近1000条记录,访问量最高的页面

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

每秒请求量统计

统计每秒的请求数,top100的时间点(精确到秒)

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100

每分钟请求量统计

统计每小时的请求数,top100的时间点(精确到小时)

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100

性能分析

在nginx log中最后一个字段加入$request_time

列出传输时间超过 3 秒的页面,显示前20条

cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20

列出php页面请求时间超过3秒的页面,并统计其出现的次数,显示前100条

cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

蜘蛛抓取统计

统计蜘蛛抓取次数

grep 'Baiduspider' access.log |wc -l

统计蜘蛛抓取404的次数

grep 'Baiduspider' access.log |grep '404' | wc -l

TCP连接统计

查看当前TCP连接数

netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l

用tcpdump嗅探80端口的访问看看谁最高

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/246389.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux常见分区格式,linux 分区格式

一、分区与格式化的原理二、使用linux中的fdisk分区三、使用mkfs创建文件系统四、硬盘分区的挂载;一、分区原理1、主分区表(64byte):记录分区的起始与结束柱面、主分区个数。主分区大小有限,不能超过四个主分区2、扩展分区:将一个…

linux添加虚拟硬盘命令,虚拟机linux扩盘命令操作

虚拟机linux扩展硬盘分原有硬盘上增加及新增硬盘,二者实现差不多。扩盘:fdisk -l查看是哪个盘扩盘了,如sdb重启后,将sdb刷新pv: pvresize /dev/sdb,pvdisplay查看是否增加了,再将逻辑卷分区VG(L…

linux的ping工具,用linux下的tcping工具测试已禁ping服务器延迟

方法一先用apt-get或者yum安装tcptraceroute bc这两个工具,然后执行cd /usr/binwget http://www.vdberg.org/~richard/tcppingchmod x tcppingmv tcpping tcping实际效果如下# tcping www.baidu.com 80seq 0: tcp response from 119.75.216.20 [open] 28.308 msseq …

mac ssh远程登录linux,MAC使用SSH远程登录

8种机械键盘轴体对比本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选?Sun 20 December 2015tags: 备忘录MAC使用SSH远程登录打开sshMac Terminal是自带SSH的,可以用whereis来看看$ whereis ssh但是在现有进程中是找不到ssh…

四叶草引导windows和linux,Windows环境下使用Clover四叶草引导双硬盘安装OSX 10.11.5原版镜像...

作为一个穷逼大学生,想搞iOS开发 买不起Mac只能鼓捣鼓捣黑苹果啦。。。。。。。。之前我的电脑通过变色龙引导的方式装了个OSX10.10和win8.1双系统,因为自学的是Swift语言之前装的OSX10.10.4的Xcode(6.多版本的)只支持到Swift1.2,所以现在要装…

linux bash 字符串 连接,Linux Bash 中字符串操作

Linux Bash 中字符串操作所谓 "子字符串" 就是出现在其它字符串内的字符串. 比如 "3382" 就是 "this is a 3382 test" 的子字符串. 我们有多种方法可以从中把数字或指定部分字符串抽取出来.本文会向你展示在 bash shell 中如何获取或者说查找出子…

C#中typeof 与GetType()的区别和methodinfo、memberinfo反射

C#中任何对象都具有GetType()方法,它的作用和typeof()相同,返回Type类型的当前对象的类型。typeof(x)中的x,必须是具体的类名、类型名称等,不可以是变量名称;GetType()是基类System.Object的方法,因此只有建…

maven下载源码linux,Maven 下载 源码和javadoc 命令

摘要:我们在写代码时候,往往是想查看一下源码,看看源码的一些细节内容。一般情况下,在IDE(如eclipse)中近仅仅只需按住ctrl 点击对应的方法即可进入对应的源码部分。但是有些时候很多依赖项并不会默认下载对应的源码,因…

监听Hierachy、Project等视图结构变化的事件

之前上网看了MOMO关于监听Hierachy、Project等视图结构变化的事件,原代码是一个日本人写的,MOMO也没有讲原理。这里我通过自己的理解加了些注释,可能有不正确的地方,希望大神指点。 其中用到了[InitializeOnLoad],可以…

linux交叉编译tile环境搭建,g ++ - 在Ubuntu中在32位上交叉编译64位程序时,缺少包含“bits / c ++ config.h”...

在我的64位系统上,我注意到存在以下目录:/usr/include/c/4.4/x86_64-linux-gnu/32/bits那么我的32位系统已经设置为64位交叉编译就应该有一个相应的目录,如:/usr/include/c/4.4/i686-linux-gnu/64/bits我仔细检查了这个目录不存在…

Unity3D研究院之获取摄像机的视口区域

在网上看了momo的文章,在这把代码加入些注释,也便于自己理解记忆。原理很简单,就是根据摄像机的参数计算距离摄像机某一距离的摄像机窗口四个position。 using UnityEngine; using System.Collections;public class CameraView : MonoBehavio…

linux 的文件软链接隐藏,Linux inode及硬链接软链接详解

Linux inode及硬链接软链接详解York • 2020 年 09 月 28 日Loading...操作系统的文件数据除了实际内容之外,通常含有非常多的属性,例如 Linux操作系统的文件权限与文件属性。文件系统通常会将这两部分内容分别存放在 inode和 block中。---# inode 和 bl…

Unity中date相关问题

今天遇到了从服务器获取unix时间戳,将其转换为时间并显示的需求。Unity中可以使用C#中有关的date函数来处理这个问题。 首先UNIX时间戳的定义如下: Unix时间戳(英文为Unix epoch, Unix time, POSIX time 或 Unix timestamp) 是…

linux集群管理权限,Linux下ACL权限管理

1.开启ACL功能(1)永久开启①#tune2fs -o acl /dev/sdb2②#cd /etc/fstab#vim fstab写入:/dev/sdb2 /mnt/sdb ext3 defaults,acl 0 0(2)临时开启已挂起的分区:#mount -o remount acl /dev/sdb2未挂载的分区#mount -o /dev/sdb2 /mnt/sdb2.查看是否开启ACL#tune2fs -l…

查找unity工程代码中中文字符

游戏本地化的时候可能需要搜索工程代码中的中文字符。 这个可以通过加载文件一行一行读取后,通过正则来查询。 下面的代码LoadFile函数通过流加载文件,FindFile通过递归病使用DirectoryInfo类和FileInfo类读取子目录和文件,并通过正则匹配出…

linux so_nosigpipe,TCP_NODELAY/SO_LINGER/SO_NOSIGPIPE/MSG_NOSIGNAL设置

下面是TCP_NODELAY/SO_LINGER/SO_NOSIGPIPE/MSG_NOSIGNAL的设置方法:其中由于平台的不同,区分SO_NOSIGPIPE和MSG_NOSIGNAL有所分区:int optval 1;// turn off SIGPIPE signal#ifdef __linux__setsockopt(m_Sockfd, SOL_SOCKET, MSG_NOSIGNAL…

Unity将来时:IL2CPP是什么?

Unity3D 想必大家都不陌生,独立游戏制作者们很多人都在用它,甚至一些大公司也用在很商业的游戏制作上。Unity3D最大的一个特点是一次制作,多平台部署,而 这一核心功能是靠Mono实现的。可以说Mono是Unity3D核心的核心,是…

计算信源熵和香农编码C语言,信息论与编码课程设计报告-统计信源熵与香农编码.pdf...

信息论与编码课程设计报告设计题目: 统计信源熵与香农编码专业班级 电 信 12-06学 号学生姓名指导教师教师评分2015 年 3 月 30 日目 录- 0 -一、设计任务与要求1.统计信源熵要求:统计任意文本文件中各字符(不区分大小写)数量,计算字符概率&a…

手游频繁崩溃”闪退”? 从程序上找原因

手游频繁崩溃”闪退”? 从程序上找原因 作为玩家,当游戏crash的时候是什么心情,如果这个游戏玩起来还不错的话,那我可能还会打开第二次,如果这个游戏一般的话我可能直接怒删了。当多次出现闪退crash的时候,…

汇编语言属于C语言吧,汇编语言和c语言的区别是什么

区别:汇编语言的效率高,对硬件的可操控性更强,体积小,不易维护,可移植性很差;c语言的效率比较低,硬件可操控性比较差,目标代码体积大,容易维护,可移植性很好。…