nginx日志统计qps

1.QPS

QPS全称为Queries Per Second，即每秒钟处理的请求数量。对于一个高并发应用来说，QPS是非常重要的性能指标，它反映了应用处理请求的能力。在实际应用中，QPS的大小取决于应用的负载和应用本身的性能。
QPS = req/sec = 请求数/秒
举个例子，假设有一个电商网站，这个网站每天需要处理100万个订单请求，那么每秒钟需要处理的订单数量就是1000000 / 86400 ≈ 11.57。因此，这个网站的QPS应该至少达到11.57。

计算

QPS = req/sec = 请求数/秒

QPS计算PV和机器的方式

QPS统计方式 [一般使用 http_load 进行统计]
QPS = 总请求数 / ( 进程总数 * 请求时间 )
QPS: 单个进程每秒请求服务器的成功次数
单台服务器每天PV计算

公式1：每天总PV = QPS * 3600 * 6

公式2：每天总PV = QPS * 3600 * 8

服务器计算

服务器数量 = ceil( 每天总PV / 单台服务器每天总PV )

峰值QPS和机器计算公式

原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间

公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)

机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器

问：每天300w PV 的在单台机器上，这台机器需要多少QPS？

( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)

如果一台机器的QPS是58，需要几台机器来支持？

139 / 58 = 3

通过nginx日志计算

tail -f /var/log/nginx/access.log | awk '{print $4}' | cut -c 14-18 | uniq -c

tail -f命令用于实时输出日志内容，awk命令用于提取日志中的时间戳信息，cut命令用于截取时间戳中的秒数信息，uniq -c命令用于统计每个秒数内的请求数。.
若统计结果为

10 22:12
15 22:13
12 22:14

则QPS为：(10+15+12)/3=12.33。这表示平均每秒钟有12.33个请求。

通过日志确定某个接口的QPS

日志中接口记录如下

2023-07-12T11:16:23+0800|127.0.0.1|-|-|GET|http|127.0.0.1|/getVideoInfo?id=1

首先nginx的日志是按照时间顺序的。因此计算QPS，只需要先统计条数，再计算时间差，二者相除就可以得到。

使用wc命令

1.获取条数
wc -l access.log | awk '{print $1}'
2.统计第一条和最后一条的时间并格式化成时间戳
// 第一条日志时间戳
date -d "$(head -n 1 access.log | awk -F "|" '/getVideoInfo/ {print $1}')" +%s// 最后一条日志时间戳
date -d "$(tail -n 1 access.log | awk -F "|" '/getVideoInfo/ {print $1}')" +%s
3.计算qps
count=$(wc -l access.log | awk '{print $1}'); start=$(date -d "$(head -n 1 access.log | awk -F "|" '/getVideoInfo/ {print $1}')" +%s); end=$(date -d "$(tail -n 1 access.log | awk -F "|" '/getVideoInfo/ {print $1}')" +%s); t=$(($end-$start));  qps=$(echo "scale=2; $count/$t" | bc); printf "%.2f\n" $qps

使用awk命令

1.统计条数
awk -F "|" '$8=="/getVideoInfo?id=1" {count++} END {print count}' access.log
2.第一条和最后一条时间计算
-v start="$(date -d "$(head -n 1 access.log | grep "getVideoInfo" | cut -d "|" -f 1)" +%s)" -v end="$(date -d "$(tail -n 1 access.log | grep "getVideoInfo" | cut -d "|" -f 1)" +%s)"
3.计算qps
awk -F "|" -v start="$(date -d "$(head -n 1 access.log | grep "getVideoInfo" | cut -d "|" -f 1)" +%s)" -v end="$(date -d "$(tail -n 1 access.log | grep "getVideoInfo" | cut -d "|" -f 1)" +%s)" '$8=="/getVideoInfo?id=1" {count++} END {qps=count/(end-start); print qps}' access.log

详见 https://cloud.tencent.com/developer/article/2357770

2.TPS

TPS全称为Transactions Per Second，即每秒钟处理的事务数量。事务是指一个操作或者一组操作的集合，例如提交一个订单、更新一个用户信息等等。与QPS类似，TPS也是衡量高并发应用性能的重要指标之一。

以支付宝为例，每秒钟需要处理大量的交易请求，因此TPS是支付宝必须要关注的性能指标。如果支付宝的TPS不足，那么就会导致用户无法及时完成交易，给用户带来不便。如果每个订单包含多个操作（例如下单、付款、发货等），那么需要考虑每秒钟能够处理的事务数量。假设每个订单需要处理10个事务，那么每秒钟需要处理的事务数量就是11.57 * 10 ≈ 115.7。因此，这个网站的TPS应该至少达到115.7。