1、awk概述
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
数据可以来自标准输入也可以是管道或文件
在 linux 上常用的是 gawk,awk 是 gawk 的链接文件
[root@localhost~]# which awk
/usr/bin/awk[root@localhost~]# ll /usr/bin/awk
lrwxrwxrwx. 1 root root 4 6月 11 07:19 /usr/bin/awk -> gawk
2、awk工作原理
当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
如果没有定义匹配条件默认是匹配所有数据行， awk 隐含循环，条件匹配多少次动作就会执行多少次逐行读取文本，默认以空格或tab 键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed 命令常用于一整行的处理，而 awk 比较、倾向于将一行分成多个 "" 字段 " 然后再进行处理。 awk
信息的读入也是逐行读取的，执行结果可以通过 print 的功能将字段数据打印显示。在使用 awk 命令的过程中, 可以使用逻辑操作符 " &&" 表示 " 与 " 、 "|| 表示 " 或 " 、 "!" 表示非 "; 还可以进行简单的数学运算，如 +、- 、* 、 / 、 % 、 ^ 分别表示加、减、乘、除、取余和乘方。
正则表达式 : /root/ 匹配含有 root 的行 /*.root/
关系表达式： < > && || + *
匹配表达式： ~ ！ ~ 动作：
变量 命令 内置函数 流控制语句它的语法结构如下：
awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }'BEGIN END 是 AWK 的关键字部，因此必须大写；这两个部分开始块和结束块是可选的
3、awk执行流程
BEGIN 语句设置计数和打印头部信息，在任何动作之前进行
END 语句输出统计结果，在完成动作之后执行
AWK 执行流程：读（ Read ）、执行（ Execute ）与重复（ Repeat ）。
1 、读（ Read ）：从文件、管道或标准输入中读入一行到内存中
2 、执行（ Execute ）：对每一行数据，根据 AWK 命令按顺序执行。默认情况是处理每一行数据，也可以指定模式
3 、重复（ Repeat ）：一直重复上述两个过程直到文件结束
4、命令格式
awk 选项 ' 模式或条件 { 操作 }' 文件 1 文件 2 ...awk -f 脚本文件 文件 1 文件 2 ..格式： awk 关键字 选项 命令部分 '{xxxx}' 文件名
**AWK 支持两种不同类型的变量：内建变量 ( 可直接使用 ) ，自定义变量 awk 内置变量（预定义变量）
FS ：指定每行文本的字段分隔符，默认为空格或制表位。
NF ：当前处理的行的字段个数。在执行过程中对应于当前的字段数， NF ：列的个数
NR ：当前处理的行的行号（序数）。 在执行过程中对应于当前的行号
$0 ：当前处理的行的整行内容。
$n ：当前处理行的第 n 个字段（第 n 列）。比如 : $1 表示第一个字段， $2 表示第二个字段
FILENAME ：被处理的文件名 ( 当前输入文件的名 ) 。
FNR 各文件分别计数的行号
OFS 输出字段分隔符（默认值是一个空格）
ORS 输出记录分隔符（默认值是一个换行符）
RS: 行分隔符。 awk 从文件上读取资料时 , 将根据 Rs 的定义把资料切割成许多条记录 , 而 awk 一次仅读入一条记录, 以进行处理。预设值是 " \n'
简说：数据记录分隔，默认为 \n ，即每行为一条记录
5、内建变量（FS NF NR $0 $n）
awk 包含几个特殊的内建变量（可直接用）如下所示：
FS ：指定每行文本的字段分隔符，默认为空格或制表位（\t）。
NF ：当前处理的行的字段个数（列）。
NR ：当前处理的行的行号（序数）。
$0 ：当前处理的行的整行内容。
$n ：当前处理行的第 n 个字段（第 n 列）。
FILENAME ：被处理的文件名。
RS: 行分隔符。 awk 从文件上读取资料时 , 将根据 Rs 的定义把资料切割成许多条记录 , 而 awk 一次仅读入一
条记录 , 以进行处理。预设值是 " \n'
简说：数据记录分隔，默认为 \n ，即每行为一条记录
[root@localhost ~] #awk 'patterm{action}'
[root@localhost ~] #awk ' ' # 什么都不写 空没有效果
[root@localhost ~] #awk '{print}' #把输入内容再 打印一遍
[root@localhost ~] #awk '{print "hello"}' 输入任何内容都打印hello# 字符串需要添加双引号，单引号已被使用
[root@localhost ~] #awk '{print "hello"}' < /etc/passwd把/etc/passwd内容输出到awk，所有/etc/passwd内容显示成hello
[root@localhost ~] # cat /etc/passwd | head -10 > zz #把/etc/passwd前10行输入到zz[root@localhost ~] # awk '{print}' zz #打印文件zz[root@localhost ~] # awk '{print $1}' zz #以默认空格为分隔，打印zz第一列[root@localhost ~] # awk -F: '{print $1}' zz #以：为分隔，打印zz第一列
root:x:0:0:root:/root:/bin/bash //awk 默认把这一行当做一列，因为没有被空格分隔， awk 默
认以空格或 tab 键分隔
[root@localhost ~] # awk -F: '{print $5}' zz # 以：为分隔符，打印第五列
[root@localhost ~] # awk -Fx '{print $1}' /etc/passwd #以 x 为分隔符 ，打印第一列
[root@localhost ~] # awk '{print $1 $2}' zz[root@localhost ~] # awk '{print $1" "$2}' zz #双引号中间加一个空格，空格作用[root@localhost ~] # awk '{print $1,$2}' zz # 逗号有空格效果[root@localhost ~] # awk -F: '{print $1"\t"$2}' /etc/passwd #用制表符作为分隔符
[root@localhost ~] # awk -F[:/] '{print $9}' zz// 定义多个分隔符，只要看到其中一个都算作分隔符
6、内置变量（$0 $1 NF NR）
awk 常用内置变量： $1 、 $2 、 NF 、 NR 、 $0
$1 ：代表第一列
$2 ：代表第二列以此类推
$0 ：代表整行
NF：一行的列数
NR：行数
[root@localhost ~] # awk -F: '/root/{print $0}' zz // 打印包含 root 的整行内容
[root@localhost ~] # awk -F: '/root/{print $1}' zz // 打印包含 root 的行的第一列
[root@localhost ~] # awk -F: '/root/{print $1,$6}' zz // 打印包含 root 行的第1列和第6列
[root@localhost ~] # awk '/root/' /etc/passwd //输出包含root的行
[root@localhost ~] # awk -F[:/] '{print NF}' zz // 打印每一行的列数
[root@localhost ~] # awk '{print NR}' zz[root@localhost ~] # awk -F[:/] '{print NR}' zz //显示行号[root@localhost ~] # awk -F: '{print NR}' zz
[root@localhost ~] # awk -F: '{print NR,$0}' pass.txt //显示行号，并打印每一行
[root@localhost ~] # awk 'NR==2' zz //打印第二行 (不加 print 也一样，默认就是打印)[root@localhost ~] # awk 'NR==2{print}' /etc/passwd
[root@localhost ~] # awk -F: 'NR==2{print $1}' /etc/passwd // 打印第二行的第一列
[root@localhost ~] # awk -F: '{print $NF}' /etc/passwd // 打印最后一列
[root@localhost ~] # awk 'END{print NR}' zz // 打印最后一行行号，相当于总行数
[root@localhost ~] # awk 'END{print $0}' zz // 打印文件最后一行
[root@localhost ~] # awk -F: '{print " 当前行有 "NF" 列 "}' zz[root@localhost ~] # awk -F: '{print " 第 "NR" 行有 "NF" 列 "}' zz // 第几行有几 列
扩展生产案列：网卡的 ip 、流量
[root@localhost ~] # ifconfig ens33 | awk '/netmask/{print " 本机的 ip 地址是 "$4}'打印 ifconfig ens33 包含 netmask 行 的第四列
[root@localhost ~] # ifconfig ens33 | awk '/RX p/{print $5" 字节 "}'打印 ifconfig ens33 包含 RX p 行 的第五列# 根分区的可用量
[root@localhost ~] # df -h | awk 'NR==2{print $4}'打印 df -h 第二行 第四列
7、BEGIN END 运算
逐行执行开始之前执行什么任务，结束之后再执行什么任务，用 BEGIN 、 END
BEGIN 一般用来做初始化操作，仅在读取数据记录之前执行一次
END 一般用来做汇总操作，仅在读取完数据记录之后执行一次
awk 的运算：
[root@localhost ~] # awk 'BEGIN{x=10;print x}'// 如果不用引号 awk 就当作一个变量来输出了，所以不需要加$ 了10[root@localhost ~] # awk 'BEGIN{x=10;print x+1}'//BEGIN 在处理文件之前，所以后面不跟文件名也不影响11[root@localhost ~] # awk 'BEGIN{x=10;x++;print x}'11[root@localhost ~] # awk 'BEGIN{print x+1}'// 不指定初始值，初始值就为 0 ，如果是字符串，则默认为空1
[root@localhost ~] # awk 'BEGIN{print 2.5+3.5}' // 小数也可以运算6[root@localhost ~] # awk 'BEGIN{print 2-1}'1[root@localhost ~] # awk 'BEGIN{print 3*4}'12[root@localhost ~] # awk 'BEGIN{print 3**2}'9[root@localhost ~] # awk 'BEGIN{print 2^3}' //^ 和 ** 都是幂运算8[root@localhost ~] # awk 'BEGIN{print 1/2}'0 .5
[root@localhost ~] # awk -F: '/root/' /etc/passwd //包含 root 的行// 如果后面有具体打印多少列就没法省略print 了
8、模糊匹配（~、！~）
模糊匹配，用 ~ 表示包含， !~ 表示不包含
[root@localhost ~] # awk -F: '$1~/root/' zz #第一列包含 root 的行
[root@localhost ~] # awk -F: '$1~/ro/' zz #第一列包含 ro 的行// 模糊匹配，只要有 ro 就匹配上
[root@localhost ~] # awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd第七列不包含以 nologin 结尾的行 ，并打印第一列第七列
9、数值与字符串的比较（== != > <）
比较符号： == != <= >= < >
[root@localhost ~] # awk 'NR==5{print}' zz[root@localhost ~] # awk 'NR==5' zz #打印第5行
[root@localhost ~] # awk 'NR<5' /etc/passwd #打印行号小于5的行
[root@localhost ~] # awk -F: '$3==0' /etc/passwd #打印第3列=0的行
[root@localhost ~] # awk -F: '$1=="root"' /etc/passwd #打印第1列=root的行
[root@localhost ~] # awk -F: '$3>=1000' /etc/passwd #打印带3列uid >= 1000的行uid >=1000 为普通用户
10、逻辑运算 （&& 、||）
&& 和 || 是逻辑运算符，用于组合多个条件并控制程序流程。
&&（而且） 要求所有条件都为真时才为真，否则为假。
|| （或） 只要有一个条件为真就为真，全为假时才为假。
[root@localhost ~] # awk -F: '$3<10 || $3>=1000' /etc/passwd 第3列小于10或大于等于1000[root@localhost ~] # awk -F: '$3>10 && $3<1000' /etc/passwd 第3列大于10而且小于1000
[root@localhost ~] # awk -F: 'NR>4 && NR<10' /etc/passwd 行号大于4小于10
打印 1-200 之间所有能被 7 整除并且包含数字 7 的整数数字[root@localhost ~] # seq 200 | awk '$1%7==0 && $1~/7/'
FS、OFS、NR、FNR、RS、ORS
其他内置变量的用法 FS （输入）、 OFS 、 NR 、 FNR 、 RS 、 ORS
FS ：输入字段的分隔符 默认是空格
OFS ：输出字段的分隔符 默认也是空格
FNR ：读取文件的记录数（行号），从 1 开始，新的文件重新重 1 开始计数，把一个文件追加到另一个文件，行号不累计
NR :行号累计
RS ：输入行分隔符 默认为换行符， 把一行内容按照分隔符分割 换行输出
ORS ：输出行分隔符 默认也是为换行符， 把多行合并成一行输出
FS：输入字段的分隔符
[root@localhost ~] # awk 'BEGIN{FS=":"}{print $1}' pass.txt以 ：为分隔符，打印第一列
OFS：输出字段的分隔符
[root@localhost ~] # awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' pass.txt以：为分隔符，输出时以 --- 为分隔符 ，打印第1第2列
#OFS 定义了输出时以什么分隔， $1$2 中间要用逗号分隔，因为逗号默认被映射为 OFS 变量，而这个变量默认是空格
FNR：一个文件追加到另一个文件，行号不累计
[root@localhost ~] # awk '{print FNR,$0}' /etc/resolv.conf /etc/hosts把 /etc/hosts 追加到 /etc/resolv.conf ,打印行号和内容 FNR行号不追加
NR：一个文件追加到另一个文件，行号累计
[root@localhost ~] # awk '{print NR,$0}' /etc/resolv.conf /etc/hosts把 /etc/hosts 追加到 /etc/resolv.conf ,打印行号和内容 FNR行号追加
RS：一行内容按照分隔符分割 换行输出
[root@localhost ~] # awk 'BEGIN{RS=":"}{print $0}' /etc/passwd把一行内容以 ：为分隔符 分割 ，换行输出
#RS: 指定以什么为换行符，这里指定是冒号，你指定的肯定是原文里存在的字符
ORS：多行合并成一行输出
[root@localhost ~] # awk 'BEGIN{ORS=" "}{print $0}' /etc/passwd// 把多行合并成一行输出，输出时以空格为分隔符 （本来默认的是回车键）
11、 awk高级用法（变量）
# 定义引用变量[root@localhost ~] # a=100[root@localhost ~] # awk -v b="$a" 'BEGIN{print b}'# 将系统的变量 a ，在 awk 里赋值为变量 b ，然后调用变量 b -v 选项将其传递给 awk100[root@localhost ~] # awk 'BEGIN{print " '$a' "}' // 直接调用的话需要先用双引号再用单引号100
[root@localhost ~] # awk -vc=10 'BEGIN{print c}' //awk 直接定义变量并引用10[root@localhost ~] # awk -vc=$a 'BEGIN{print c}'100
[root@localhost ~] # seq 10 | awk '{getline;print $0}' // 显示1-10偶数行[root@localhost ~] # seq 10 | awk '{print $0;getline}' // 显示1-10奇数行[root@localhost ~] # df -h | awk 'BEGIN{getline}/root/{print $0}'在 df -h 偶数行里 打印包含 root 的行# 调用函数 getline，读取一行数据的时候并不是得到当前行而是当前行的下一行
12、 awk if语句（单、双、多）
awk 的 if 语句也分为单分支、双分支和多分支
[root@localhost ~] # awk -F: '{if($3<10){print $0}}' /etc/passwd // 第三列小于 10 的打印整行[root@localhost ~] # awk -F: '{if($3<10){print $3}else{print $1}}' /etc/passwd// 第三列小于 10 的打印第三列，否则打印第一列
13、 BEGIN END 流程
awk 还支持 for 循环、 while 循环、函数、数组等
其他
awk 'BEGIN{ commands } pattern{ commands } END{ commands }'
第一步：运行 BEGIN{ commands } 语句块中的语句。
第二步：从文件或标准输入 (stdin) 读取一行。然后运行 pattern{ commands } 语句块，它逐行扫描文
件，从第一行到最后一行反复这个过程。直到文件所有被读取完成。
第三步：当读至输入流末尾时，运行 END{ commands } 语句块。
BEGIN 语句块在 awk 开始从输入流中读取行之前被运行，这是一个可选的语句块，比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN 语句块中。
END 语句块在 awk 从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END 语句块中完毕，它也是一个可选语句块。
pattern 语句块中的通用命令是最重要的部分，它也是可选的。假设没有提供 pattern 语句块，则默认运行{ print } ，即打印每个读取到的行。 awk 读取的每一行都会运行该语句块。
这三个部分缺少任何一部分都可以
[root@localhost ] #awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END{print x}' /etc/passwd# 统计以 / bin/bash 结尾的行数开始模块 x=0 ；工作模块：以/bin/bash结尾的行，x+1，并打印当前x和内容 ； 结束模块：打印x[root@localhost ~] #grep -c "/bin/bash$" /etc/passwd
BEGIN 模式表示，在处理指定的文本之前，需要先执行 BEGIN 模式中指定的动作 ; awk 再处理指定的文本，之后再执行END 模式中指定的动作， END{} 语句块中，往往会放入打印结果等语句
[root@localhost ~] #awk -F ":" '! ($3<200){print} ' /etc/passwd# 输出第 3 个字段的值不小于 200 的行[root@localhost ~]awk -F: '$3>=1000{print}' /etc/passwd
[root@localhost ~]awk -F: '{if ($3>=1000){print}}' /etc/passwd
[root@localhost ~]#awk 'BEGIN {FS=":"} ;！($3<1000){print}' /etc/passwd
[root@localhost ~] #awk 'BEGIN {FS=":"} ;{if($3>=1000){print}}' /etc/passwd# 先处理完 BEGIN 的内容，再打印文本里面的内容
[root@localhost ~] #awk -F ":" ' {max=($3>=$4) ?$3:$4; {print max}} ' /etc/passwd#($3>$4)?$3:$4 三元运算符，如果第 3 个字段的值大于等于第 4 个字段的值，则把第 3 个字段的值赋给 max ， 否则第4 个字段的值赋给 max
[root@localhost ~] #awk -F ":" '{print NR,$0}' /etc/passwd# 输出每行内容和行号，每处理完一条记录， NR 值加 1[root@localhost ~] #sed -n '=;p' /etc/passwd-n 关闭打印 = 输出行号 ；多个模式用；隔开
[root@localhost ~] #awk -F ":" '$7~"bash"{print $1,47}' /etc/passwd# 输出以冒号分隔 且 第 7 个字段中包含 bash 的行 的第 1 个字段
[root@localhost ~] #awk -F: '/bash/ {print $1}' /etc/passwd[root@localhost ~] #awk -F":" '($1~"root") && (NF==7) {print $1,$2,$NF } ' /etc/passwd# 第 1 个字段中包含 root 且有 7 个字段的行的第 1 、 2字段和最后一 个字段
[root@localhost ~] #awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print} ' /etc/passwd# 输出第 7 个字段既不为 /bin/bash ，也不为 /sbin/nologin 的所有行
[root@localhost ~] #awk -F: '($NF !=" /bin/bash")&&($NF !=" /sbin/nologin" ) {print NR, $0}' passwd最后一列不等于 /bin/bash 而且 最后一列不等于 /sbin/nologin 的行，打印行号和内容
通过管道、双引号调用 shell 命令 :
[root@localhost ~] #echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'# 统计以冒号分隔的文本段落数， END{ } 语句块中，往往会放入打印结果等语句[root@localhost ~] #echo $PATH | awk 'BEGIN{RS=":"};{print NR,$0};END {print NR}'
[root@localhost ~]# grep -c "bash$" etc/passwd[root@localhost ~] #awk -F: '/bash$/{print | "wc -l"}' /etc/passwd# 调用 wc -l 命令统计以 bash结尾 的个数[root@localhost ~] #awk -F: '/bash$/ {print}' /etc/passwd | wc -l
[root@localhost ~] #free -m |awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'# 查看当前内存使用百分比int 取整包含Mem：的行，打印第3列 / (第3列+第4列) *100 ，取整，再加上 %[ root@localhost ~] # free -m | awk '/Mem:/ {print $3/$2}'0.327869[root@localhost ~] # free -m | awk '/Mem:/ {print $3/$2*100}'32.7869[ root@localhost ~] # free -m | awk '/Mem:/ {print int($3/$2*100)}'32int 取整[ root@localhost ~] # free -m | awk '/Mem:/ {print int($3/$2*100) "%"}’32%[root@localhost ~] #free -m | awk '/Mem:/ {print $3/$2*100}' | awk -F. '{print $1 "%"}'包含Mem：的行，打印第3列 / 第2列 *100 ， 打印第一列，再加上 %
[root@localhost ~] #top -b -n 1 | grep Cpu | awk -F ',' '{print $4}'| awk '{print $1}'# 查看当前 CPU 空闲率， ( -b -n 1 表示只需要 1 次的输出结果 )
us: 用户空间进程使用的CPUsy: 内核空间进程使用的CPU/系统ni: Nice优先级调整的进程使用的CPUid: CPU空闲状态的时间wa: 等待I/O操作的时间hi: 处理硬件中断的时间si: 处理软件中断的时间st: 在虚拟化环境中，其他虚拟机使用CPU的时间
[root@localhost ~] #date -d "$(awk -F "." '{print $1}'/proc/uptime) second ago"+"%F%H:%M:%S"
显示上次系统重启时间，等同于 uptime; second ago 为显示多少秒前的时间， + $” 选日 :3N:3S 等同于 + "3Y-n-%d 3 日 :8N:8S" 的时间格式
在awk里调用函数
awk 'BEGIN{"函数名" | getline;{print }}'
[root@localhost ~] #seq 10 | awk ' {getline; print $0 }'[root@localhost ~] #seq 10 | awk ' { print $0 ; getline } '[root@localhost ~] #awk 'BEGIN { "hostname" | getline ; {print $0}}'# 调用 hostname, 并输出当前的主机名# 当 getline 左右无重定向符 "<" 或 "I" 时， awk 首先读取到了第一行，就是 1 ，然后 getline ，就得到了 1 下面的第二行，就是2 ，因为 getline 之后， awk 会改变对应的 NE ， NR ， FNR 和 $0 等内部变量，所以此时的 $O 的值就不再是1 ，而是 2 了，然后将它打印出来。
[root@localhost ~] # awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'# 调用 w 命令，并用来统计在线用户数
BEGIN块初始化计数器n为0while ("w" | getline)使用getline从命令w的标准输出中读取每一行n++每读取一行，计数器n递增1{print n-2}在所有行读取完成后，打印计数器n的值减去2（前两行）[root@localhost home]# w | awk 'NR==1'| awk -F, '{print $2}'| awk '{print $1}'
当 getline 左右有重定向符 "<" 或 "I" 时， getline 则作用于定向输入文件，由于该文件是刚打开 ,
并没有被 awk 读入一行 , 只是 getline 读入，那么 getline 返回的是该文件的第一行，而不是隔行。
CPU 使用率
cpu_us = `top -b -n 1 | grep Cpu | awk '{print $2 }'`# 用户空间程序 CPU 的占用的比列cpu_sy = `top -b -n 1 | grep Cpu | awk -F ',' '{print $2 }' | awk '{print $1 }'`# 系统占用的时间比列cpu_sum = $(echo " $cpu_us + $cpu_sy " | bc)echo $cpu_sum
``（反撇号） : 允许将执行某个命令的屏幕输出结果赋值给变量
bc : 支持小数运算
echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $0}'echo "A B C D" | awk '{OFS="|"; print $0;$1=$1;print $0}'A B C DA|B|C|D$1 = $1 是用来激活 $0 的重新赋值，也就是说字段 $1 ... 和字段数 NF 的改变会促使 awk 重新计算 $0 的值 , 通常是在改变 OFS 后而需要输出 $0 时这样做
print $0打印原始行，使用新设置的字段分隔符。$1=$1$1=$1是用来激活$0的重新赋值print $0再次打印行，这次使用新设置的字段分隔符。echo "A B C D" | awk 'BEGIN{OFS="|"};{print $0;$1=$1;print $1,$2}'
echo "A B C D" | awk 'BEGIN{OFS="|"};{$2=$2;print $1,$2}'
14、AWK 数组
BEGIN 中的命令只执行一次awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号[root@localhost ~] #awk 'BEGIN{a[0]=10;a[1]=20;print a[1]}'20[root@localhost ~] #awk 'BEGIN{a[0]=10;a[1]=20;print a[0]}'10[root@localhost ~] #awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["abc"]}'10[root@localhost ~] #awk 'BEGIN{a["abc"]=10;a["xyz"]=20;print a["xyz"]}'20[root@localhost ~] #awk 'BEGIN{a["abc"]="aabbcc";a["xyz"]="xxyyzz";print a["xyz"]}'xxyyzz
15、AWK 循环
生产案列：
# 结合数组和 for 循环[root@localhost ~] # awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}'
使用 awk 统计 httpd 访问日志中每个客户端 IP 的出现次数 ?[root@localhost ~] # awk '{a[$1]+=1;} END {for(i in a){print a[i]" "i;}}' /var/log/httpd/access_log | sort -r[root@localhost ~] # awk '{ip[$1]++;}END{for(i in ip){print ip[i],i}}' /var/log/httpd/access_log | sort -r
备注 : 定义数组，数组名称为 ip ，数字的下标为日志文件的第 1 列（也就是客户端的 IP 地址 ) ， ++ 的目的在于对客户端进行统计计数，客户端IP 出现一次计数器就加 1 。 END 中的指令在读取完文件后执行，通过循环将所有统计信息输出，for 循环遍历的是数组名 ip 的下标。
可用 awk 来统计固定格式日志里的一些数据，如日志中出现过所有不同的 IP awk 对文件进行流处理，每次读取一行。 $1 就是 IP ， count[i] ++ 是将 IP 作为一个数组的下标，并且使得统计
这个 IP 所对应的数组元素自增 1.END 后面的语句是打印结果，只执行一次
awk ‘ {i = $1 ;count[i] ++ }END{for(i in count)print(i,count[i])}’ /var/log/httpd/access_log
[root@localhost ~] # awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}'# 日志文件 | sort -n | tail -n 10 # 用 tail 显示最后 10 行
攻防脚本防暴力破解脚本登录失败超过三次加入黑名单[root@localhost ~] # awk '/Failed password/ {print $0} ' /var/log/secure[root@localhost ~] # awk '/Failed password/ {print $11} ' /var/log/secure[root@localhost ~] # awk '/Failed/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure# 中断 几次[root@localhost ~] # awk '/Failed password/{ip[$11]++}END{for(i in ip){print i","ip[i]}}' /var/log/secure# 失败几次
脚本编写#!/bin/ bashx = `awk '/Failed password/{ip[ $1 1]++}END{for(i in ip){print i","ip[i]}}'/var/log/secure`#190.168.10.22 3for j in $xdoip = `echo $j | awk -F "," '{print $1 }'`num = `echo $j | awk -F "," '{print $2 }'`if [ $num -ge 3 ];thenecho " 警告 ! $ip 访问本机失败了 $num 次，请速速处理 !"fidon
试题怎么提取版本号 1 .9.7 给你道面试题ant-1.9.7.jarant-launcher-1.9.7.jarantlr-2.7.7.jarantlr-runtime-3.4.jaraopalliance-1.0.jararchaius-core-0.7.6.jarasm-5.0.4.jaraspectjweaver-1.9.5.jarbcpkix-jdk15on-1.64.jarbcprov-jdk15-1.46.jarbcprov-jdk15on-1.64.jarchecker-compat-qual-2.5.5.jar[root@localhost /] #cat ceshi.txt |sed -r 's/.*-(.*)\.jar/\1/'1 .9.71 .9.72 .7.73 .41 .00 .7.65 .0.41 .9.51 .641 .461 .642 .5.5
sed是一个文本编辑工具，用于执行文本替换等操作。-r选项启用扩展正则表达式（ERE），使正则表达式的语法更加灵活。's/.*-(.*)\.jar/\1/'是sed的替换命令，其中：
s/表示替换命令的开始。.*-(.*)\.jar是一个正则表达式，用于匹配行中的字符串，直到找到第一个-字符，然后捕获-后面的任意字符直到.jar为止。\1是对正则表达式中第一个括号捕获组的引用，这里引用了捕获的-后面的部分。- 整个命令的意思是替换行中的内容，保留从
-到.jar之间的部分，并去除其他内容。awk '{match($0,/[0-9]+\.[0-9]+\.[0-9]+/,m);if (m[0])print m[0];}' ceshi.txt |uniq|awk '$1=="1.9.7"'
附加
需求 :1.txt 文件中的内容 帅选出第一列 第三列 并且打印为一行，同时需求两列内容相隔 2 个空格
zhangsan 20 江苏南京 汉族 内容 文件名称 1.txt
sed -e 's/[[:space:]]/\n/g' /root/text1.txt | grep -v ^ $ |tr "\n" "_" | awk -
F '_' 'BEGIN{num=0;}{for(i=0;i<NF;i++){num=num+1}}END{for(x=1;x<num;x++){if(x==1)
{printf $x}else{printf "_"$x}} }'
6 、总结
grep 和 egrep 文本过滤 ( 更适合单纯的查找或匹配文本 )
sed 流编辑器 实现编辑的 ( 更适合编辑匹配到的文本 )
awk 文本报告生成器 实现格式化文本输出 ( 更适合格式化文本，对文本进行较复杂格式处理 )
![NSS [NSSRound#18 Basic]easy_rw](https://img-blog.csdnimg.cn/img_convert/23fc1e9a5fd7e03a37213d0c673f2bfd.png)
