网络三剑客之awk

一、awk理论简述

1.1 awk概述

1.2 工作原理

1.3 工作流程

1.3.1 运行模式

1.3.2 执行流程

1.3.3 awk程序结构

1.4 基本语法

1.4.1 命令格式

二、awk操作显示

2.1 基础显示

注：扩展生产案例（网卡ip、流量）

2.2 BEGIN END 运算

2.2.1 awk运算

2.2.2 关于数字与字符串的比较

2.3 awk高级用法

2.3.1 调用变量

2.4 awk if语句

2.5 BEGIN END 流程

2.6 AWK 数组

2.7 awk循环

三、总结

一、awk理论简述

1.1 awk概述

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

作用：它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件
诞生背景：20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出，GNU/Linux发布的AWK目前由自由软件基金会（FSF）进行开发和维护，通常也称它为 GNU AWK

有多种版本：

AWK：原先来源于 AT & T 实验室的的AWK
NAWK：New awk，AT & T 实验室的AWK的升级版
GAWK：即GNU AWK。所有的GNU/Linux发布版都自带GAWK，它与AWK和NAWK完全兼容

1.2 工作原理

当读到第一行时，匹配条件，然后执行指定动作再接着读取第二行数据处理，不会默认输出如果没有定义匹配条件默认是匹配所有数据行。
awk隐含循环，条件匹配多少次动作就会执行多少次逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较、倾向于将一行分成多个""字段"然后再进行处理。awk 信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符" &&"表示"与"、"||表示"或"、"!"表示非";还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.3 工作流程

1.3.1 运行模式

正则表达式 : /root/ 匹配含有 root 的行 /*.root/
关系表达式： < > && || + *
匹配表达式： ~ ！~ 动作：
变量命令内置函数流控制语句它的语法结构如下：

awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }'

file 其中：BEGIN END 是 AWK 的关键字部，因此必须大写；这两个部分开始块和结束块是可选的

1.3.2 执行流程

BEGIN 语句设置计数和打印头部信息，在任何动作之前进行

END 语句输出统计结果，在完成动作之后执行

AWK执行的流程非常简单：读（Read）、执行（Execute）与重复（Repeat）

下面的流程图描述出了AWK的工作流程

1.3.3 awk程序结构

开始块（BEGIN block）

顾名思义，开始块就是在程序启动的时候执行的代码部分，并且它在整个过程中只执行一次。一般情况下，我们在开始块中初始化一些变量。BEGIN是AWK的关键字，因此它必须是大写的。

注意：开始块部分是可选的，你的程序可以没有开始块部分

主体块（Body Block）

对于每一个输入的行，都会执行一次主体部分的命令。

默认情况下，对于输入的每一行，AWK都会执行命令。

注意：在主体块部分，没有关键字存在

结束块（END Block）

它是在程序结束时执行的代码。

END也是AWK的关键字，它也必须大写。

注意：与开始块相似，结束块也是可选的

AWK 它工作通过三个步骤

读（Read）：从文件、管道或标准输入中读入一行然后把它存放到内存中
执行（Execute）：对每一行数据，根据 AWK 命令按顺序执行。默认情况是处理每一行数据，也可以指定模式
重复（Repeat）：一直重复上述两个过程直到文件结束

1.4 基本语法

1.4.1 命令格式

awk 选项' 模式或条件{操作}' 文件1 文件2 ...

awk -f 脚本文件文件1 文件2 ..

格式：awk关键字选项命令部分 '{xxxx}' 文件名

**AWK 支持两种不同类型的变量：

内建变量(可直接使用)

自定义变量awk 内置变量（预定义变量）

FS：指定每行文本的字段分隔符，默认为空格或制表位
NF：当前处理的行的字段个数。在执行过程中对应于当前的字段数，NF：列的个数
NR：当前处理的行的行号（序数）。在执行过程中对应于当前的行号
$0：当前处理的行的整行内容
$n：当前处理行的第 n 个字段（第 n 列）。比如: $1 表示第一个字段，$2 表示第二个字段
FILENAME：被处理的文件名(当前输入文件的名)
FNR 各文件分别计数的行号
OFS 输出字段分隔符（默认值是一个空格）
ORS 输出记录分隔符（默认值是一个换行符）
RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读入一条记录,以进行处理。预设值是" \n'简说：数据记录分隔，默认为\n，即每行为一条记录

awk常用内置变量：$1、$2、NF、NR、$0

$1：代表第一列

$2：代表第二列以此类推

$0：代表整行

NF：一行的列数

NR：行数

二、awk操作显示

2.1 基础显示

注：扩展生产案例（网卡ip、流量）

2.2 BEGIN END 运算

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END

BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次

END一般用来做汇总操作，仅在读取完数据记录之后执行一次

2.2.1 awk运算

2.2.2 关于数字与字符串的比较

比较符号（==,!=,<=,>=,<,>）

逻辑运算 && ||

&& 和 || 是逻辑运算符，用于组合多个条件并控制程序流程

&& 要求所有条件都为真时才为真，否则为假

|| 只要有一个条件为真就为真，全为假时才为假

案列：

打印1-200之间所有能被7整除并且包含数字7的整数数字

其他内置变量的用法（FS（输入）、OFS、NR、FNR、RS、ORS）

FS：输入字段的分隔符默认是空格

OFS：输出字段的分隔符默认也是空格

FNR：读取文件的记录数（行号），从1开始，新的文件重新重1开始计数

RS：输入行分隔符默认为换行符

ORS：输出行分隔符默认也是为换行符

FS：

OFS：

FNR：

NR：

RX：

ORS:

2.3 awk高级用法

2.3.1 调用变量

调用函数getline，读取一行数据的时候并不是得到当前行而是下一行

2.4 awk if语句

awk的if语句也分为单分支、双分支和多分支

2.5 BEGIN END 流程

awk还支持for循环、while循环、函数、数组等

其他

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步：运行BEGIN{ commands }语句块中的语句
第二步：从文件或标准输入(stdin)读取一行。然后运行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行反复这个过程。直到文件所有被读取完成
第三步：当读至输入流末尾时，运行END{ commands }语句块

BEGIN语句块在awk开始从输入流中读取行之前被运行，这是一个可选的语句块，比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN语句块中
END语句块在awk从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END语句块中完毕，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分，它也是可选的。假设没有提供pattern语句块，则默认运行{ print }，即打印每个读取到的行。awk读取的每一行都会运行该语句块
这三个部分缺少任何一部分都可以

实例：

输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

通过管道、双引号调用

查看当前内存使用百分比

2.6 AWK 数组

注意：

BEGIN中的命令只执行一次
awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

2.7 awk循环

生产案例：

①结合数组和for循环

②使用awk统计httpd 访问日志中每个客户端IP的出现次数?

备注：

定义数组，数组名称为ip，数字的下标为日志文件的第1列（也就是客户端的IP地址)，++的目的在于对客户端进行统计计数，客户端IP出现一次计数器就加1。END中的指令在读取完文件后执行，通过循环将所有统计信息输出，for循环遍历的是数组名ip的下标。

可用awk来统计固定格式日志里的一些数据

如日志中出现过所有不同的IP awk对文件进行流处理，每次读取一行。
$1就是IP，count[i]++是将IP作为一个数组的下标，并且使得统计这个IP所对应的数组元素自增1
.END后面的语句是打印结果，只执行一次
awk ‘{i=$1;count[i]++}END{for(i in count)print(i,count[i])}’ /var/log/httpd/access_log

脚本编写：

试题：怎么提取版本号 1.9.7

ant-1.9.7.jar

ant-launcher-1.9.7.jar

antlr-2.7.7.jar

antlr-runtime-3.4.jar

aopalliance-1.0.jar

archaius-core-0.7.6.jar

asm-5.0.4.jar

aspectjweaver-1.9.5.jar

bcpkix-jdk15on-1.64.jar

bcprov-jdk15-1.46.jar

bcprov-jdk15on-1.64.jar

checker-compat-qual-2.5.5.jar