day30-awk进阶

awk模式种类

awk的模式分为这几种

  • 正则表达式
    • 基本正则
    • 扩展正则
  • 比较表达式
  • 范围表达式
  • 特殊模式
    • BEGIN
    • END

awk比较运算符（语法）

关系运算符解释示例
<小于x<y
<=小于等于x<=y
==等于x==y
!=不等于x!=y
>=大于等于x>=y
>大于x>y
~匹配正则x~/正则/
!~与表达式不匹配x!~/正则/

正则表达式语法（awk模式）

  • 正则表达式作用在于在行数据中匹配想要的字符串、然后执行对应的action动作
  • 支持基本正则、扩展正则
awk '/正则表达式/{print $0}'

再来看一下awk的语法，模式也可以理解为是条件

awk [option] 'pattern[action]'  file ...

awk默认是按行处理文本，如果不指定任何模式（条件），awk默认一行行处理

如果指定了模式，只有符合模式的才会被处理

经典语法图解

awk正则练习/etc/passwd

创建测试数据

创建用户
[242-yuchao-class01 root ~]#for i in `seq 10`;do useradd t${i};done删除用户
for i in `seq 10`;do userdel -rf t${i};done

awk提取出/etc/passwd 中root用户行

简写
[242-yuchao-class01 root ~]#awk -F ':' '/^root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash或者写全了动作
[242-yuchao-class01 root ~]#awk -F ':' '/^root/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash提取root用户、以及它的登录解释器信息
[242-yuchao-class01 root ~]#awk -F ':' '/^root/{print $1,$NF}' /etc/passwd
root /bin/bash

awk提取出允许登录的用户行

[242-yuchao-class01 root ~]#awk -F ':' '/bash$/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
t1:x:1001:1001::/home/t1:/bin/bash
t2:x:1002:1002::/home/t2:/bin/bash
t3:x:1003:1003::/home/t3:/bin/bash
t4:x:1004:1004::/home/t4:/bin/bash
t5:x:1005:1005::/home/t5:/bin/bash
t6:x:1006:1006::/home/t6:/bin/bash
t7:x:1007:1007::/home/t7:/bin/bash
t8:x:1008:1008::/home/t8:/bin/bash
t9:x:1009:1009::/home/t9:/bin/bash
t10:x:1010:1010::/home/t10:/bin/bash

awk提取出用户名以t开头的行

方法1
[242-yuchao-class01 root ~]#awk -F ':' '/^t/' /etc/passwd
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
t1:x:1001:1001::/home/t1:/bin/bash
t2:x:1002:1002::/home/t2:/bin/bash
t3:x:1003:1003::/home/t3:/bin/bash
t4:x:1004:1004::/home/t4:/bin/bash
t5:x:1005:1005::/home/t5:/bin/bash
t6:x:1006:1006::/home/t6:/bin/bash
t7:x:1007:1007::/home/t7:/bin/bash
t8:x:1008:1008::/home/t8:/bin/bash
t9:x:1009:1009::/home/t9:/bin/bash
t10:x:1010:1010::/home/t10:/bin/bash方法2
[242-yuchao-class01 root ~]#awk -F ':' '/^t.*/' /etc/passwd

提取出由用户自己创建的用户

（uid大于1000）
[242-yuchao-class01 root ~]#awk -F ':' '$3>=1000{print $0}' /etc/passwd
www:x:1000:1000::/home/www:/sbin/nologin
t1:x:1001:1001::/home/t1:/bin/bash
t2:x:1002:1002::/home/t2:/bin/bash
t3:x:1003:1003::/home/t3:/bin/bash
t4:x:1004:1004::/home/t4:/bin/bash
t5:x:1005:1005::/home/t5:/bin/bash
t6:x:1006:1006::/home/t6:/bin/bash
t7:x:1007:1007::/home/t7:/bin/bash
t8:x:1008:1008::/home/t8:/bin/bash
t9:x:1009:1009::/home/t9:/bin/bash
t10:x:1010:1010::/home/t10:/bin/bash（家目录在/home下的用户）
[242-yuchao-class01 root ~]#awk '/\/home.*/' /etc/passwd
www:x:1000:1000::/home/www:/sbin/nologin
t1:x:1001:1001::/home/t1:/bin/bash
t2:x:1002:1002::/home/t2:/bin/bash
t3:x:1003:1003::/home/t3:/bin/bash
t4:x:1004:1004::/home/t4:/bin/bash
t5:x:1005:1005::/home/t5:/bin/bash
t6:x:1006:1006::/home/t6:/bin/bash
t7:x:1007:1007::/home/t7:/bin/bash
t8:x:1008:1008::/home/t8:/bin/bash
t9:x:1009:1009::/home/t9:/bin/bash
t10:x:1010:1010::/home/t10:/bin/bash

提取出禁止登录的用户

对bash的解释器行，结果取反对最后一个字段进行正则匹配
awk -F ':' '$NF!~/bash$/{print $0}' /etc/passwd对所有字段正则匹配
awk -F ':' '$0!~/bash$/{print $0}' /etc/passwd指定找出nologin的行
[242-yuchao-class01 root ~]#awk -F ':' '/nologin/{print $0}' /etc/passwd

awk正则提取ip

1.指定行号，提取ip
[242-yuchao-class01 root ~]#ifconfig ens33 | awk 'NR==2{print $2}'
192.168.0.2422.指定分隔符提取ip
[242-yuchao-class01 root ~]#ifconfig ens33 | awk -F 'inet|netmask' 'NR==2{print $2}'192.168.0.242

 

 

判断常用服务端口是否存活

提取出http和ssh服务的端口方法1，指定对第四列字段进行正则匹配，是否存在22或80端口
[242-yuchao-class01 root ~]#netstat -tunlp|awk '$4~/22|80/{print $0}'
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      7040/nginx: master
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      900/sshd
tcp6       0      0 :::80                   :::*                    LISTEN      7040/nginx: master
tcp6       0      0 :::22                   :::*                    LISTEN      900/sshd方法2，整行匹配，偷懒写法
[242-yuchao-class01 root ~]#netstat -tunlp|awk '/22|80/'
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      7040/nginx: master
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      900/sshd
tcp6       0      0 :::80                   :::*                    LISTEN      7040/nginx: master
tcp6       0      0 :::22                   :::*                    LISTEN      900/sshd

提取/etc/passwd的10~20行

要求且显示行号

[242-yuchao-class01 root ~]#awk 'NR>=10&&NR<=20{print NR,$0}' /etc/passwd
10 operator:x:11:0:operator:/root:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15 dbus:x:81:81:System message bus:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
17 tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
18 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
19 postfix:x:89:89::/var/spool/postfix:/sbin/nologin
20 nginx:x:998:996:Nginx web server:/var/lib/nginx:/sbin/nologin

awk范围模式

  • 可以用到正则
  • 可以用到比较运算符

范围模式就是从某一行到某一行，均是符合条件的行。

语法
awk '/regex1/,/regex2/{action}' yuchao.log

显示root行到mail用户的行

处理/etc/passwd

且显示行号

[242-yuchao-class01 root ~]#awk '/^root/,/^mail/{print NR,$0}' /etc/passwd
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

显示bin用户到第五行

且显示行号

[242-yuchao-class01 root ~]#awk '/^bin/,NR==5{print NR,$0}' /etc/passwd
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

awk特殊模式BEGIN和END

BEGIN模式

  • BEGIN模式作用是在awk开始读取文件行数据、之前就先执行，一般用于预定义一些操作，比如数据的表头格式化等。
  • BEGIN后面必须跟上action动作

BEGIN打印

显示/etc/passwd前五行，且打印BEGIN动作

[242-yuchao-class01 root ~]#awk 'BEGIN{print "于超老师正在带你学习awk"}NR<=5{print $0}' /etc/passwd
于超老师正在带你学习awk
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

awk格式化打印/etc/passwd

提取root、mail、nobody三个用户信息

  • 名字
  • 家目录
  • 登录解释器

且设置好表头（格式化打印）

 

[242-yuchao-class01 root ~]#awk -F ':' 'BEGIN{print "用户名","家目录","解释器"}$1~/(root|mail|nobody|t5)/{print $1,$6,$NF}' /etc/passwd |column -t
用户名  家目录           解释器
root    /root            /bin/bash
mail    /var/spool/mail  /sbin/nologin
nobody  /                /sbin/nologin
t5      /home/t5         /bin/bash

BEGIN简单玩法

只打印

处理数据之前的动作

[242-yuchao-class01 root ~]#awk 'BEGIN{print "于超老师带你学linux"}'
于超老师带你学linux
计算器
[242-yuchao-class01 root ~]#awk 'BEGIN{print 10/3}'
3.33333[242-yuchao-class01 root ~]#awk 'BEGIN{print 10/3+2*3}'
9.33333
awk自定义变量

数值变量

[242-yuchao-class01 root ~]#awk 'BEGIN{x=3;y=8;print x*y}'
24

字符串变量

[242-yuchao-class01 root ~]#awk 'BEGIN{name="于超";print name,"正在教你学linux"}'
于超 正在教你学linux

END模式

  • 和BEGIN相反，END就是awk结束后的操作

  • END是awk读取完所有的文件后，再执行END模块，一般用来总结、格式化打印一个结果

  • END仅会在awk所有行数据处理完毕后，执行END动作。

简单打印

[242-yuchao-class01 root ~]#awk -F ':' 'BEGIN{print "超哥带你学linux"}NR<=5{print NR,$0}END{print "学完了，讲的不错"}' /etc/passwd
超哥带你学linux
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
学完了，讲的不错

计算/etc/passwd行数

显示/etc/passwd的用户名、登录解释器、且在结尾显示行数。

[242-yuchao-class01 root ~]#awk -F ':' '{print $1,$NF}END{print "总行数：",NR}' /etc/passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin
games /sbin/nologin
ftp /sbin/nologin
nobody /sbin/nologin
systemd-network /sbin/nologin
dbus /sbin/nologin
polkitd /sbin/nologin
tss /sbin/nologin
sshd /sbin/nologin
postfix /sbin/nologin
nginx /sbin/nologin
www /sbin/nologin
t1 /bin/bash
t2 /bin/bash
t3 /bin/bash
t4 /bin/bash
t5 /bin/bash
t6 /bin/bash
t7 /bin/bash
t8 /bin/bash
t9 /bin/bash
t10 /bin/bash
总行数： 31

统计如下数据，有多少空行

测试数据

[242-yuchao-class01 root ~]#cat t1.log -n1    I am teacher yuchao.2    I teach linux,python!34    I like english56    My website is http://yuchaoit.cn7    Our school site is https://apecome.com8    My qq num is 877348180910111213    #my qq num is not  8777777333334444488881118888000014    #15    #Goog good study , day day up!

统计空行数，用到了awk的变量功能

awk变量计数器
变量用法
num+=1 
意思是 num=1 ; num=num+1
定义num变量，当做计数器，awk每处理一行，计数器就加一

实践

[242-yuchao-class01 root ~]#awk '{num+=1;print "num的值是",num}' t1.log
num的值是 1
num的值是 2
num的值是 3
num的值是 4
num的值是 5
num的值是 6
num的值是 7
num的值是 8
num的值是 9
num的值是 10
num的值是 11
num的值是 12
num的值是 13
num的值是 14
num的值是 15

统计空行数（END总结）

[242-yuchao-class01 root ~]#awk '/^$/{num+=1;print $0}END{print "文件空行数是：",num}' t1.log文件空行数是： 6

可以省去打印的动作、直接统计

[242-yuchao-class01 root ~]#awk '/^$/{num+=1}END{print "文件空行数是：",num}' t1.log
文件空行数是： 6

END计算器

面试题，用awk计算 1+2+3+...+50

答案

[242-yuchao-class01 root ~]#seq 1 50 | awk '{i+=$0}END{print "1到50叠加总和是：",i}'
1到50叠加总和是： 1275

图解、查看awk计算的过程

 

模式总结

  • awk核心就是模式、动作、找到数据之后要干什么
  • 模式就是awk的查找条件
    • 正则表达式模式、
    • 条件表达式，比较大小、是否相等
    • 范围表达式，从哪一行，找到哪一行
  • 以及awk的特殊模式，设定开始前、结束后的条件+动作
    • BEGIN
    • END

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/64970.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据库新建用户后（Host：%），报错：localhost无法连接

数据库新建用户后（Host：%），报错：localhost无法连接

存在问题 在给数据库&#xff08;MySQL、MariaDB等&#xff09;创建了新的用户名&#xff08;eg&#xff1a;maxscale&#xff09;后&#xff0c;无法使用新用户名登录&#xff0c;并报如下错误&#xff1a;ERROR 1045 (28000): Access denied for user maxscalelocalhost (us…
阅读更多...
2024年大型语言模型（LLMs）的发展回顾

2024年大型语言模型（LLMs）的发展回顾

2024年对大型语言模型&#xff08;LLMs&#xff09;来说是充满变革的一年。以下是对过去一年中LLMs领域的关键进展和主题的总结。 GPT-4的壁垒被打破 去年&#xff0c;我们还在讨论如何构建超越GPT-4的模型。如今&#xff0c;已有18个组织拥有在Chatbot Arena排行榜上超越原…
阅读更多...
数据挖掘——支持向量机分类器

数据挖掘——支持向量机分类器

数据挖掘——支持向量机分类器 支持向量机最小间隔面推导基于软间隔的C-SVM非线性SVM与核变换常用核函数 支持向量机 根据统计学习理论&#xff0c;学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小…
阅读更多...
在 SQL 中，区分 聚合列 和 非聚合列（nonaggregated column）

在 SQL 中，区分 聚合列 和 非聚合列（nonaggregated column）

文章目录 1. 什么是聚合列&#xff1f;2. 什么是非聚合列&#xff1f;3. 在 GROUP BY 查询中的非聚合列问题示例解决方案 4. 为什么 only_full_group_by 要求非聚合列出现在 GROUP BY 中&#xff1f;5. 如何判断一个列是聚合列还是非聚合列&#xff1f;6. 总结 在 SQL 中&#…
阅读更多...
petalinux2017.4对linux4.9.0打实时补丁

petalinux2017.4对linux4.9.0打实时补丁

准备工作&#xff1a; 1.windows&#xff1a;安装vivado 2017.4&#xff0c;xilinx sdk 2017.4 2.ubuntu16.04&#xff1a;安装petalinux 2017 3.黑金ax7020&#xff0c;sd卡 一、准备linux内核的操作系统 1.1 Petalinux配置 Petalinux使用教程-CSDN博客非常详细&#xf…
阅读更多...
Golang的缓存一致性策略

Golang的缓存一致性策略

Golang的缓存一致性策略 一致性哈希算法 在Golang中&#xff0c;缓存一致性策略通常使用一致性哈希算法来实现。一致性哈希算法能够有效地解决缓存节点的动态扩容、缩容时数据重新分布的问题&#xff0c;同时能够保证数据访问的均衡性。 一致性哈希算法的核心思想是将节点的哈希…
阅读更多...
蓝桥杯JAVA--003

蓝桥杯JAVA--003

需求 2.代码 public class RegularExpressionMatching {public boolean isMatch(String s, String p) {if (p.isEmpty()) {return s.isEmpty();}boolean firstMatch !s.isEmpty() && (s.charAt(0) p.charAt(0) || p.charAt(0) .);if (p.length() > 2 && p…
阅读更多...
被催更了，2025元旦源码继续免费送

被催更了，2025元旦源码继续免费送

“时间从来不会停下&#xff0c;它只会匆匆流逝。抓住每一刻&#xff0c;我们才不会辜负自己。” 联系作者免费领&#x1f496;源&#x1f496;码。 三联支持&#xff1a;点赞&#x1f44d;收藏⭐️留言&#x1f4dd;欢迎留言讨论 更多内容敬请期待。如有需要源码可以联系作者免…
阅读更多...
WebRTC的线程事件处理

WebRTC的线程事件处理

1. 不同平台下处理事件的API&#xff1a; Linux系统下&#xff0c;处理事件的API是epoll或者select&#xff1b;Windows系统下&#xff0c;处理事件的API是WSAEventSelect&#xff0c;完全端口&#xff1b;Mac系统下&#xff0c;kqueue 2. WebRTC下的事件处理类&#xff1a; …
阅读更多...
关于Zotero

关于Zotero

1、文献数据库&#xff1a; Zotero的安装 Zotero安装使用_zotero只能安装在c盘吗-CSDN博客 2、如何使用zotero插件 我刚下载的时候就结合使用的是下面的这两个博主的分享&#xff0c;感觉暂时是足够的。 Zotero入&#x1f6aa;基础 - 小红书 Green Frog申请easyscholar密钥…
阅读更多...
企业三要素如何用PHP实现调用

企业三要素如何用PHP实现调用

一、什么是企业三要素&#xff1f; 企业三要素即传入的企业名称、法人名称、社会统一信用代码或注册号&#xff0c;校验此三项是否一致。 二、具体怎么样通过PHP实现接口调用&#xff1f; 下面我们以阿里云为例&#xff0c;通过PHP示例代码进行调用&#xff0c;参考如下&…
阅读更多...
OJ随机链表的复制题目分析

OJ随机链表的复制题目分析

题目内容&#xff1a; 138. 随机链表的复制 - 力扣&#xff08;LeetCode&#xff09; 分析&#xff1a; 这道题目&#xff0c;第一眼感觉非常乱&#xff0c;这是正常的&#xff0c;但是我们经过仔细分析示例明白后&#xff0c;其实也并不是那么难。现在让我们一起来分析分析…
阅读更多...
uc/os-II 原理及应用(一) 嵌入式实时系统基本概念

uc/os-II 原理及应用(一) 嵌入式实时系统基本概念

基于嵌入式实时操作系统μCOS-II原理及应用(第2版)-任哲 自行网上寻找资源。 计算机系统的中分为计算机硬件系统与计算机软件系统&#xff0c;计算机软件系统由上到下分为&#xff0c;应用软件&#xff0c;系统软件&#xff0c;操作系统;操作系统一般在计算机软件的最低层&…
阅读更多...
【Multisim用74ls92和90做六十进制】2022-6-12

【Multisim用74ls92和90做六十进制】2022-6-12

缘由Multisim如何用74ls92和90做六十进制-其他-CSDN问答 74LS92、74LS90参考
阅读更多...
【UE5 C++课程系列笔记】21——弱指针的简单使用

【UE5 C++课程系列笔记】21——弱指针的简单使用

目录 概念 声明和初始化 转换为共享指针 打破循环引用 弱指针使用警告 概念 在UE C 中&#xff0c;弱指针&#xff08;TWeakPtr &#xff09;也是一种智能指针类型&#xff0c;主要用于解决循环引用问题以及在不需要强引用保证对象始终有效的场景下&#xff0c;提供一种可…
阅读更多...
数据库知识汇总2

数据库知识汇总2

一. 范式 定义&#xff1a;范式是符合某一种级别的关系模式的集合。 关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式&#xff1b; 一个低一级范式的关系模式&#xff0c;通过模式分解&#xff08;schema decomposition&#xff09;可以转换为若干个高一…
阅读更多...
Flash Attention V3使用

Flash Attention V3使用

Flash Attention V3 概述 Flash Attention 是一种针对 Transformer 模型中注意力机制的优化实现&#xff0c;旨在提高计算效率和内存利用率。随着大模型的普及&#xff0c;Flash Attention V3 在 H100 GPU 上实现了显著的性能提升&#xff0c;相比于前一版本&#xff0c;V3 通…
阅读更多...
【51单片机零基础-chapter6:LCD1602调试工具】

【51单片机零基础-chapter6:LCD1602调试工具】

实验0-用显示屏LCD验证自己的猜想 如同c的cout,前端的console.log() #include <REGX52.H> #include <INTRINS.H> #include "LCD1602.h" int var0; void main() {LCD_Init();LCD_ShowNum(1,1,var211,5);while(1){;} }实验1-编写LCD1602液晶显示屏驱动函…
阅读更多...
Ubuntu22.04双系统安装记录

Ubuntu22.04双系统安装记录

1.Ubuntu24.04在手动分区时&#xff0c;没有efi选项&#xff0c;需要点击分区界面左下角&#xff0c;选择efi的位置&#xff0c;然后会自动创建/boot/efi分区&#xff0c;改到2GB大小即可。 2.更新Nvidia驱动后&#xff0c;重启电脑wifi消失&#xff0c;参考二选一&#xff1a…
阅读更多...
Python Notes 1 - introduction with the OpenAI API Development

Python Notes 1 - introduction with the OpenAI API Development

Official document&#xff1a;https://platform.openai.com/docs/api-reference/chat/create 1. Use APIfox to call APIs 2.Use PyCharm to call APIs 2.1-1 WIN OS.Configure the Enviorment variable #HK代理环境&#xff0c;不需要科学上网(价格便宜、有安全风险&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023