Linux文本处理三剑客:awk(常用匹配模式)

在Linux操作系统中,grep、sed、awk被称为文本操作“三剑客”,上三期中,我们将详细介绍grep、sed、awk的基本使用方法,希望能够帮助到有需要的朋友。

1、前言

awk作为一门编程语言还有很多内容,我们继续学习awk。

网上有很多教程,讲的都很棒的,但是也讲得很迷糊。

关注我,我也是在摸索中学习,尽量讲清晰一些,希望您在看的过程中,能够有所发现。

首先,上官方手册:Gawk - GNU Project - Free Software Foundation (FSF)

工作流程如下图:BEGIN块开始,循环执行BODY块,最后执行END块。

大家记住这张图,下面我们来讲常用的匹配模式。

主要有以下几种:

  • awk保留字
  • 关系运算符
  • 匹配操作符
  • 正则表达式

2、awk保留字

保留字描述
BEGIN在处理文件之前执行一次的特殊模式。常用于初始化操作,如设置变量、打印标题等。
END在处理文件之后执行一次的特殊模式。常用于收尾工作,如统计结果、输出总结信息等。
NR内置变量,表示当前记录的编号。记录是以换行符分隔的文本行。常用于控制循环或条件判断,如打印第一行或最后一行,或执行基于记录编号的操作。
NF内置变量,表示当前记录的字段数。字段是以空格或制表符分隔的文本列。常用于指定操作的字段数量,如打印指定字段,或执行基于字段数的条件判断。
FS内置变量,表示输入字段分隔符。默认为空格或制表符,可以通过赋值改变其值。常用于处理不同格式的文本文件,如逗号分隔的CSV文件,冒号分隔的passwd文件等。
OFS内置变量,表示输出字段分隔符。默认为与FS相同的值,可以通过赋值改变其值。常用于控制输出格式,如指定输出结果的分隔符。
$0 内置变量,表示当前记录的整体内容。常用于对整行进行操作,如替换、删除、打印等。
$1...$n一组内置变量,分别表示当前记录的各个字段。常用于对指定字段进行操作,如计算、比较、拼接等。

3、关系运算符

关系运算符是指用来比较两个值的大小或相等性的运算符,它们返回一个布尔值(真或假)。awk支持以下关系运算符:

关系运算符描述
==等于
!=不等于
<小于
<=小于等于
>大于
>=大于等于

关系运算符可以用来构造条件表达式,比如筛选出某个范围内的数据,判断某个值是否存在等。

4、匹配操作符

匹配操作符是指用来检查一个值是否匹配一个模式的运算符,它们返回一个布尔值(真或假)。awk支持以下匹配操作符:

- ~匹配
!~不匹配


模式可以是一个字符串或一个正则表达式。匹配操作符可以用来过滤出符合某种规则的数据,比如包含某个关键字,以某个字符开头或结尾等。

5、正则表达式 

元素描述
字符类用方括号括起来的一组字符,表示匹配其中任意一个字符。比如[abc]表示匹配a或b或c。
范围类用方括号括起来的两个字符之间加上连字符,表示匹配该范围内的任意一个字符。比如[a-z]表示匹配小写字母。
反向类在字符类或范围类前面加上^,表示匹配除了该类之外的任意一个字符。比如[^0-9]表示匹配非数字。
预定义类用反斜杠加上一个字母,表示匹配某种类型的字符。比如\d表示匹配数字,\w表示匹配字母或数字或下划线。
量词用花括号括起来的一个或两个数字,表示匹配前面的元素的重复次数。比如a{3}表示匹配三个a,a{2,4}表示匹配两个到四个a。
贪婪量词在量词后面加上?,表示匹配前面的元素的最小重复次数。比如a{2,4}?表示匹配两个a。
通配符用点号.表示匹配任意一个字符(除了换行符)。
边界符用反斜杠加上一个大写字母,表示匹配某种位置。比如\b表示匹配单词边界,\B表示匹配非单词边界。
分组用圆括号括起来的一部分正则表达式,表示将其作为一个整体进行匹配或引用。比如(ab)+表示匹配ab的一次或多次重复,\1表示引用第一个分组的内容。
选择用竖线|分隔的两个或多个正则表达式,表示匹配其中任意一个。比如a|b|c表示匹配a或b或c。

正则表达式可以用来描述各种复杂的文本模式,比如邮箱地址,手机号码,日期格式等。

示例代码:

# 示例代码一:使用awk打印包含特定关键字的行
awk '/关键字/' 文件名# 示例代码二:使用awk打印第一列等于指定值的行
awk '$1 == "指定值"' 文件名# 示例代码三:使用awk打印字段数大于等于3的行
awk 'NF >= 3' 文件名# 示例代码四:使用awk打印以特定字符串开头的行
awk '$0 ~ /^特定字符串/' 文件名# 示例代码五:使用awk打印指定字段的和
awk '{sum += $1} END {print sum}' 文件名# 示例代码六:使用awk打印匹配正则表达式的行
awk '/正则表达式/' 文件名# 示例代码七:使用awk自定义分隔符,并打印指定字段
awk -F ':' '{print $1}' 文件名# 示例代码八:使用awk在匹配的行前后添加文字
awk '/匹配模式/ {print "前缀" $0 "后缀"}' 文件名# 示例代码九:使用awk按照指定条件排序
awk '{print $2, $1}' 文件名 | sort# 示例代码十:使用awk统计特定字段的出现次数
awk '{count[$1]++} END {for (word in count) print word, count[word]}' 文件名

 如果您觉得有些用处,欢迎在评论区留言,关注。谢谢您的阅读!

  往期学习笔记:

Windows系统开启Linux子系统(Ubuntu)

Linux常用命令(目录操作命令)

Linux常用命令:文件的创建、复制、移动、查找和删除命令

Linux常用命令:文本文件的查看与编辑

Linux常用命令:文本文件的拼接与分割

Linux常用命令:文件的权限管理

Linux常用命令:文件的下载、压缩与解压

Linux常用命令:常见的操作符

Linux常用命令:系统操作命令
 

 Linux文本处理三剑客:grep

Linux文本处理三剑客:sed

Linux文本处理三剑客:awk

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/727929.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

线程安全之死锁

目录 一、概念 二、例子 三、死锁相关面试题目 一、概念 死锁主要发生在有多个依赖锁存在时,会在一个线程试图以另一个线程相反顺序锁住互斥量时发生 死锁使得一个或多个线程被挂起而无法继续执行,最糟糕的是,这种情况还不容易被发现。 在一个线程中对一个已经加锁的普通锁…

【每日一题】2575. 找出字符串的可整除数组-2024.3.7

题目: 2575. 找出字符串的可整除数组 给你一个下标从 0 开始的字符串 word ,长度为 n ,由从 0 到 9 的数字组成。另给你一个正整数 m 。 word 的 可整除数组 div 是一个长度为 n 的整数数组,并满足: 如果 word[0,...,i] 所表示的 数值 能被 m 整除,div[i] = 1否则,d…

根据标准化开发流程---解析LIN总线脉冲唤醒的测试方法和用例设计思路

前言&#xff1a;本文从标准化开发流程的角度&#xff0c;以LIN总线脉冲唤醒为切入点。从测试工程师的角度来讲测试工作应当如何展开&#xff08;结合我干测试总结出来的测试经验&#xff09;。希望大家都能从中有收获&#xff01;&#xff01;谢谢&#xff01;&#xff01; 1…

FreeROTS day2

总结DMA空闲中断接收数据的使用方法 首先要要选择串口然后配置串口的参数&#xff0c;配置MDA通道选择接受数据&#xff0c;配置空闲中断&#xff0c;定义一个数据接收的容器&#xff0c;启动MDA传输当串口收到数据时MDA将数据传输到容器中,MDA会一直检测是否有数据当有数据并…

SonarQube代码检查,java代码优化(Bug类型)

文章目录 一、bug类型1、运算类型优化将此乘法运算的一个操作数强制转换为“long”将此除法运算的一个操作数强制转换为“double”通过将“&0xff”添加到此表达式来阻止“int”提升更正运算符“||”两侧的一个相同子表达式 2、变量类型优化删除“字节”的装箱移除"Dou…

Android JNI 普通方法和静态方法详解

Android JNI 普通方法和静态方法详解 文章目录 Android JNI 普通方法和静态方法详解一、前言二、Android JNI 普通方法和静态方法1、native 的静态方法和普通方法&#xff08;1&#xff09; JNI定义nativie普通方法和静态方法&#xff08;2&#xff09;jni native-lib.cpp中的代…

【蓝桥杯基础算法】dfs(上)组合数,全排列

刚接触算法&#xff0c;有没有被递归又循环的dfs吓到&#xff1f;没关系&#xff0c;几个例题就可以彻底掌握&#xff01; 1.全排列 1-n的全排列,如输入3&#xff0c;按顺序对1-3进行排列 //枚举 #include<iostream> #include<algorithm> #include<cstring>…

[动态规划][蓝桥杯 2022 省 B] 李白打酒加强版 -- 代码注释含详解

P8786 [蓝桥杯 2022 省 B] 李白打酒加强版(洛谷) 洛谷题目链接 李白打酒很快活&#xff0c;而我打了一晚上代码才把这题弄懂&#x1f972; P8786 [蓝桥杯 2022 省 B] 李白打酒加强版(洛谷)题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示\***\*\*\*\*\***\*\*\**…

【Linux】软件控制USB重新上电、加载:usbreset、hubpower、uhubctl

1、usbreset 1.1 说明 usbreset 是操作 USB 设备重置,等同于如下代码: ioctl(fd, USBDEVFS_RESET, 0)最后调用 kernel的 usb_reset_device()函数 此函数会通知设备的 driver 前后重置。它在重置前解除绑定 driver ,然后再绑定回去。设 备的 configuration 也被重置后加载…

-bash: unzip: 未找到命令的解决方案

遇到 -bash: unzip: 未找到命令 这样的错误信息&#xff0c;表示你的系统中没有安装 unzip 工具。unzip 是一个常用的解压工具&#xff0c;用于解压缩 .zip 文件。你可以通过系统的包管理器安装它。 根据你使用的 Linux 发行版&#xff0c;安装 unzip 的命令会有所不同。下面是…

MUMU模拟器12连logcat的方法

大家好&#xff0c;我是阿赵。   在开发手机游戏的时候&#xff0c;在真机上会出现各种问题&#xff0c;在查询问题的时候&#xff0c;安卓手机需要用adb连接来连接手机看logcat输出分析问题。但由于连接手机比较麻烦&#xff0c;所以我都习惯在电脑用安卓模拟器来测试。   …

通过vue ui创建项目

确认前端环境都安装好之后 打开黑窗口 输入 vue ui 会打开一个vue的网页 在此创建项目 可以选择在那个路径创建 这是我的项目配置 这里是选择vue版本 我要用的是vue2 选好点击创建项目就好了 创建好后的重点的目录结构以及结构的作用 启动前端工程 将创建好的项目导入编译器 我…

跨境干货 | 想“躺平式”经营?TikTok Shop全托管模式入驻了解一下!

在当前跨境电商出海模式不断升级的背景下&#xff0c;全托管模式已经成为各类平台的标准配置。其中&#xff0c;TikTok全托管模式已经上线运行有很长一段时间了&#xff0c;这个模式下&#xff0c;主打一个“仅供货、免运营”&#xff0c;它降低了商家进入和运营TikTok市场的门…

基于51单片机的羽毛球计分器设计与实现

基于51单片机的羽毛球计分器设计与实现 摘要&#xff1a; 本文介绍了一种基于51单片机的羽毛球计分器设计方案。该计分器能够实时记录并显示双方选手的得分&#xff0c;同时提供了一些附加功能如计时、犯规计数等。本文首先简要介绍了羽毛球计分器的背景和需求&#xff0c;然后…

EMC电磁兼容学习之1

1&#xff09;常用器件如压敏电阻&#xff0c;气体放电管&#xff0c;等等的参数及使用 所有EMC问题&#xff0c;都是总结为公共阻抗耦合问题 federal [ˈfedərəl] 联邦的 常用器件&#xff1a;TVS GDT SPG MOV TSS PPTC GDT 经历三个放电过程&#xff1a;火花放电区 辉光放…

liunx操作系统 环境变量

环境变量 main函数参数 命令行参数环境变量 环境变量的查看环境变量的获取 main函数参数 命令行参数 main函数是有参数的&#xff0c;只是我们一般不适用 这是main函数从bash中读取进程数据使用的一个基本入口。 下面进行简单演示。 o 好oo都是我们输入的命令行参数。其实&a…

【Linux】开始使用gdb吧!

开始使用gdb吧&#xff01; 1 下载安装2 开始使用3 实践运用补充一下 print 的 功能 &#xff08;类似监视窗口的作用&#xff09;和显示堆栈的功能Thanks♪(&#xff65;ω&#xff65;)&#xff89;谢谢阅读&#xff01;&#xff01;&#xff01;下一篇文章见&#xff01;&am…

【程序人生】探索2024年AI辅助研发趋势

目录标题 探索2024年AI辅助研发趋势一、AI在编码中的应用智能代码生成助力开发错误检测与修复的即时反馈性能优化的智能建议 二、AI驱动的自动化工具三、AI与团队协作四、未来展望结语 探索2024年AI辅助研发趋势 随着人工智能技术的迅速发展&#xff0c;AI在各个领域的应用正日…

虽说主业搞前端,看到如此漂亮的网页UI,也是挪不开眼呀。

漂亮的网页UI能够吸引人的眼球&#xff0c;给人留下深刻的印象。作为前端开发人员&#xff0c;可以通过不断学习和掌握设计技巧和工具&#xff0c;提升自己的UI设计能力&#xff0c;为用户提供更好的视觉体验。 以下是一些提升网页UI设计能力的建议&#xff1a; 学习设计基础知…

仿牛客网项目---消息队列的实现

本篇文章讲一讲我们的项目中用到的消息队列。 1.阻塞队列 2.kafka 我的项目为什么要用消息队列&#xff1f; 如果采用消息队列&#xff0c;那么评论、点赞、关注三类不同的事&#xff0c;可以定义三类不同的主题&#xff08;评论、点赞、关注&#xff09;&#xff0c;发生相应…