【Shell语言】linux中awk命令

linux中awk命令

看这里放声嘶吼谁也不舍得沉默
宽阔也抓不住我下一秒钟的echo
——《暂时失控》苏打绿


awk命令简介

AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符
linux中有三剑客之称:
三剑客之首就是 AWK

三剑客功能:

  • grep : 过滤文本
  • sed : 修改文本
  • awk : 处理文本

awk的语法格式

awk [参数] [处理内容] [操作对象]

awk关键字

print	: 打印
$		: 取值
结合作用:$配合NF使用 : NF内存储统计文件内每行的总字段,$存储NF内的值NF	:相当于 变量值	$	:相当于 变量名print相当于打印 $ 内的内容

options 参数说明:

-F <分隔符> 或 --field-separator=<分隔符>: 指定输入字段的分隔符,默认是空格。使用这个选项可以指定不同于默认分隔符的字段分隔符。

-v <变量名>=<值>: 设置 awk 内部的变量值。可以使用该选项将外部值传递给 awk 脚本中的变量。

-f <脚本文件>: 指定一个包含 awk 脚本的文件。这样可以在文件中编写较大的 awk 脚本,然后通过 -f 选项将其加载。

-v 或 --version: 显示 awk 的版本信息。

-h 或 --help: 显示 awk 的帮助信息,包括选项和用法示例。

以下是一些常见的 awk 命令用法

打印整行:awk '{print}' file
打印特定列:awk '{print $1, $2}' file
使用分隔符指定列:awk -F',' '{print $1, $2}' file
打印行数:awk '{print NR, $0}' file
打印行数满足条件的行:awk '/pattern/ {print NR, $0}' file
计算列的总和:awk '{sum += $1} END {print sum}' file
打印最大值:awk 'max < $1 {max = $1} END {print max}' file
格式化输出:awk '{printf "%-10s %-10s\n", $1, $2}' file

awk常见的内建变量

  • FS:列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同
  • NF:当前处理的行的字段个数。
  • NR:当前处理的行的行号(序数)。 $0:当前处理的行的整行内容。 $n:当前处理行的第n个字段(第n列)。
  • FILENAME:被处理的文件名。
  • RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把读取的资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
    按行输出文本:
awk '{print}' name.txt				#输出所有内容
awk '{print $0}' name.txt			#输出所有内容
awk 'NR==1,NR==3 {print}' name.txt	#输出第 1~3 行内容
awk 'NR==1;NR==3 {print}' name.txt	#输出第 1和第3 行内容
awk '(NR>=1)&&(NR<=3) {print}' name.txt	#输出第 1~3 行内容
awk 'NR==1||NR==3{print}' name.txt	#输出第1行、第3行内容
awk '(NR%2)==1{print}' name.txt 		#输出所有奇数行的内容
awk '(NR%2)==0{print}' name.txt		#输出所有偶数行的内容
awk '/^root/{print}' /etc/passwd		#输出以 root 开头的行
awk '/nologin$/{print}' /etc/passwd		#输出以 nologin 结尾的行

使用正则,字符串匹配

# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

OFS : 指定打印分隔符(默认空格)

案例:(输出的意思 分隔符会打印出来)

awk -F: 'BEGIN{OFS=" >>> "}{print $NF, $1}' /etc/passwd

awk脚本

关于 awk 脚本,我们需要注意两个关键词 BEGIN 和 END。

BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句}

计算文件大小

$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581

从文件中找出长度大于 80 的行:

awk 'length>80' log.txt

流程控制

简介:
流程控制只存在循环之中

if:awk -F: '{if($3>$4){print "大于"}else{print "小于或等于"}}' /etc/passwd

解析:

判断文件 第三列大于第四列的话打印(大于) 不大于 else

if 使用格式:if(){}				   : 但分支if(){}else{} 		   : 双分支if(){}else if(){}else{}	: 多分支

for每一行打印10次

for 使用格式

awk -F: '{for(i=10;i>0;i--){print $0}}' /etc/passwd

解析:

i-- 相当于python中的 i-=1 : i=i-1

减到条件不成立为止

格式:

fro(i="初始值":条件判断:游标){}

while每一行打印10次

while 使用格式

 
awk -F: '{i=1; while(i<10){print $0, i++}}' /etc/passwd

解析:

i++ 相当于python中的 i+=1

加到条件不成立为止

格式:

while(条件判断){}


在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/213.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

请陪伴Kimi和GPT成长

经验的闪光汤圆 但是我想要写实的 你有吗&#xff1f; 岁数大了&#xff0c;希望如何学习新知识呢&#xff1f;又觉得自己哪些能力亟需补强呢&#xff1f; 看论文自然得用Kimi&#xff0c;主要是肝不动了&#xff0c;眼睛也顶不住了。 正好昨天跟专业人士学会了用工作流的办法跟…

【Java】ArrayList removeIf() 方法

removeIf() 方法用于删除所有满足特定条件的数组元素。 removeIf()方法的语法为&#xff1a; arraylist.removeIf(Predicate<E> filter) 注&#xff1a;arraylist 是 ArrayList 类的一个对象。 参数说明&#xff1a;filter - 过滤器&#xff0c;判断元素是否要删除 返回…

Python中的Super方法实现问题及解决方案

1、问题背景 在Python中&#xff0c;super方法用于在子类中调用父类的方法。Guido van Rossum曾给出了一个纯Python实现的super方法&#xff0c;以便更好地理解其工作原理。然而&#xff0c;在这个实现中&#xff0c;存在一个问题&#xff1a;当传入的对象不是要调用的父类的实…

C++入门 (2)

文章目录 C入门C输入输出缺省参数全缺省半缺省函数声明与定义分离 函数重载C支持函数重载的原理--名字修饰 C入门 C输入输出 C输入输出包含在# include《iostream》中 cout 类似在控制台中输出&#xff0c;使用cout需要使用流插入符&#xff08;<<&#xff09; 这个符号…

代码随想录训练营-15day:二叉树4

一、平衡二叉树 平衡二叉树的定义&#xff1a;一个二叉树每个节点 的左右两个子树的高度差的绝对值不超过1。 使用递归方式&#xff1a;首先需要知道高度是什么意思&#xff0c;怎么获取高度。如果高度差大于1了&#xff0c;那么回复高度就没有意义了。 /*** Definition for…

Hotcoin4月16日上新热门资产:头部RWA技术提供方Centrifuge(CFG)

Hotcoin持续为全球600万用户发掘优质潜力资产&#xff0c;热门币种交易上热币。一文快速了解今日上新资产:Centrifuge(CFG) 推荐指数 8.2 交易对 CFG/USDT 交易时间 4月16日 19:00 资产赛道 RWA 项目简介 Centrifuge是一个去中心化资产融资协议&#xff0c;专注于释放现实世界资…

leetcode刷题(python)——(三)

01.02.02 练习题目&#xff08;第 03 天&#xff09; 1. 0066. 加一 1.1 题目大意 描述&#xff1a;给定一个非负整数数组&#xff0c;数组每一位对应整数的一位数字。 要求&#xff1a;计算整数加 1 1 1 后的结果。 说明&#xff1a; 1 ≤ d i g i t s . l e n g t h ≤…

网关模式和网桥模式的区别

网关&#xff0c;大家都知道&#xff0c;从一个房间走到另一个房间&#xff0c;必然要经过一扇门。同样&#xff0c;从一个网络向另一个网络发送信息&#xff0c;也必须经过一道“关口”&#xff0c;这道关口就是网关。顾名思义&#xff0c;网关(Gateway)就是一个网络连接到另一…

Object.hasOwn is not a function

背景 开发一个H5页面,使用Object.hasOwn来测试属性是否存在,在error监控中,发现某些用户访问会出现如下报错: 问题分析 因为不是所有的用户都报错,继而先去mdn上查看这个api的浏览器兼容性: Object.hasOwn() - JavaScript | MDN 从【Can I Use】上也查看了此web技术的…

STM32串口通信

一、串口发送 1.初始化引脚 void Serial_Init(uint32_t BaudRate) {RCC_APB2PeriphClockCmd (RCC_APB2Periph_GPIOA ,ENABLE );RCC_APB2PeriphClockCmd (RCC_APB2Periph_USART1 ,ENABLE );GPIO_InitTypeDef GPIO_InitStructure;GPIO_InitStructure.GPIO_Mode GPIO_Mode_AF_PP…

[疑难杂症2024-003]如何判断一张没有头信息的dcm图像,是否是压缩图像?

本文由Markdown语法编辑器编辑完成&#xff0e; 1. 前言: DCM格式&#xff0c;是医学图像领域里面的通用格式&#xff0e;DCM图像一般分为两大部分&#xff0c;一部分是TAG信息&#xff0c;一部分是像素. 而TAG信息&#xff0c;一般又会分为两部分&#xff0c;如下图所示, 是…

C++_智能指针

文章目录 前言一、智能指针原理二、库支持的智能指针类型1.std::auto_ptr2.std::unique_ptr3.std::shared_ptr4.std::weak_ptr 三、删除器总结 前言 智能指针是一种采用RAII思想来保护申请内存不被泄露的方式来管理我们申请的内存&#xff0c;对于RAII&#xff0c;我们之前也已…

LeetCode-热题100:102. 二叉树的层序遍历

题目描述 给你二叉树的根节点 root &#xff0c;返回其节点值的 层序遍历 。 &#xff08;即逐层地&#xff0c;从左到右访问所有节点&#xff09;。 示例 1&#xff1a; 输入&#xff1a; root [3,9,20,null,null,15,7] 输出&#xff1a; [[3],[9,20],[15,7]] 示例 2&am…

【GEE实践应用】使用MODIS NDVI数据集绘制研究区域每日NDVI序列曲线

// 设置研究区域 var geometry table;// 选择MODIS NDVI 数据集 var modisNDVI ee.ImageCollection(MODIS/006/MOD13A2).filterBounds(geometry).filterDate(2000-01-01, 2023-12-31);// 计算每天的平均 NDVI var dailyMeanNDVI modisNDVI.map(function(image) {var date e…

AndroidStudio AGP 7+, 编译aar并输出到本地仓库

1 编写构建gradle脚本代码 1.1 配置publication和repository 在指定moudle目录下新建名为"maven-publish.gradle"文件&#xff0c;其声明的publication和repository如下所示&#xff1a; apply plugin: maven-publish// This creates a task called publishReleas…

# 从浅入深 学习 SpringCloud 微服务架构(二)模拟微服务环境

从浅入深 学习 SpringCloud 微服务架构&#xff08;二&#xff09;模拟微服务环境&#xff08;1&#xff09; 段子手168 1、打开 idea 创建父工程 创建 artifactId 名为 spring_cloud_demo 的 maven 工程。 --> idea --> File --> New --> Project --> Ma…

记录一个sentinel修改密码方法

docker run --name sentinel --restartalways -p 8858:8858 -d bladex/sentinel-dashboard 使用docker装了sentinel&#xff0c;公司不允许使用默认密码。 使用docker exec -it sentinel /bin/bash进入容器内 在app.jar所在目录下创建application.properties的配置文件 # I…

MongoDB学习【三】MongoDB基本操作命令

1. 启动MongoDB服务&#xff1a; 在Windows环境下&#xff0c;通常你可以通过命令提示符(cmd)来启动MongoDB服务。首先确保已经正确设置了--dbpath参数指向数据库文件存储的位置&#xff0c;然后执行mongod服务程序&#xff1a; mongod --dbpath D:\mongo在Linux系统中&#…

java高校办公室行政事务管理系统设计与实现(springboot+mysql源码+文档)

风定落花生&#xff0c;歌声逐流水&#xff0c;大家好我是风歌&#xff0c;混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的闲一品交易平台。项目源码以及部署相关请联系风歌&#xff0c;文末附上联系信息 。 项目简介&#xff1a; 基于mvc的高校办公室行政…

Unity 网络连接协议总结

Tcp同步连接 Tcp同步连接介绍 Tcp协议作为稳定协议,在消息发送前必须完成客户端连接,且客户端连接在Tcp协议中只能是一对一的,即如果有ABC三个连接,那个A连接与B连接如果相互连接,则A与C之间则无法互相通信,只能由A接受到消息时创建出额外的D连接,然后由D与C相互通信 同步作为…