【linux】文本处理命令-grep、awk、sed使用(1)

作用:

  1. grep数据查找定位
  2. awk数据切片
  3. sed数据修改

类比SQL:

  1. grep=select *from table
  2. awk=select field from table
  3. sed=update table set field=new where field=old

一、grep

1.1 grep*

Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。
linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep [options] [pattern] [files]

[options]:

  • -a,--text:将二进制文件作为文本文件处理。
  • -c,--count:显示匹配行数,而不是行本身。
  • -e pattern,--regexp=pattern:查找指定的模式,支持多个模式。
  • -f file,--file=file:从文件中读取模式,每个模式占一行。
  • -i,--ignore-case:忽略大小写。
  • -l,--files-with-matches:只打印文件名,而不是行本身。
  • -n,--line-number:在每行的前面打印行号。·-r,--recursive:遍历子目录中的文件。
  • -v,--invert-match:输出不匹配的行。
  • -x,--line-regexp:仅匹配整行。
  • -w,--word-regexp:仅匹配整个单词。

[pattern] 通常是一个正则表达式,用于匹配指定的文本模式。
[files] 可以是若干个文件,也可以是目录。

例如:从目录下的文件搜索字符串所在目录和文件名

 例如:从目录下的递归搜索 字符串所在目录和文件名

1.2 扩展grep(grep -E 或者 egrep)*

三种方法:grep -E  或 egrep    或 在扩展元字符前面加\

 1.2 fgrep

二种方法:grep -F  或 fgrep 

fgrep 查询速度比grep命令快,但是不够灵活:它只能找固定的文本,而不是规则表达式。

fgrep 命令于 grep 和 egrep 命令不同,因为它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。

例如:如果你想在一个文件或者输出中找到包含root字符的行

二、awk

-awk运行处理规则的执行流程

1. BEGIN{}    : 最开始执行

2. //        : 正则

3. {}        : 循环体

4. END{} : 最后执行

这里面最少有一个,最多有四个!内置变量

-以下为awk内置变量:
          ARGC        命令行参数个数
          FILENAME    当前输入文档的名称
          FNR        当前输入文档的当前记录编号,尤其当有多个输入文档时有用
          NR        输入流的当前记录编号
          NF        当前记录的字段个数
          FS        字段分隔符
          OFS        输出字段分隔符,默认为空格
          ORS        输出记录分隔符,默认为换行符\n
          RS        输入记录分隔符,默认为换行符\n

例:指定多个字段分隔符(
# echo 'hello the:word,!' | >awk 'BEGIN {FS="[:, ]"} {print $1,$2,$3,$4}'

例: 取出建立mysql连接最多的IP地址
netstat -an|grep "10.0.10.176:3306" | grep ESTABLISHED | awk '{print $5}' | awk -F: '{print $1}'  | sort|uniq -c | more

例:取HTML标签head内容, 
awk -F' ' '/<head>.*<\/head>/{print $0}' 0420.txt     
HTML标签head 开始和结束必须在 同一行 ,才可以完整输出,   awk 每次只读一行
例:获取请求返回的状态
curl -i -m 5 -s -w "%{http_code}\n"  http://192.168.120.119:8001 |awk -F' ' '/HTTP\/1.1 [0-9]{3} OK/{print $2}'

例:取出passwd.copy 文件里的root

awk -F: 'BEGIN{OFS=" | "}/root/{printf "|%-5d|%-15s|%-15s|\n",NR, $NF, $1}' passwd.copy 

注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符 
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符 

三、sed

待补充…… 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/659062.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于simulink的模糊PID控制器建模与仿真,并对比PID控制器

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 4.1PID控制器原理 4.2 模糊PID控制器原理 5.完整工程文件 1.课题概述 在simulink&#xff0c;分别建模实现一个模糊PID控制器和一个PID控制器&#xff0c;然后将PID控制器的控制输出和模糊PID的控制输出…

剑指offer面试题10 二进制中1的个数

考察点 位运算知识点 位运算针对二进制位进行运算&#xff0c;包括(&)与运算,(|)或运算&#xff0c;(^)异或运算,(~)取反,(<<)左 移位,(>>)右移位,(>>>)无符号右移运算 与运算&#xff1a;0&00,0&10,1&00,1&11 或运算&#xff1a;0…

closest的用法

1. closest的概念 Element.closest() 是一个DOM&#xff08;文档对象模型&#xff09;方法&#xff0c;用于从当前元素开始&#xff0c;沿着DOM树向上遍历&#xff0c;直到找到匹配指定选择器的第一个元素。如果没有找到匹配的元素&#xff0c;则返回 null。 2. closest的使用…

【vue2】路由之 Vue Router

文章目录 一、安装二、基础使用1、简单的示例2、动态路由2.1 定义动态路径参数2.2 获取动态路径的参数2.3 捕获所有路由 3、嵌套路由4、编程式的导航4.1 router.push4.2 router.replace4.3 router.go(n) 5、命名路由6、重定向 三、进阶1、导航守卫1.1 全局前置守卫1.2 全局后置…

模板笔记 ST表 区间选数k

本题链接&#xff1a;用户登录 题目&#xff1a; 样例&#xff1a; 输入 5 3 1 1 2 2 3 1 2 3 3 1 5 输出 4 6 思路&#xff1a; . 根据题意&#xff0c;给出数组&#xff0c;以及多个区间&#xff0c;问这些区间中&#xff0c;最小值之和 和 最大值之和&#xff0c;…

居然可以在大肠杆菌上运行Doom游戏

MIT的学生们成功地在人体细胞&#xff08;大肠杆菌&#xff09;上……运行了Doom游戏。看到第一反应是科幻小说《雪崩》&#xff01;

A ConvNet for the 2020s

前言 论文名称&#xff1a;A ConvNet for the 2020s  发表时间&#xff1a;CVPR2022  code链接&#xff1a; 代码  作者及组织&#xff1a; Zhuang Liu&#xff0c;Hanzi Mao来自Meta和UC Berkeley。 一句话总结&#xff1a;仿照swin-T思想&#xff0c;重新设计ResNet结构&a…

【Python】使用aiohttp编写客户端

对比aiohttp和requests aiohttp 和 requests 是两个常用的 Python HTTP 库&#xff0c;它们有一些明显的区别&#xff0c;主要涉及到同步与异步、性能、用法和适用场景等方面。aiohttp不仅能编写http客户端代码&#xff0c;还可以用于开发服务端。以下内容对比aiohttp和reques…

嵌入式学习记录14

一&#xff1a;string.h 1.strncpy char *strncpy(char *dest, const char *src, size_t n) 定义一个 char * 类型的函数&#xff1b;其中dest为复制到这个地址&#xff0c;src为要复制的目标&#xff1b;n为复制src的前n 个&#xff1b; n < strlen(src) 只拷贝…

spark-cannot resolve overloaded method

使用split方法&#xff0c;出现错误&#xff1a;cannot resolve overloaded method 解决方法:那个regex应该是自动生成&#xff0c;所以split括号中输入空引号即可。 入门学习人的愚笨&#xff0c;也要继续坚持&#xff0c;加油&#xff01;

解决npm安装phantomjs失败

失败信息 Progress: resolved 102, reused 102, downloaded 0, added 0, done .pnpm/phantomjs2.1.7/node_modules/phantomjs: Running install script, failed in 21.3s .../node_modules/phantomjs install$ node install.js │ PhantomJS not found on PATH │ Downloading…

消息中间件之RocketMQ源码分析(三)

RocketMQ中的Consumer启动流程 RocketMQ客户端中有两个独立的消费者实现类分别为DefaultMQPullConsumer和DefaultMQPushConsumer&#xff0c; DefaultMQPullConsumer DefaultMQPullConsumer,该消费者使用时需要用户主动从Broker中Pull消息和消费消息&#xff0c;提交消费位点…

vue-router 实现页面路由

vue-router介绍 vue 的官方路由组件 功能包括 嵌套路由映射动态路由选择模块化、基于组件的路由配置路由参数、查询、通配符HTML5 的 history 模式 和 hash 模式 vue-router使用 结合 tabs 组件&#xff0c;实现页面路由 安装 vant-ui 实现底部导航栏 Tabbar-CSDN博客 重点…

图的学习

图的基本概念和术语 图的定义&#xff1a;图是由顶点的有穷非空集合和顶点之间的边的集合组成的&#xff0c;G表示&#xff0c;V是图G中顶点的集合&#xff0c;E是图G中边的集合 无向图&#xff1a;任意两点的边都是无向边组成的图&#xff08;无向边&#xff1a;&#xff08…

R高级绘图 | P1 | 带边缘分布散点图 | 代码注释 + 结果解读

新系列 —— R高级绘图&#xff0c;准备整理所有曾经绘制过的图图和未来需要的图图们的代码&#xff01;预计这个系列会囊括所有常见图形&#xff0c;只提供高级绘图代码&#xff0c;基础绘图主要在 R语言绘图 系列中进行介绍&#xff0c;这个系列咱们主打&#xff1a;需要XX图…

MySQL 常用函数学习总结

1、数值函数 ➢ 数学计算 ○ ABS(x) 返回x的绝对值 SELECT ABS(-2);○ EXP(x) 返回 e 的 x 次方 SELECT EXP(2); ○ LN 返回数字的自然对数 SELECT LN(2); ○ OG(x) 返回自然对数(以 e 为底的对数) SELECT LOG(20.085536923188); ○ POW(x,y)/POWER(x,y) 返回 x 的 y …

Redis拒绝连接的原因与解决方式

Redis拒绝连接的原因与解决方式 在某些情况下&#xff0c;当尝试从外部计算机连接到运行在保护模式下的Redis服务器时&#xff0c;您可能会遇到如下的错误信息&#xff1a; Caused by: org.redisson.client.RedisException: DENIED Redis is running in protected mode becau…

【Web前端实操21】商城官网_白色导航

今日份实现白色导航栏部分&#xff0c;也就是第三部分&#xff0c;效果如图中划线所示&#xff1a; 本次实现代码如之前的全局样式不再赘述&#xff0c;如有需要可以去我博客的Web前端实操19或者20自行查看。 本次主要更新mi.css和index.htm。 实现导航栏所需要的CSS样…

2015年苏州大学837复试机试C/C++

2015年苏州大学复试机试 第一题 题目 有36块砖&#xff0c;现在有36个人&#xff0c;男人能搬4块&#xff0c;女人能搬3块&#xff0c;小孩子两人搬一块&#xff0c;求一次搬完这些砖要男人&#xff0c;女人&#xff0c;小孩多少人&#xff1f; 代码 #include <iostrea…

仰暮计划|“那时候在生产队下面,集体干活,吃大锅饭,由队里分粮食,吃不饱饭是常事,队里分的粮食就那么点,想要吃饱真的太难了”

希望未来的中国越来越好&#xff0c;大家的生活也越来越好 老人是1955年在河南省洛阳市洛宁县的一个小山村里出生的&#xff0c;前半辈子为了生活&#xff0c;为了孩子而打拼&#xff0c;虽然经历了不少的苦难&#xff0c;但后半辈子也算是苦尽甘来&#xff0c;生活美满。现在就…