正则表达式,linux文本三剑客

正则表达式匹配的是文本内容,linux的文本三剑客都是针对文本内容,按行进行匹配

文本三剑客:

grep 过滤文本内容

sed 针对文本内容进行增删改查

awd 按行取列

一.grep命令

作用就是使用正则表达式来匹配文本内容

-m +数字:匹配几次之后停止

-v :取反

-n :显示匹配的行号

-c :只统计匹配的行数

-o :仅显示匹配的结果

-q :静默模式,不输出任何信息

-A +数字 :显示包括匹配行的后几行

-B +数字 :显示包括匹配行的前几行

-C +数字 :显示包括匹配行的前后各几行

-e :或者

-E :匹配扩展正则表达式

-f :匹配两个文件相同的内容,以第一个文件为准

-r :递归目录,目录下的文件内容,软连接不包含在内

-R :递归目录,目录下的文件内容,包含软连接

sort

排序:

以行为单位,对文件的内容进行排序

sort 选项 参数

cat file | sort 选项

-f :忽略大小写,默认会把大写字母排在前面

-b :忽略每行之前的空格(不是把空格删除,只是依然按照数字和字母的顺序排列)

-n :按照数字进行排序

-r :反向排序

-u :表示相同的数据仅显示一行

-o :把排序后的结果转存到指定的文件

uniq

去除连续重复的行

-c :统计连续重复的行的次数,合并连续重复的行

-u :显示仅出现一次的行(包括不是连续出现的重复行)

-d :仅显示连续重复的行(不包括非连续出现的行)

tr

用来对标准输出字符进行替换,压缩和删除

tr 选项 参数

-c :保留字符集1的字符,其他字符用字符集2来进行替换

默认会多输出一次替换的字符集2

-d :删除字符集中一部分

-s :①把连续重复出现的字符压缩成一个,②把字符集1的部分替换成字符集2的部分

cut

快速裁剪,对字段进行截取和裁剪

-d :指定分割符(默认的分割符是tab键)

-f :对字段进行截取,指定输出段的内容

截取字段1到3段:

截取字段1和3段:

-complement :输出的时候排除指定的字段

截取除第二段外字段:

截取除第1到第6字段外字段

截取除第1和第3字段外字段

-output-delimiter :更改输出内容的分割符

将截取的1到5字段中分割符: 替换成@

-b :以字节为单位进行截取

-c :以字符为单位进行截取

文件的拆分:

split

大文件拆分成若干小的文件

-l :按行进行拆分

将文件test2.txt按每20行拆分,拆分后文件前缀名为xy102

-b :按照大小来进行拆分

将文件xshell7.rar已每份21M大小拆分,拆分后文件名前缀为xshell

面试题:现在有一个日志文件,5G,能不能快速的打开

答:拆分,两种方法 split -l按行拆分和 split -b按大小拆分

这种文件推荐使用按大小拆分,split -b

文件合并

paste

cat

面试题:cat合并和paste合并之间的区别

答:cat是上下合并,paste是左右合并

面试题:统计当前主机的连接状态

答:ss -antp | grep -v 'State' | cut -d ' ' -f 1 | sort | uniq -c

正则表达式:

由一类特殊字符以及文本字符所编写的一个模式,模式又来匹配文件当中内容(字符)

校验我们输入的内容是否满足规定,格式,长度等待要求

主要用来匹配文件内容,命令的结果

通配符:只能用于匹配文件名的目录名,不能匹配文件的内容和命令结果

正则表达式分为:

1.基本正则表达式

元字符(字符匹配)

. 任意单个字符,也可以是一个汉字

\ 转义符 恢复其本意

[] 匹配指定范围内的任意单个字符或数字

[^] 取反

^ 匹配开头

*匹配前面的字符任意次,0次也可以

.* 匹配前面的任意字符,至少要有一次

\? 匹配前面的字符0次或1次,可有可无

\ + 匹配前面的字符,至少要出现一次

\ {n\ } 匹配前面的字符=n次,可以小于n,但是不能大于n,而且前面的字符必须要是连续出现

\ (m,n\ )匹配前面的字符至少m次 ,最多n次,必须的连续出现,超出的不在匹配范围

\ {,n\ } 匹配前面的字符最多n次

\ {n,\ } 匹配前面的字符最少n次

位置锚顶:

^ :以什么开始,行尾锚定

$ :以什么为结尾,行尾锚定

\ <或\b 词首锚定,匹配单词的左侧(连续的数字,字母,下划线都算单词内部)

\ > 或\b 词尾锚定,用于匹配单词的右侧

\broot\b 匹配整个单词,空格隔开的也算整个单词

^root$ 整个一行只有这个单词

区别

分组和逻辑关系

分组 :()

或者 : \ |

扩展正则表达式

grep -E ,不用加\号,其他与正则表达式基本一样

二.sed命令

sed是一种流编器,一次处理一行内容,针对文本内容进行增删改查

如果只是展示,会放在缓冲区(模式空间),展示结束之后,会从模式空间把操作结果删除

一行一行处理,处理完当前行,才会处理下一行,直到文件末尾

sed的命令格式和操作选项:

-e :表示可以跟多个操作符,只有一个操作符 -e 可以省略

sed -e '操作符' -e '操作符' 文件1 文件2

sed -e '操作符1;操作符2;'文件1 文件2

选项

-e :用于执行多个操作命令

-f : 在脚本中定义好了操作符,然后根据脚本内容的操作符对文件进行操作

-i : 直接修改目标文件(慎用)

-n :仅显示script处理后的结果(不加 -n,sed会有两个输出结果,加了 -n后会把默认输出屏蔽,只显示一个结果)

操作符:

p :打印结果

r :使用扩展正则表达式

s :替换,替换字符串

c :替换,替换指定行

y :替换,替换单个字符;多个字符必须和替换内容的字符长度保持一致

d :删除,删除行

a :增加,在指定行的下一行插入内容

i :增加,在指定行的上一行插入内容

r :读取其他文件的内容,在行后增加文本内容

$a :在最后一行插入新的内容

$i :在倒数第二行插入新的内容

$r :读取其他文件的内容,插入到目标文件的最后一行

打印功能:

寻址打印,按照指定行打印

sed -n '$p' 文件名 :,打印最后行

sed -n '数字p' 文件名 :打印指定行

sed -n '数字p;数字p' 文件名 :打印指定的两行

sed -n '2,4p' :打印2-4行

sed -n 'p;n' :打印奇数行

sed -n 'n;p' :打印偶数行 ‘n’的作用,跳过一行,打印下一行

sed -n ‘/a/p’ : 过滤并打印包含a的行

使用正则表达式对文本内容进行过滤

sed -n '/^root/p' /etc/passwd :打印出以root开头的所有行

sed -n '42,/bash$/p' /etc/passwd :从指定42行打印到第一个以bash结尾的行

sed -rn '/(99:){2,}/p' /etc/passwd :

sed -rn '/^root|bash$/p' /etc/passwd :打印出要么以root开头要么以bash结尾的行

面试题

如何免交互删除文件:

答:两种方法

①cat /dev/null > test1.txt

②sed -i 'd' test1.txt

sed的删除操作

sed -n ‘3d;p’ 文件名 :删除第三行,打印剩余的行

sed -n '4d;6d;p' 文件名 :删除第四和第六行,打印剩余行

匹配字符串删除行

sed '/o/d' :删除所有包含o的行

ed '/222/,/444/d' :删除包含222到444中间的所有行

ed '/222/!d' :删除除了包含222的所有行

面试题:

如何用免交互方式删除空行

grep -v ‘^$’

cat test.txt | tr -s ‘\n’

sed ‘/^$/d’ test.txt

s替换字符串

sed -n 's/root/test/p' /etc/passwd :每行第一个root替换成test

sed -n ’s/root/test/2p‘ /etc/passwd :每行第二个root替换成test

sed -n ’s/root/test/gp‘ /etc/passwd:所有的root替换成test

sed -n '4,6s/^/#/p' test.txt :注释第4到6行

sed -n '4s/^/#/p;6s/^/#/p' test.txt :注释第4和第6行

sed 's/[a-z]/\u&/' test.txt:转换首字母小写为大写

sed 's/[a-z]/\u&/g' test.txt:所有的小写变为大写

u&:转换首字母为大写的特殊符号。

ed 's/[A-Z]/\l&/' test1.txt :转换首字母大写为小写

sed 's/[A-Z]/\l&/g' test1.txt :所有的大写变为小写

l& :转换首字母为小写的特殊符号。

整行替换

sed '/a/c shuai' test.txt :把a开头的行 替换成 shuai

y单字符替换

sed '/abc/123/' test.txt :将文件内字符abc分别替换成123,

位置替换

使用sed对字符串和字符的位置进行互换

echo wenzeshao | sed -r 's/(wen)(ze)(shao)/\3\1\2/'

对单个字符的位置进行互换

echo oahs | sed -r 's/(.)(.)(.)(.)/\4\3\2\1/'

sed主要作用是对文本的内容进行增删改查

最好用的是:改和增功能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/32717.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在linux系统中使用docker、mysql实例

systemctl 是一个命令行工具&#xff0c;用于控制和管理基于 systemd 的 Linux 发行版中的系统和服务。 启动服务 &#xff1a;使用 systemctl start [service-name] 开始一个服务。 如启动docker&#xff1a;systemctl start docker 停止服务 &#xff1a;使用 systemctl st…

直播预约丨《袋鼠云大数据实操指南》No.3:数据资产管理实操,如何有效进行数据治理

近年来&#xff0c;新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮&#xff0c;持续冲击并革新着企业数字化转型的观念视野&#xff0c;昭示着一个以数据为核心驱动力的新时代正稳步启幕。 面对这些引领经济转型的新兴概念&#xff0c;为了更好地服务于客户…

[Shell编程学习路线]——While循环应用技巧 (详细讲解)

&#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f6e0;️Shell编程专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2024年6月20日16点30分 &#x1f004;️文章质量&#xff1a;95分 目录 ————前言———— 基本结构 图示原理 示例 测试 …

链动2+1模式:解锁用户留存与复购的增长密码

大家好&#xff0c;我是吴军&#xff0c;来自一家业界领先的软件开发公司&#xff0c;专注于为用户打造卓越的产品体验。今天&#xff0c;我想与大家探讨一个在我们产品运营中取得显著成效的策略——链动21模式&#xff0c;以及它是如何助力我们提升用户留存和复购率的。 尽管链…

Android13 WMS窗口层级树

1&#xff0c;认识层级树 可以通过dumpsys activity containers 看到 WMS 层级树的结构 ACTIVITY MANAGER CONTAINERS (dumpsys activity containers) ROOT typeundefined modefullscreen override-modeundefined requested-bounds[0,0][0,0] bounds[0,0][1440,2960]#0 Displa…

中国能源统计年鉴(1986-2023年)

数据年份&#xff1a;1986-2023年&#xff0c;无1987、1988、1990三年&#xff0c;1991-2023年齐 数据格式&#xff1a;pdf、excel 数据内容&#xff1a;《中国能源统计年鉴》是一部反映中国能源建设、生产、消费、供需平衡的权威性资料书。 共分为7个篇章&#xff1a;1.综合&a…

51-52Windows密码安全性测试与Windows提权

目录 Windows密码安全性测试 一、本地管理员密码如何直接提取 1、直接通过mimikatz读取管理员密码 2、使用laZagne工具读取管理员密码 二、利用Hash远程登录系统 window提权 三、远程webshell执行命令解决 不能执行原因&#xff1a; 解决方法&#xff1a;单独上传cmd.e…

linux系统cpu飙高如何排查

1.通过top命令查看cpu占比较高的进程ID 2.通过top -H -p <进程ID>命令查看该进程中具体线程&#xff0c;可以看到第一个线程 4311 占用了88.2%的cpu 3.通过 printf "%x\n" <线程ID> 把10进制的线程id转为16进制 4.通过jstack <进程ID> | grep &…

【大疆pocket3】到手后5个必改初始设置关键点(下)

【大疆pocket3】到手后5个必改初始设置关键点&#xff08;下&#xff09; 一&#xff0c;简介二&#xff0c;必改关键点2.1 数字变焦2.2 慢动作拍摄2.3 神奇的小摇杆2.4 云台模式使用方法&#xff08;默认增稳模式和俯仰角锁定的差异化以及使用场景&#xff09;2.5 云台转向速度…

文章解读与仿真程序复现思路——电力自动化设备EI\CSCD\北大核心《基于已知电网场景分段拟合智能体智能评估与自主进化方法 》

本专栏栏目提供文章与程序复现思路&#xff0c;具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》 论文与完整源程序_电网论文源程序的博客-CSDN博客https://blog.csdn.net/liang674027206/category_12531414.html 电网论文源程序-CSDN博客电网论文源…

为什么 JakeWharton 建议:App 只要用到一个 Activity ?

我们来看看这条回答都提到了哪些内容&#xff0c;对 Activity 和 Fragment 之间的爱恨情仇有何独到的见解&#xff0c;凭什么能得到 JakeWharton 本尊的青睐有加。 因为 Activity 是一个程序入口。你可以将其视为 app 的一个 main 函数。站在用户的立场上&#xff0c;通常你进入…

cesium 包络线

cesium 包络线 以下为源码直接复制可用 1、实现思路 通过turf.js中union方法来计算包络线官方地址:https://turfjs.fenxianglu.cn/ 闪烁线请查看cesium轨迹线(闪烁轨迹线) 2、示例代码 <!DOCTYPE html> <html lang="en"&g

Vue3中使用el-table遇到的问题

我在使用element-plus中el-table组件的时候&#xff0c;对于某一<el-table-column>标签内的内容设置show-overflow-tooltip属性&#xff0c;但这里溢出展示的tooltip的默认样式是无法像el-tooltip标签那样&#xff0c;直接可以修改的。默认的样式是这样&#xff1a; 因此…

1.树莓派4b+ubuntu18.04(ros版本melodic)+arduino mega自制两轮差速小车,实现建图导航功能

第一篇先介绍材料准备、环境配置和ros的安装 1.材料准备 1.树莓派4b&#xff0c;8g版本 2.arduino mega 3.MG310编码电机*2 4.雷达ydlidar X3 5.Tb6612电机驱动板 6.12v电池 7.ubuntu18.04ros melodic版本 2.环境配置 树莓派安装ubuntu18.04版本 ubuntu18.04版本的镜像可以…

安装vue时候发现npm淘宝镜像不能使用,报出:npm.taobao.org和registry.npm.taobao.or

2024.3.12 安装vue时候发现npm淘宝镜像不能使用&#xff0c;需要重新更换源&#xff0c;简单来说就是更换镜像 使用 npm config get registry 查看当前的镜像&#xff1b; npm config get registry 使用npm config set registry http://mirrors.cloud.tencent.com/npm/ &…

食品预包装:舌尖安全的第一道防线

在当今快节奏的生活中&#xff0c;食品预包装不仅是保护食品的屏障&#xff0c;更是传递品质与美味的使者。 预包装首先展现出的是其保鲜的魔力。它宛如一层坚固的护盾&#xff0c;有效地阻隔外界因素对食品的侵蚀&#xff0c;让食品的新鲜度和口感得以长久保存。无论是酥脆的点…

对接Shopify电商平台的流程

对接Shopify平台的流程通常包括以下关键步骤&#xff0c;在整个对接过程中&#xff0c;需要密切关注Shopify的API使用限制、认证机制、数据隐私政策等&#xff0c;确保应用的安全性和合规性。北京木奇移动技术有限公司&#xff0c;专业的软件外包开发公司&#xff0c;欢迎交流合…

广东信息工程职业学院2024年成人高等继续教育招生简章

一、学校简介 广东信息工程职业学院位于广东省肇庆市&#xff0c;是一所具有一定办学规模&#xff0c;办学定位和培养目标明确&#xff0c;办学特色和追求鲜明&#xff0c;可持续发展的全日制普通高等学校&#xff0c;学院坚持以人为本&#xff0c;以德育人&#xff0c;以良好…

使用Jetpack Compose创建自定义可滚动网格

使用Jetpack Compose创建自定义可滚动网格 Jetpack Compose是Android开发中的现代UI工具包&#xff0c;极大地简化了界面构建过程。本文将介绍如何使用Jetpack Compose创建一个可滚动的网格布局&#xff0c;帮助开发者更高效地管理大量数据和动态内容。我们将通过示例代码详细…

▶《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch5 蒙特卡洛方法【model-based ——> model-free】

PPT 截取必要信息。 课程网站做习题。总体 MOOC 过一遍 1、视频 学堂在线 习题 2、 过 电子书 是否遗漏 【下载&#xff1a;本章 PDF GitHub 页面链接 】 【第二轮 才整理的&#xff0c;忘光了。。。又看了一遍视频】 3、 过 MOOC 习题 看 PDF 迷迷糊糊&#xff0c; 恍恍惚惚。…