作用:
- grep数据查找定位
- awk数据切片
- sed数据修改
类比SQL:
- grep=select *from table
- awk=select field from table
- sed=update table set field=new where field=old
一、grep
1.1 grep*
Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。
linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。
grep [options] [pattern] [files]
[options]:
- -a,--text:将二进制文件作为文本文件处理。
- -c,--count:显示匹配行数,而不是行本身。
- -e pattern,--regexp=pattern:查找指定的模式,支持多个模式。
- -f file,--file=file:从文件中读取模式,每个模式占一行。
- -i,--ignore-case:忽略大小写。
- -l,--files-with-matches:只打印文件名,而不是行本身。
- -n,--line-number:在每行的前面打印行号。·-r,--recursive:遍历子目录中的文件。
- -v,--invert-match:输出不匹配的行。
- -x,--line-regexp:仅匹配整行。
- -w,--word-regexp:仅匹配整个单词。
[pattern] 通常是一个正则表达式,用于匹配指定的文本模式。
[files] 可以是若干个文件,也可以是目录。
例如:从目录下的文件搜索字符串所在目录和文件名
例如:从目录下的递归搜索 字符串所在目录和文件名
1.2 扩展grep(grep -E 或者 egrep)*
三种方法:grep -E 或 egrep 或 在扩展元字符前面加\
1.2 fgrep
二种方法:grep -F 或 fgrep
fgrep 查询速度比grep命令快,但是不够灵活:它只能找固定的文本,而不是规则表达式。
fgrep 命令于 grep 和 egrep 命令不同,因为它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。
例如:如果你想在一个文件或者输出中找到包含root字符的行
二、awk
-awk运行处理规则的执行流程
1. BEGIN{} : 最开始执行
2. // : 正则
3. {} : 循环体
4. END{} : 最后执行
这里面最少有一个,最多有四个!内置变量
-以下为awk内置变量:
ARGC 命令行参数个数
FILENAME 当前输入文档的名称
FNR 当前输入文档的当前记录编号,尤其当有多个输入文档时有用
NR 输入流的当前记录编号
NF 当前记录的字段个数
FS 字段分隔符
OFS 输出字段分隔符,默认为空格
ORS 输出记录分隔符,默认为换行符\n
RS 输入记录分隔符,默认为换行符\n
例:指定多个字段分隔符(
# echo 'hello the:word,!' | >awk 'BEGIN {FS="[:, ]"} {print $1,$2,$3,$4}'
例: 取出建立mysql连接最多的IP地址
netstat -an|grep "10.0.10.176:3306" | grep ESTABLISHED | awk '{print $5}' | awk -F: '{print $1}' | sort|uniq -c | more
例:取HTML标签head内容,
awk -F' ' '/<head>.*<\/head>/{print $0}' 0420.txt
HTML标签head 开始和结束必须在 同一行 ,才可以完整输出, awk 每次只读一行
例:获取请求返回的状态
curl -i -m 5 -s -w "%{http_code}\n" http://192.168.120.119:8001 |awk -F' ' '/HTTP\/1.1 [0-9]{3} OK/{print $2}'
例:取出passwd.copy 文件里的root
awk -F: 'BEGIN{OFS=" | "}/root/{printf "|%-5d|%-15s|%-15s|\n",NR, $NF, $1}' passwd.copy
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符
三、sed
待补充……