shell常用工具和命令

1.printf

Format 描述
%s: 一个字符串
%d， %i :一个小数
%f :一个浮点数
%.ns: 输出字符串， n 是输出几个字符
%m.nf :输出浮点数， m 是输出整数位数， n 是输出的小数位数
%x :不带正负号的十六进制，使用 a 至 f 表示 10 到 15
%X :不带正负号的十六进制，使用 A 至 F 表示 10 至 15
%% :输出单个%
%-5s :左对齐，对参数每个字段左对齐,宽度为 5
%-4.2f :左对齐，宽度为 4，保留两位小数
%5s :右对齐，不加横线表示右对齐

\n 换行
\r 回车
\t 水平制表符

2.tac 和rev

root@ubuntu:/home/test# a="123456\n78910"
root@ubuntu:/home/test# echo -e $a > a.txt
root@ubuntu:/home/test# tac a.txt 
78910
123456
root@ubuntu:/home/test# rev a.txt 
654321
01987
root@ubuntu:/home/test# rev a.txt |tac
01987
654321
root@ubuntu:/home/test#

3：WC

-c 打印文件字节数，一个英文字母 1 字节，一个汉字占 2-4 字节（根据编码）
-m 打印文件字符数，一个汉字占 2 个字符
-l 打印多少行
-L 打印最长行的长度，也可以统计字符串长度

4.rename

功能：重命名文件，支持通配符
常用选项：
示例：批量命名文件

 rename foo foo0 foo?

5.dirname

去除路径的最后一个名字

# dirname /usr/bin/
/usr
# dirname dir1/str dir2/str
dir1
dir2

6. basename

打印路径的最后一个名字

basename -s .h include/stdio.h
stdio

7.du

功能：估算文件磁盘空间使用
常用选项：
-h 易读格式显示（K， M， G）
-b 单位 bytes 显示
-k 单位 KB 显示
-m 单位 MB 显示
-s 只显示总大小
–max-depth=<目录层数>，超过层数的目录忽略
–exclude=file 排除文件或目录
–time 显示大小和创建时间

查看目录大小：
# du -sh /opt
排除目录某个文件：
# du -sh --exclude=test /opt

8.tr

功能：替换或删除字符
格式： Usage: tr [OPTION]… SET1 [SET2]
常用选项：
-c 替换 SET1 没有 SET2 的字符
-d 删除 SET1 中字符
-s 压缩 SET1 中重复的字符
-t 将 SET1 用 SET2 转换，默认

9 stat

显示文件信息：
# stat file

10 seq

生成顺序序列
-f 使用 printf 样式格式
-s 指定换行符，默认是\n
-w 等宽，用 0 填充

11.shuf

生成随机序列

shuf -i 5-10
seq 5 |shuf

12.sort

功能：排序文本，默认对整列有效
常用选项：
-f 忽略字母大小写
-M 根据月份比较，比如 JAN、 DEC
-h 根据易读的单位大小比较，比如 2K、 1G
-g 按照常规数值排序
-n 根据字符串数值比较
-r 倒序排序
-k 位置 1,位置 2 根据关键字排序，在从第位置 1 开始，位置 2 结束

13.uniq

功能：去除重复行,只会统计相邻的
常用选项：
-c 打印出现的次数
-d 只打印重复行
-u 只打印不重复行
-D 只打印重复行，并且把所有重复行打印出来
-f N 比较时跳过前 N 列
-i 忽略大小写
-s N 比较时跳过前 N 个字符
-w N 对每行第 N 个字符以后内容不做比较

# cat file
abc
cde
xyz
cde
xyz
abd
去重复行：
# sort file |uniq
abc
abd
cde
xyz
打印每行重复次数：
# sort file |uniq -c
1 abc
1 abd
2 cde
2 xyz
打印不重复行：
# sort file |uniq -u
abc
abd
打印重复行：
# sort file |uniq -d
cde
xyz
打印重复行并统计出现次数：
# sort file |uniq -d -c
2 cde
2 xyz
根据前几个字符去重：
# sort file |uniq -w 2
abc
cde
xyz

14 tee

功能：从标准输入读取写到标准输出和文件

echo 123 |tee -a a.log

15.join

# cat file1
1 a
2 b
3 c
# cat file2
1 x
2 y
3 z
将两个文件相同字段合并一列：
# join file1 file2
1 a x
2 b y
3 c z
打印 file1 第二列和 file2 第二列：
# join -o 1.2 2.2 file1 file2
a x
b y
c z
# join -t ':' -o 1.1 2.1 /etc/passwd /etc/shadow
user1:user1
……

16paste

功能：合并文件
常用选项：
-d 指定分隔符，默认是 tab 键分隔
-s 将文件内容平行合并，默认 tab 键分隔

两个文件合并， +号分隔：
# paste -d "+" file1 file2
1+4
2+5
3+6

17find

功能：目录层次结构中搜索文件
格式： find path -option actions
常用选项
-name 文件名，支持(‘*’ , ‘?’ )
-type 文件类型， d 目录， f 常规文件等
-perm 符合权限的文件，比如 755
-atime -/+n 在 n 天以内/过去 n 天被访问过
-ctime -/+n 在 n 天以内/过去 n 天被修改过
-amin -/+n 在 n 天以内/过去 n 分钟被访问过
-cmin -/+n 在 n 天以内/过去 n 分钟被修改过
-size -/+n 文件大小小于/大于， b、 k、 M、 G
-maxdepth levels 目录层次显示的最大深度
-regex pattern 文件名匹配正则表达式模式
-inum 通过 inode 编号查找文件
动作：
-detele 删除文件
-exec command {} ; 执行命令，花括号代表当前文件
-ls 列出当前文件， ls -dils 格式
-print 完整的文件名并添加一个回车换行符
-print0 打印完整的文件名并不添加一个回车换行符
-printf format 打印格式
其他字符：
！取反
-or/-o 逻辑或
-and 逻辑和
查找文件名：

# find / -name "*http*"
查找文件名并且文件类型：
# find /tmp -name core -type f -print
查找文件名并且文件类型删除：
# find /tmp -name core -type f -delete
查找当前目录常规文件并查看文件类型：
# find . -type f -exec file '{}' \;
查找文件权限是 664：
# find . -perm 664
查找大于 1024k 的文件：
# find . -size -1024k
查找 3 天内修改的文件：
# find /bin -ctime -3
查找 3 分钟前修改的文件：
# find /bin -cmin +3
排除多个类型的文件：
# find . ! -name "*.sql" ! -name "*.txt"
或条件查找多个类型的文件：
# find . -name '*.sh' -o -name '*.bak'
# find . -regex ".*\.sh\|.*\.bak"
# find . -regex ".*\.\(sh\|bak\)"
并且条件查找文件：
# find . -name "*.sql" -a -size +1024k
只显示第一级目录：
# find /etc -type d -maxdepth 1
通过 inode 编号删除文件：
# rm `find . -inum 671915`
# find . -inum 8651577 -exec rm -i {} \;

18 xargs

-a file 从指定文件读取数据作为标准输入
-0 处理包含空格的文件名,print0
-d delimiter 分隔符，默认是空格分隔显示
-i 标准输入的结果以{}代替
-I 标准输入的结果以指定的名字代替
-t 显示执行命令
-p 交互式提示是否执行命令
-n 最大命令行参数
–show-limits 查看系统命令行长度限制
删除/tmp 下名字是 core 的文件：

# find /tmp -name core -type f -print | xargs /bin/rm -f
# find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f
列转行（去除换行符 ）：
# cut -d: -f1 < /etc/passwd | sort | xargs echo
行转列：
# echo "1 2 3 4 5" |xargs -n1
最长两列显示：
# echo "1 2 3 4 5" |xargs -n2
创建未来十天时间：
# seq 1 10 |xargs -i date -d "{} days " +%Y-%m-%d
复制多个目录：
# echo dir1 dir2 |xargs -n1 cp a.txt
清空所有日志：
# find ./ -name "*.log" |xargs -i tee {} # echo ""> {} 这样不行， >把命令中断了
rm 在删除大量的文件时，会提示参数过长，那么可以使用 xargs 删除：
# ls |xargs rm – rf
或分配删除 rm [a-n]* -rf # getconf ARG_MAX 获取系统最大参数限制

19nl

功能：打印文件行号
常用选项：
-b <a|t> 指定行号显示方式， a 表示所有行都打印行号， b 表示空行不显示行号，默认是 a
-n <ln|rn|rz> 行号显示方法， ln 左对齐， rn 右对齐， rz 右边显示，左边空白用 0 填充。
-w 行号栏位在左边占用的宽度

左对齐打印行号：
# nl -n ln a.txt
行号右移动五个空格：
# nl -w 5 a.txt

20 date

-d string 显示指定字符串所描述的时间，而非当前时间
-f datefile 从日期文件中按行读入时间描述
-I 输出 ISO 8601 格式的日期和时间
-r 显示文件的最后修改时间
-R 输出 RFC 2822 格式的日期和时间
-s string 设置时间所描述的字符串
-u 打印或设置 UTC 时间
控制输出格式：
%% 一个文字的 %
%a 当前 locale 的星期名缩写(例如：日，代表星期日)
%A 当前 locale 的星期名全称 (如：星期日)
%b 当前 locale 的月名缩写 (如：一，代表一月)
%B 当前 locale 的月名全称 (如：一月)
%c 当前 locale 的日期和时间 (如： 2005 年 3 月 3 日星期四 23:05:25)
%C 世纪；比如 %Y，通常为省略当前年份的后两位数字(例如： 20)
%d 按月计的日期(例如： 01)
%D 按月计的日期；等于%m/%d/%y
%e 按月计的日期，添加空格，等于%_d
%F 完整日期格式，等价于 %Y-%m-%d
%g ISO-8601 格式年份的最后两位 (参见%G)
%G ISO-8601 格式年份 (参见%V)，一般只和 %V 结合使用
%h 等于%b
%H 小时(00-23)
%I 小时(00-12)
%j 按年计的日期(001-366)
%k 时(0-23)
%l 时(1-12)
%m 月份(01-12)
%M 分(00-59)
%n 换行
%N 纳秒(000000000-999999999)
%p 当前 locale 下的"上午"或者"下午"，未知时输出为空
%P 与%p 类似，但是输出小写字母
%r 当前 locale 下的 12 小时时钟时间 (如： 11:11:04 下午)
%R 24 小时时间的时和分，等价于 %H:%M
%s 自 UTC 时间 1970-01-01 00:00:00 以来所经过的秒数
%S 秒(00-60)
%t 输出制表符 Tab%T 时间，等于%H:%M:%S
%u 星期， 1 代表星期一
%U 一年中的第几周，以周日为每星期第一天(00-53)
%V ISO-8601 格式规范下的一年中第几周，以周一为每星期第一天(01-53)
%w 一星期中的第几日(0-6)， 0 代表周一
%W 一年中的第几周，以周一为每星期第一天(00-53)
%x 当前 locale 下的日期描述 (如： 12/31/99)
%X 当前 locale 下的时间描述 (如： 23:13:48)
%y 年份最后两位数位 (00-99)
%Y 年份
设置系统日期和时间：

# date -s "2016-12-15 00:00:00"
查看当前系统时间戳：
# date +%s
查看当前系统时间：
# date +'%F %T'
把日期和时间转换成时间戳：
# date -d "2016-12-15 18:00:00" +%s
把时间戳转成时间：
# date -d '@1481842800' '+%F %T'
时间加减：
显示前 30 秒： date -d '-30 second' +'%F %T'
显示前一分钟： date -d '-1 minute' +'%F %T'
显示前一个时间： date -d '-1 hour' +'%F %T'
显示前一个天： date -d '-1 day' +'%F %T'
显示上一周： date -d '-1 week' +'%F %T'
显示上一个月日期： date -d '-1 month' +%F
显示上一年日期： date -d '-1 year' +%F
或
显示前一天日期： date -d yesterday +%F
显示后一天日期： date -d tomorrow +%F
时间比较：
NOW_DATE=$(date +%s)
AGO_DATE=$(date -d "2016-12-15 18:00:00" +%s)
[ $NOW_DATE -gt $AGO_DATE ] && echo yes || echo no

21 wget

功能：非交互式网络下载，类似于 HTTP 客户端
常用选项：
-b, --background 后台运行
日志记录和输入文件：
-o, --output-file=FILE 日志写到文件
-a, --append-output=FILE 日志追加到文件
-d, --debug 打印 debug 信息，会包含头信息
-q, --quiet 退出，不输出
-i, --input-file=FILE 从文件中读取 URL 下载
下载选项：
-t, --tries=NUMBER 设置链接重试次数
-O, --output-document=FILE 写入内容到文件
-nc, --no-clobber 跳过下载现有的文件
-c, --continue 断点续传
–progress=TYPE 设置进度条（dot 和 bar）
-S, --server-response 打印服务器响应头信息
–spider 不下载任何内容
-T, --timeout=SECONDS 设置相应超时时间（还有–dns-timeout、 --connect-timeout 和
–read-timeout）
-w, --wait=SECONDS 两次重试间隔等待时间
–bind-address=ADDRESS 设置绑定地址
–limit-rate=RATE 限制下载速度
–user=USER 设置 ftp 和 http 用户名
–password=PASS 设置 ftp 和 http 密码
目录：
-P, --directory-prefix=PREFIX 保存文件目录
HTTP 选项：
–http-user=USER 设置 http 用户名
–http-password=PASS 设置 http 密码
–proxy-user=USER 设置代理用户名
–proxy-password=PASS 设置代理密码
–referer=URL 设置 Referer
–save-headers 保存头到文件
–default-page=NAME 改变默认页面名字，默认 index.html
-U,–user-agent=AGENT 设置客户端信息
–no-http-keep-alive 禁用 HTTP keep-alive（长连接）
–load-cookies=FILE 从文件加载 cookies
–save-cookies=FILE 保存 cookies 到文件
–post-data=STRING 使用 POST 方法，发送数据
FTP 选项：
–ftp-user=USER 设置 ftp 用户名
–ftp-password=PASS 设置 ftp 密码
–no-passive-ftp 禁用被动传输模式
递归下载：
-r, --recursive 指定递归下载
-l, --level=NUMBER 最大递归深度
-A, --accept=LIST 逗号分隔下载的扩展列表
-R, --reject=LIST 逗号分隔不被下载的扩展列表
-D, --domains=LIST 逗号分隔被下载域的列表
–exclude-domains=LIST 排除不被下载域的列表

22 curl

功能：发送数据到 URL，类似于 HTTP 客户端
常用选项：
-k, --insecure 允许 HTTPS 连接网站
-C, --continue-at 断点续传
-b, --cookie STRING/FILE 从文件中读取 cookie
-c, --cookie-jar 把 cookie 保存到文件
-d, --data 使用 POST 方式发送数据
–data-urlencode POST 的数据 URL 编码
-F, --form 指定 POST 数据的表单
-D, --dump-header 保存头信息到文件
–ftp-pasv 指定 FTP 连接模式 PASV/EPSV
-P, --ftp-port 指定 FTP 端口
-L, --location 遵循 URL 重定向，默认不处理
-l, --list-only 指列出 FTP 目录名
-H, --header 自定义头信息发送给服务器
-I, --head 查看 HTTP 头信息
-o, --output FILE 输出到文件
-#, --progress-bar 显示 bar 进度条
-x, --proxy [PROTOCOL://]HOST[:PORT] 使用代理
-U, --proxy-user USER[:PASSWORD] 代理用户名和密码
-e, --referer 指定引用地址 referer
-O, --remote-name 使用远程服务器上名字写到本地
–connect-timeout 连接超时时间，单位秒
–retry NUM 连接重试次数
–retry-delay 两次重试间隔等待时间
-s, --silent 静默模式，不输出任何内容
-Y, --speed-limit 限制下载速率-u, --user USER[:PASSWORD] 指定 http 和 ftp 用户名和密码
-T, --upload-file 上传文件
-A, --user-agent 指定客户端信息
示例：
下载页面：

# curl -o badu.html http://www.baidu.com
不输出下载信息：
# curl -s -o baidu.html http://www.baidu.com
伪装客户端，指定 user-agent 和 referer 下载：
# curl -A "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/44.0.2403.157 Safari/537.36" -e "baike.baidu.com" http://127.0.0.1
模拟用户登录，并保存 cookies 到文件：
# curl -c ./cookies.txt -F NAME=user -F PWD=123 http://www.example.com/login.html
使用 cookie 访问：
# curl -b cookies.txt http://www.baidu.com
访问 HTTP 认证页面：
# curl -u user:pass http://www.example.com
FTP 上传文件：
# curl -T filename ftp://user:pass@ip/a.txt
# curl ftp://ip -u user:pass-T filename
FTP 下载文件：
# curl -O ftp://user:pass@ip/a.txt
# curl ftp://ip/filename -u user:pass -o filename
FTP 下载多个文件：
# curl ftp://ip/img/[1,3,5].jpg
查看 HTTP 头信息：
# curl -I http://www.baidu.com

23SCP

功能：基于 SSH 的安全远程服务器文件拷贝
常用选项：
-i 指定私钥文件
-l 限制速率，单位 Kb/s， 1024Kb=1Mb
-P 指定远程主机 SSH 端口
-p 保存修改时间、访问时间和权限
-r 递归拷贝目录
-o SSH 选项，有以下几个比较常用的：
ConnectionAttempts=NUM 连接失败后重试次数
ConnectTimeout=SEC 连接超时时间
StrictHostKeyChecking=no 自动拉去主机 key 文件
PasswordAuthentication=no 禁止密码认证
本地目录推送到远程主机：

# scp -P 22 -r src_dir root@192.168.1.10:/dst_dir
远程主机目录拉取到本地：
# scp -P 22 -r root@192.168.1.10:dst_dir src_dir同步文件方式一样，不用加-r 参数

rsync

功能：远程或本地文件同步工具
常用选项：
-v 显示复制信息
-q 不输出错误信息
-c 跳过基础效验，不判断修改时间和大小
-a 归档模式，等效-rlptgoD，保留权限、属组等
-r 递归目录
-l 拷贝软连接
-z 压缩传输数据
-e 指定远程 shell，比如 ssh、 rsh
–progress 进度条，等同-P
–bwlimit=KB/s 限制速率， 0 为没有限制
–delete 删除那些 DST 中 SRC 没有的文件
–exclude=PATTERN 排除匹配的文件或目录
–exclude-from=FILE 从文件中读取要排除的文件或目录
–password-file=FILE 从文件读取远程主机密码
–port=PORT 监听端口
本地复制目录：

# rsync -avz abc /opt
本地目录推送到远程主机：
# rsync -avz SRC root@192.168.1.120:DST
远程主机目录拉取到本地：
# rsync -avz root@192.168.1.10:SRC DST
保持远程主机目录与本地一样：
# rsync -avz --delete SRC root@192.168.1.120:DST
排除某个目录：
# rsync -avz --exclude=no_dir SRC root@192.168.1.120:DST
指定 SSH 端口：
# rsync -avz /etc/hosts -e "ssh -p22" root@192.168.1.120:/op

11.35 iconv

功能：将文件内容字符集转成其他字符集
常用选项：
-l 列出所有已知的字符集
-f 原始文本编码
-t 输出编码
-o 输出到文件
-s 关闭警告
将文件内容转换 UTF8：

# iconv -f gbk -t utf8 old.txt -o new.txt
将 csv 文件转换 GBK：
# iconv -f utf8 -t gbk old.txt -o new.txt
解决邮件乱码：
# echo $(echo "content" | iconv -f utf8 -t gbk) | mail -s "$(echo "title" | iconv -f
utf8 -t gbk)" example@mail.com

sshpass

功能：非交互 SSH 登录（需要安装）
常用选项：
-f 从文件中获取密码
-d 用文件描述符数字获取密码
-p 指定 SSH 密码
-e 密码作为环境变量传递，变量名是 SSHPASS
免交互 SSH 登录：

# sshpass -p 123456 ssh root@192.168.1.10
免交互传输文件：
# sshpass -p 123456 scp a.txt 192.168.1.10:/root
密码传入系统变量：
# SSHPASS=123456 rsync -avz /etc/hosts -e "sshpass -e ssh" root@192.168.1.221:/opt

logger

功能：系统日志的 shell 命令行接口
常用选项：
-i 每行记录进程 ID
-f 指定输出日志到文件
-p 设置记录的优先级
-t 添加标签
示例：

# `logger -i -t "my_test" -p local3.notice "test_info"`

netstat & ss & lsof

看网络端口，打印网络连接、路由表、接口统计信息、伪装连接和多播成员

ip

功能：查看/操作路由表、设备、路由策略和隧道
格式： ip [ OPTIONS ] OBJECT { COMMAND | help }
常用选项：
-b, -batch 从文件或标准输入读取命令并调用他们，第一次失败将终止
-force 批量模式有错误不终止，如果有错误则状态返回非 0
-s, -statistics 输出更多的统计信息
-l, -loops 指定最大的循环数
操作对象（OBEJECT）：
address 网络设备地址
12tp 以太网 IP 隧道
link 配置网络设备
maddress 多播地址
monitor 动态监控网络连接
mroute 多播路由缓存条目
mrule 角色在多播路由策略数据库
neighbour 管理 ARP 或 NDISC 缓存条目
netns 管理网络命名空间
ntable 管理 neighbour 缓存操作
route 路由表
rule 角色在路由策略数据库
tpc_metrics/tcpmetrics 管理 TCP 指标
tunnel IP 隧道
tuntap 管理 TUN/TAP 设备
xfrm 管理 IPSec 策略

nc

功能： TCP 和 UDP 连接和监听
-i interval 指定间隔时间发送和接受行文本
-l 监听模式，管理传入的连接
-n 不解析域名
-p 指定本地源端口
-s 指定本地源 IP 地址
-u 使用 udp 协议，默认是 tcp
-v 执行过程输出
-w timeout 连接超时时间
-x proxy_address[:port] 请求连接主机使用代理地址和端口
-z 指定扫描监听端口，不发送任何数据