Linux命令更新-文本处理sed

简介

sed（Stream Editor）是一种功能强大的文本处理工具，用于非交互式编辑文本文件。它可以对输入流进行一系列文本处理操作，例如查找、替换、删除、添加等，是运维人员和开发人员必备的利器。相比于其他文本编辑工具，sed命令具有以下特点：

流处理模式： sed逐行处理输入流，而非整篇读取文件内容，内存占用更少，处理速度更快，尤其适用于处理大型文件。
强大的模式匹配功能： sed支持基本正则表达式和扩展正则表达式，可以灵活地匹配文本内容，满足复杂的操作需求。
丰富的文本处理操作： sed提供丰富的文本处理操作，包括查找、替换、删除、添加、插入、截取、变换等，可以满足各种文本处理需求。
易于使用： sed命令语法简洁易懂，易于学习和使用。

命令格式

sed命令的基本格式如下：

sed [选项] [模式] [动作] 文件

其中：

选项：用于指定sed命令的行为，例如是否直接修改文件内容、是否显示匹配行号等。
模式：要匹配的文本模式，可以是简单的字符串、正则表达式或更复杂的条件表达式。
动作：要执行的操作，例如替换文本、删除文本、添加文本等。
文件：要处理的文件或包含文件列表的文件。

常用选项

sed提供了许多选项，用于控制其行为。以下是一些常用的选项：

-n：不显示默认输出，只显示匹配的行。
-i：直接修改文件内容。
-e：执行多个sed命令。
-f：从文件中读取sed命令。
-r：使用扩展正则表达式。
-l：只显示匹配的行号。

命令用法

1. 查找文本

sed '模式' 文件

例如，以下命令查找file.txt文件中包含“hello”的行：

sed 'hello' file.txt

2. 替换文本

sed 's/模式/替换/g' 文件

例如，以下命令将file.txt文件中所有出现的“old”替换为“new”：

sed 's/old/new/g' file.txt

3. 删除文本

sed 'd' 文件

例如，以下命令删除file.txt文件中所有空行：

sed 'd' file.txt

4. 添加文本

sed 'a文本' 文件

例如，以下命令在file.txt文件的第一行之前添加一行文本“Hello, world!”：

sed 'aHello, world!' file.txt

5. 直接修改文件内容

sed -i '模式 动作' 文件

例如，以下命令将file.txt文件中所有出现的“old”替换为“new”，并直接修改文件内容：

sed -i 's/old/new/g' file.txt

6. 执行多个sed命令

sed -e '模式1 动作1' -e '模式2 动作2' 文件

例如，以下命令将file.txt文件中所有出现的“old”替换为“new”，并将所有空行删除：

sed -e 's/old/new/g' -e 'd' file.txt

7. 使用扩展正则表达式

sed -r '模式' 文件

例如，以下命令查找file.txt文件中包含以“a”开头、以“z”结尾的单词的行，使用扩展正则表达式：

sed -r '[a-z]+$' file.txt

8. 使用变量

sed命令支持使用变量来简化操作。例如，以下命令将file.txt文件中所有行号替换为“Line N”，其中N是行号：

sed 'N; s/^/# Line &/g' file.txt

步骤：

定义要使用的变量。
使用变量值替换模式或动作中的一部分内容。

结果：

file.txt文件中所有行号都被替换为“Line N”。

9. 指定打印范围

sed命令支持指定打印范围，例如只打印匹配行的前N行或后N行。例如，以下命令打印file.txt文件中匹配模式“error”的行及其前后两行：

sed '/error/{n; n; p; }' file.txt

步骤：

确定要打印的范围。
使用sed命令指定打印范围。

结果：

file.txt文件中匹配模式“error”的行及其前后行都被打印出来。

10. 组合使用模式和动作

sed命令支持组合使用多个模式和动作，可以实现更复杂的操作。例如，以下命令将file.txt文件中所有以“a”开头的行替换为“new_line”，并将所有空行删除：

sed '/^a/ { s/^.*$/new_line/; } ; d' file.txt

步骤：

确定要执行的操作。
组合使用多个模式和动作实现操作。

结果：

file.txt文件中所有以“a”开头的行都被替换为“new_line”，所有空行都被删除。

命令实操

案例一：修改配置文件

假设/etc/nginx/nginx.conf文件中包含了Nginx服务器的配置信息。为了修改配置文件中的某些参数，可以以下命令：

sed 's/old_value/new_value/g' /etc/nginx/nginx.conf

例如，以下命令将/etc/nginx/nginx.conf文件中所有出现的“80”替换为“81”，修改Nginx服务器的默认端口：

sed 's/80/81/g' /etc/nginx/nginx.conf

步骤：

确定要修改的参数和修改后的值。
使用sed命令进行修改。
检查修改结果是否正确。

结果：

Nginx服务器的默认端口由80改为81。

案例二：查找并删除日志文件中的错误信息

假设/var/log/syslog文件中记录了系统的运行日志。为了查找并删除出现错误的信息，可以以下命令：

sed '/error/d' /var/log/syslog

该命令将查找/var/log/syslog文件中包含“error”的行，并将其删除。

步骤：

确定要查找的错误信息。
使用sed命令进行查找并删除。
检查删除结果是否正确。

结果：

/var/log/syslog文件中所有包含“error”的行都被删除。

案例三：批量修改文件名

假设当前目录下存在大量文件，需要将它们的文件名统一修改为特定格式。例如，将所有文件名的第一个字母改为大写。可以以下命令：

sed 's/^([^\.]*)\.\(.*\)$/\1\.\2/g' *

该命令将遍历当前目录下的所有文件，并将它们的文件名的第一个字母改为大写。

步骤：

确定要修改的文件名格式。
使用sed命令进行批量修改。
检查修改结果是否正确。

结果：

当前目录下所有文件名的第一个字母都已改为大写。

案例四：统计代码行数

假设要统计source.c文件中代码的行数，可以以下命令：

sed -n 's/^$//;p' source.c | wc -l

该命令将首先删除source.c文件中所有空行，然后使用wc -l命令统计非空行数。

步骤：

确定要统计代码行数的文件。
使用sed命令删除空行。
使用wc命令统计行数。

结果：

source.c文件中代码行的数目显示在命令行中。

案例五：从备份文件中恢复数据

假设/data/backup/data.txt是某个文件的备份文件，需要将备份文件中的数据恢复到原始文件/data/data.txt中。可以以下命令：

sed 's/^# //' /data/backup/data.txt > /data/data.txt

该命令将首先删除data/backup/data.txt文件中每一行开头的“#”符号（表示注释），然后将处理后的结果重定向到/data/data.txt文件中，覆盖原始文件中的内容。

步骤：

确定备份文件和原始文件的位置。
使用sed命令删除备份文件中的注释。
将处理后的结果覆盖原始文件。

结果：

/data/data.txt文件中的内容被恢复为备份文件中的内容。

案例六：将文本转换为表格

假设data.txt文件中的内容如下：

name,age,city
张三,30,北京
李四,25,上海
王五,40,广州

需要将该文件中的内容转换为表格形式。可以以下命令：

sed '1{s/\,/|/g;p};n{s/^/|/;s/\,/|/gp}' data.txt

该命令将首先将第一行（表头）中的逗号替换为管道符号“|”，然后将每一行的开头添加一个管道符号“|”，并将逗号替换为管道符号“|”，最后将处理后的结果输出到标准输出。

步骤：

确定要转换的文本文件。
使用sed命令将文本转换为表格格式。
将结果输出到标准输出或重定向到文件。

结果：

| name | age | city |
|---|---|---|
| 张三 | 30 | 北京 |
| 李四 | 25 | 上海 |
| 王五 | 40 | 广州 |

案例七：查找文件中的重复行

假设要查找/home/user/data目录下所有文件中重复的行。可以以下命令：

find /home/user/data -type f -exec sed 'N;!{H;d};p' {} + | sort | uniq -d

该命令首先使用find命令查找/home/user/data目录下所有文件，然后使用sed命令查找每个文件中的重复行，最后使用sort命令对结果进行排序，并使用uniq -d命令删除重复行。

步骤：

确定要查找重复行的目录。
使用find命令查找要处理的文件。
使用sed命令查找每个文件中的重复行。
使用sort命令对结果进行排序。
使用uniq命令删除重复行。

结果：

/home/user/data目录下所有文件中重复的行将被列出。

案例八：根据条件从多个文件中提取数据

假设要从/data/log/log*.txt文件中提取所有包含“error”的行，并按日期排序。可以以下命令：

sed '/error/!d' /data/log/*.txt | sort | uniq

该命令首先使用sed命令从每个文件中提取所有包含“error”的行，然后使用sort命令对结果按日期排序，最后使用uniq命令删除重复行。

步骤：

确定要提取数据的文件。
使用sed命令从每个文件中提取指定内容。
对结果进行排序或其他处理。
删除重复行。

结果：

/data/log/log*.txt文件中所有包含“error”的行将被提取出来，并按日期排序后显示。

运维实战脚本

案例一：基于条件的批量修改配置文件

场景描述：

我们需要修改/etc/apache2/apache2.conf配置文件中的多个参数，但并非所有服务器都需要修改相同的参数。例如，对于Web服务器A，需要修改“ServerName”和“DocumentRoot”参数，而对于Web服务器B，只需要修改“ServerName”参数。

解决方案：

我们可以使用sed命令结合条件判断来实现基于条件的批量修改。具体步骤如下：

准备条件判断文件： 创建一个名为“conditions.txt”的文件，其中每一行记录一个服务器的条件和需要修改的参数。例如：

ServerName=www.example.com;DocumentRoot=/var/www/html
ServerName=www.example.org

编写sed命令脚本：

#!/bin/bash# 定义条件判断文件路径
conditions_file="conditions.txt"# 逐行读取条件判断文件
while IFS=';' read -r server_name document_root; do# 判断当前服务器是否需要修改if [[ "$HOSTNAME" == "$server_name" ]]; then# 如果需要修改，则执行sed命令if [[ -n "$document_root" ]]; thensed -i "s/ServerName .*$/ServerName $server_name/g; s/DocumentRoot .*$/DocumentRoot $document_root/g" /etc/apache2/apache2.confelsesed -i "s/ServerName .*$/ServerName $server_name/g" /etc/apache2/apache2.conffifi
done < "$conditions_file"

案例二：使用变量和函数的批量文件重命名

场景描述：

我们需要将当前目录下所有符合特定规则的文件名进行重命名。例如，将所有以“image”开头的文件名改为以“new_image”开头，同时保留原始文件名的扩展名。

解决方案：

我们可以使用sed命令结合变量和函数来实现批量文件重命名。具体步骤如下：

编写sed命令脚本：

#!/bin/bash# 定义重命名规则
rename_pattern="s/^image(.*)$/new_image\1/"# 获取当前目录下的所有文件
files=$(find . -type f)# 遍历每个文件
for file in $files; do# 获取文件名和扩展名filename=$(basename "$file")name="${filename%.*}"ext="${filename##*.}"# 判断文件名是否符合重命名规则if [[ "$name" =~ ^image ]]; then# 执行sed命令重命名文件new_filename="$name.bak"sed -i "$rename_pattern" "$file"mv "$file" "$new_filename"fi
done

建议