Linux命令更新-sort 和 uniq 命令

简介


sortuniq 都是 Linux 系统中常用的文本处理命令。

  • sort 命令用于对文件内容进行排序。

  • uniq 命令用于去除文件中重复出现的行。

1. sort 命令

命令格式

sort [选项] [文件]
  • 选项

  • -n: 按照数字进行排序

  • -r: 反向排序

  • -c: 统计每个元素出现的次数

  • -t 分隔符: 指定分隔符,默认为空格

  • -k 列号: 指定排序列,从左到右从 1 开始计数

  • -u: 仅显示不重复的行

命令功能

sort 命令可以对文件内容进行排序,支持多种排序方式,包括:

  • 按数字排序

  • 按字符串排序

  • 按自定义列排序

  • 正序排序

  • 反序排序

命令用法

1. 按数字排序

sort numbers.txt

例如,将文件 numbers.txt 中的内容按数字从小到大排序:

10
2
5
4
3

2. 按字符串排序

sort words.txt

例如,将文件 words.txt 中的内容按字母顺序排序:

apple
banana
cherry
grape
orange

3. 按自定义列排序

sort -k 3 students.txt

例如,将文件 students.txt 中的内容按第三列(成绩)从高到低排序:

张三,15,90
李四,18,80
王五,17,70
赵六,16,60

4. 正序排序

默认情况下,sort 命令会对文件内容进行正序排序。

sort numbers.txt

5. 反向排序

sort -r numbers.txt

例如,将文件 numbers.txt 中的内容按数字从大到小排序:

10
5
4
3
2

6. 统计每个元素出现的次数

sort -c words.txt

例如,统计文件 words.txt 中每个单词出现的次数:

2 apple
1 banana
1 cherry
2 grape
1 orange

7. 指定分隔符

sort -t : students.txt

例如,将文件 students.txt 中的内容按第一列(姓名)排序,并使用冒号作为分隔符:

张三:15:90
李四:18:80
王五:17:70
赵六:16:60

8. 仅显示不重复的行

sort -u words.txt

例如,显示文件 words.txt 中不重复的单词:

apple
banana
cherry
grape
orange

2. uniq 命令

命令格式

uniq [选项] [文件]
  • 选项

  • -c: 统计每个元素出现的次数

  • -d: 显示重复的行

  • -u: 仅显示不重复的行

命令功能

uniq 命令用于去除文件中重复出现的行,支持多种操作,包括:

  • 仅显示不重复的行

  • 显示重复的行

  • 统计每个元素出现的次数

命令用法

1. 仅显示不重复的行

uniq words.txt

例如,显示文件 words.txt 中不重复的单词:

apple
banana
cherry
grape
orange

2. 显示重复的行

uniq -d words.txt

例如,显示文件 words.txt 中重复出现的单词:

apple
banana

3. 统计每个元素出现的次数

uniq -c words.txt

例如,统计文件 words.txt 中每个单词出现的次数:

2 apple
1 banana
1 cherry
2 grape
1 orange

运维案例

案例一:统计网站日志中的访问次数

假设您需要统计网站日志文件 /var/log/nginx/access.log 中每个 IP 地址的访问次数。

步骤:

  1. 提取 IP 地址:
cat /var/log/nginx/access.log | awk '{print $1}' > ips.txt
  1. 排序并去除重复的 IP 地址:
sort -u ips.txt > unique_ips.txt
  1. 统计每个 IP 地址的访问次数:
for ip in $(cat unique_ips.txt); docount=$(grep -c "$ip" /var/log/nginx/access.log)echo "$ip $count"
done > ip_counts.txt

结果:

192.168.1.10 100
192.168.1.11 50
192.168.1.12 20

案例二:比较两个文件的差异并忽略空白行

假设您需要比较两个文件 /file1.txt/file2.txt 的差异,并忽略空白行。

步骤:

  1. 删除两个文件中的空白行:
sed -i '/^ *$/d' file1.txt
sed -i '/^ *$/d' file2.txt
  1. 比较两个文件并忽略重复行:
comm -3 file1.txt file2.txt | grep -v '^$'

结果:

+ line1
- line2

案例三:从多个文件中提取唯一内容

假设您需要从多个文件(file1.txtfile2.txtfile3.txt)中提取唯一内容。

步骤:

  1. 将多个文件的内容合并到一个文件中:
cat file1.txt file2.txt file3.txt > all_lines.txt
  1. 排序并去除重复行:
sort -u all_lines.txt > unique_lines.txt

结果:

line1
line2
line3

注意:

  • 本文档仅介绍了 sortuniq 命令的基本使用方法和常见运维案例,并未涵盖所有功能和参数。

  • 在使用 sortuniq 命令进行实际操作时,请注意备份文件,以免造成数据丢失。

  • 可以根据实际需要组合使用 sortuniq 命令,实现更复杂的功能。

希望这份文档能够帮助您更好地了解和使用 sortuniq 命令。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/45592.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

怎么录制视频?电脑录制,试试这3种方法

在数字化快速发展的时代,视频已经成为我们传递信息、分享生活、表达情感的重要载体。每一个人都希望自己能够掌握视频录制技巧,轻松驾驭影像的力量,创造出属于自己的视觉盛宴。 那么,怎么录制视频呢?首先选择一款好用…

vue脚手架配置代理请求

在 Vue 脚手架中,可以通过配置vue.config.js文件来设置代理请求,以解决跨域问题或实现其他代理需求。以下是两种常见的配置方式: 方法一: 在vue.config.js中添加如下配置: module.exports {devServer: {proxy: http…

《信息与电脑(理论版)》是什么级别的期刊?是正规期刊吗?能评职称吗?

问题解答 问:《信息与电脑(理论版)》是不是核心期刊? 答:不是,是知网收录的正规学术期刊。 问:《信息与电脑(理论版)》级别? 答:省级。主管单位:北京电子控股有限责任公司 主办…

AI安全入门-人工智能数据与模型安全

参考 人工智能数据与模型安全 from 复旦大学视觉与学习实验室 文章目录 0. 计算机安全学术知名公众号1. 概述数据安全模型安全 3. 人工智能安全基础3.1 基本概念攻击者攻击方法受害者受害数据受害模型防御者防御方法威胁模型目标数据替代数据替代模型 3.2 威胁模型3.2.1 白盒威…

实践致知第16享:设置Word中某一页横着的效果及操作

一、背景需求 小姑电话说:现在有个word文档,里面有个表格太长(如下图所示),希望这一个设置成横的,其余页还是保持竖的! 二、解决方案 1、将鼠标放置在该页的最前面闪烁,然后选择“页面”》“↘…

Python面经

文章目录 Python基本概念1. Python是**解释型**语言还是**编译型**语言2. Python是**面向对象**语言还是面向过程语言3. Python基本数据类型4.append和 extend区别5.del、pop和remove区别6. sort和sorted区别介绍一下Python 中的字符串编码is 和 的区别*arg 和**kwarg作用浅拷…

Electron 进程间通信

文章目录 渲染进程到主进程(单向)渲染进程到主进程(双向)主进程到渲染进程 (单向,可模拟双向) 渲染进程到主进程(单向) send (render 发送)on &a…

【Stable Diffusion】(基础篇三)—— 图生图基础

图生图基础 本系列笔记主要参考B站nenly同学的视频教程,传送门:B站第一套系统的AI绘画课!零基础学会Stable Diffusion,这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili 本文主要讲解如何使用S…

客户端与服务端之间的通信连接

目录 那什么是Socket? 什么是ServerSocket? 代码展示: 代码解析: 补充: 输入流(InputStream): 输出流(OutputStream): BufferedReader 是如何提高读取效率的&a…

K8s集群初始化遇到的问题

kubectl describe pod coredns-545d6fc579-s9g5s -n kube-system 找到原因1:CoreDNS Pod 处于 Pending 状态的原因是集群中的节点都带有 node.kubernetes.io/not-ready 污点 journalctl -u kubelet -f 14:57:59.178592 3553 remote_image.go:114] "PullIma…

《简历宝典》12 - 简历中“项目经历”,内功学习 - 下篇

这一小节呢,我们继续说简历中 “项目经历” 的一些内功心法。因为项目经历比较核心,所以说完了,内功呢,我们会着重说一下 实战部分。 目录 1 所用技术的考虑 2 自我成长的突出 3 综合使用STAR法则 4 小节 1 所用技术的考虑 …

如何评估AI模型:评估指标的分类、方法及案例解析

如何评估AI模型:评估指标的分类、方法及案例解析 引言第一部分:评估指标的分类第二部分:评估指标的数学基础第三部分:评估指标的选择与应用第四部分:评估指标的局限性第五部分:案例研究第六部分&#xff1a…

pear-admin-fast项目修改为集成PostgreSQL启动

全局搜索代码中的sysdate(),修改为now() 【前者是mysql特有的,后者是postgre特有的】修改application-dev.yml中的数据库url使用DBeaver把mysql中的数据库表导出csv,再从postgre中导入csv脚本转换后出现了bpchar(xx)类型,那么一定…

用友U8存货分类按层级取数SQL语句

SELECT cInvCCode 分类编码, cInvCName 分类名称, iInvCGrade 分类层级, ss.bInvCEnd 是否是末级, aa.* FROM InventoryClass ss LEFT JOIN ( SELECT * FROM ( SELECT cInvCCode AS 一级分类编码, …

python数据可视化(6)——绘制散点图

课程学习来源:b站up:【蚂蚁学python】 【课程链接:【【数据可视化】Python数据图表可视化入门到实战】】 【课程资料链接:【链接】】 Python绘制散点图查看BMI与保险费的关系 散点图: 用两组数据构成多个坐标点,考察…

如何降低老年人患帕金森病的风险?

降低老年人患帕金森病风险的方法 避免接触有害物质:长期接触某些化学物质、农药或其他有害物质可能会增加患帕金森病的风险。应减少这些物质的暴露,例如在工作或生活中采取防护措施。 健康饮食:均衡饮食,多吃富含抗氧化剂的食物&a…

做了一个万能搜索框

最近给网页做了一个搜索框,现在搜索比以前更加方便了,下面简单介绍一下如何使用 我们进入网页版(app.zyjj.cc)点击右上角的搜索就可以看到这个新版的搜索框了 目前支持中文、拼音、首字母等多种搜索方式,大家可以随意…

【Python】Python-docx使用实例 科技档案封面批量生成

使用背景 根据excel表中的信息,按照word模板格式,每条信息生成一个对应的模板及文件名。 我这里的情况是将科技档案的封面格式按照案卷表的明细批量生成。 (单位的档案软件太鸡肋了,没有这个功能) 代码整篇 工程档…

【Linux】常见指令(下)

【Linux】常见指令(下) 通配符 *man指令cp指令echo指令cat指令(简单介绍)cp指令 mv指令alias指令which ctrl ccat指令linux下一切皆文件 more指令less指令head指令tail指令管道 通配符 ‘*’ 通配符’ *‘,是可以匹配…

4 C 语言控制流与循环结构的深入解读

目录 1 复杂表达式的计算过程 2 if-else语句 2.1 基本结构及示例 2.2 if-else if 多分支 2.3 嵌套 if-else 2.4 悬空的 else 2.5 注意事项 2.5.1 if 后面不要加分号 2.5.2 省略 else 2.5.3 省略 {} 2.5.4 注意点 3 while 循环 3.1 一般形式 3.2 流程特点 3.3 注…