学习大数据,所需更要的shell基础(2)

文章目录

  • read读取控制台输入
  • 函数
    • 系统函数
      • bashname
      • dirname
    • 自定义函数
    • Shell工具(重点)
    • cut
    • awk
  • 正则表达式入门
    • 常规匹配
    • 常用特殊字符

read读取控制台输入

1)基本语法
read (选项) (参数)
①选项:
-p:指定读取值时的提示符;
-t:指定读取值时等待的时间(秒)如果-t不加表示一直等待
②参数
变量:指定读取值的变量名
2)案例实操
提示7秒内,读取控制台输入的名称

touch read.sh
vim read.sh
## 在文件中添加如下内容
#!/bin/bash
read -t 7 -p "Enter your name in 7 seconds :" NN
echo $NN
## 进行测试
bash read.sh

在这里插入图片描述

函数

系统函数

bashname

1)基本语法
basename [string / pathname] [suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
basename 可以理解为取路径里的文件名称
选项:
suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。
2)案例实操
截取该/home/atguigu/banzhang.txt路径的文件名称。

basename /home/atguigu/banzhang.txt 
basename /home/atguigu/banzhang.txt .txt

在这里插入图片描述

dirname

1)基本语法
dirname 文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分))
dirname 可以理解为取文件路径的绝对路径名称
2)案例实操
获取banzhang.txt文件的路径

dirname /home/atguigu/banzhang.txt

自定义函数

1)基本语法
[ function ] funname[()]
{
Action;
[return int;]
}
2)经验技巧
(1)必须在调用函数地方之前,先声明函数,shell脚本是逐行运行。不会像其它语言一样先编译。
(2)函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255)
3)案例实操
计算两个输入参数的和。

touch fun.sh
vim fun.sh
##文件中添加如下内容
#!/bin/bash
function sum()
{s=0s=$[$1+$2]echo "$s"
}read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;
## 运行测试
bash fun.sh

在这里插入图片描述

Shell工具(重点)

cut

cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1)基本用法
cut [选项参数] filename
说明:默认分隔符是制表符
2)选项参数说明

选项参数功能
-f列号,提取第几列
-d分隔符,按照指定分隔符分割列,默认是制表符“\t”
-c按字符进行切割 后加加n 表示取第几列 比如 -c 1

3)案例实操
(1)数据准备

touch cut.sh
vim cut.sh
## 添加如下内容
dong shen
guan zhen
wo  wo
lai  lai
le  le

(2)切割cut.sht第一列

cut -d " " -f 1 cut.sh

(3)切割cut.txt第二、三列

 cut -d " " -f 2,3 cut.sh

(4)在cut.txt文件中切割出guan

cat cut.sh |grep guan | cut -d " " -f 1

(5)选取系统PATH变量值,第2个“:”开始后的所有路径

## 查看环境变量
echo $PATH
echo $PATH | cut -d ":" -f 3

(6)切割ifconfig 后打印的IP地址

ifconfig ens33 | grep netmask | cut -d "i" -f 2 | cut -d " " -f 2

如果不懂,可以进行分割一层层查看

awk

一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。
1)基本用法
awk [选项参数] ‘/pattern1/{action1} /pattern2/{action2}…’ filename
pattern:表示awk在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令
2)选项参数说明

选项参数功能
-F指定输入文件折分隔符
-v赋值一个用户定义变量

3)案例实操
(1)数据准备

##将/etc/passwd文件复制到当前目录下,并创建一个与源文件相同内容的文件
sudo cp /etc/passwd ./.

(2)搜索passwd文件以root关键字开头的所有行,并输出该行的第7列。

awk -F : '/^root/{print $7}' passwd 

(3)搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割

awk -F : '/^root/{print $1","$7}' passwd 

注意:只有匹配了pattern的行才会执行action
(4)只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"dahaige,/bin/zuishuai"。

awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd

运行结果
在这里插入图片描述
注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行
(5)将passwd文件中的用户id增加数值1并输出

awk -v i=1 -F : '{print $3+i}' passwd

4)awk的内置变量

变量说明
FILENAME文件名
NR已读的记录数(行号)
NF浏览记录的域的个数(切割后,列的个数)

5)案例实操
(1)统计passwd文件名,每行的行号,每行的列数

awk -F : '{print "filename:" FILENAME  ",linenum:" NR ",col:"NF}' passwd 

(2)查询ifconfig命令输出结果中的空行所在的行号

ifconfig | awk '/^$/{print NR}'

(3)切割IP

ifconfig ens33 | grep netmask | awk -F "inet" '{print $2}' | awk -F " " '{print $1}' 

正则表达式入门

正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中,grep,sed,awk等命令都支持通过正则表达式进行模式匹配。

常规匹配

一串不包含特殊字符的正则表达式匹配它自己,例如

cat /etc/passwd | grep atguigu

就会匹配所有包含atguigu的行。

常用特殊字符

1)特殊字符:^
^ 匹配一行的开头,例如:
cat /etc/passwd | grep ^a
会匹配出所有以a开头的行
2)特殊字符:$
$ 匹配一行的结束,例如

cat /etc/passwd | grep t$

会匹配出所有以t结尾的行
思考:^$ 匹配什么? 这就是空行的意思,处理数据时候筛除空行使用
3)特殊字符:.
匹配一个任意的字符,例如

cat /etc/passwd | grep r..t

会匹配包含rabt,rbbt,rxdt,root等的所有行
4)特殊字符:*
* 不单独使用,他和上一个字符连用,表示匹配上一个字符0次或多次,例如

cat /etc/passwd | grep ro*t

会匹配rt, rot, root, rooot, roooot等所有行
思考:.* 匹配什么?
5)特殊字符:[ ]
[ ] 表示匹配某个范围内的一个字符,例如
[6,8]------匹配6或者8
[0-9]------匹配一个0-9的数字
[0-9]------匹配任意长度的数字字符串
[a-z]------匹配一个a-z之间的字符
[a-z]
------匹配任意长度的字母字符串
[a-c, e-f]-匹配a-c或者e-f之间的任意字符

cat /etc/passwd | grep r[a,b,c]*t

会匹配rt,rat, rbt, rabt, rbact,rabccbaaacbt等等所有行
6)特殊字符:\
\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式,当我们想匹配某一特殊字符本身时(例如,我想找出所有包含 ‘$’ 的行),就会碰到困难。此时我们就要将转义字符和特殊字符连用,来表示特殊字符本身,例如

cat passwd | grep a\$b

就会匹配所有包含 a$b 的行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/8465.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++初识多态(1)

1.多态要解决的问题(引入) 任何一种机制的存在,必然是有其存在的意义的,例如我们前面学过的函数重载,运算符重载,以及引用等等,都是解决一些特殊问题的; 下面通过一些具体的例子&a…

组合模式(Composite)——结构型模式

组合模式(Composite)——结构型模式 组合模式是一种结构型设计模式, 你可以使用它将对象组合成树状结构, 并且能通过通用接口像独立整体对象一样使用它们。如果应用的核心模型能用树状结构表示, 在应用中使用组合模式才有价值。 例如一个场景…

剁手党必看——转转红包使用规则与最优组合计算全解析

​ 1、省钱攻略基础之“了解平台红包使用规则” 2、举个栗子 3、最优红包组合计算方法进化过程 3.1、初代“笛卡尔乘积”版 3.2、二代“边算边比较Map聚合”版 3.3、三代“边算边比较数组索引定位”版 4、总结 1、省钱攻略基础之“了解平台红包使用规则” 规则一&#x…

介绍 ffmpeg.dll 文件以及ffmpeg.dll丢失怎么办的五种修复方法

ffmpeg.dll 是一个动态链接库文件,属于 FFmpeg运行库。它在计算机上扮演着非常重要的角色,因为它提供了许多应用程序和操作系统所需的功能和组件。当 ffmpeg.dll 文件丢失或损坏时,可能会导致程序无法正常运行,甚至系统崩溃。下面…

数据结构-线性表-链表-2.3-4

试编写在带头结点的单链表L中删除一个最小值结点的高效算法(假设最小值结点是唯一的)。 使用四个指针,p,pre,minp,minpre 用p从头至尾扫描单链表,pre指向*p结点的前驱,用minp保存最小结点的指针(初始认为…

C#读sqlite数据库

using System.Data.SQLite;//若没有库需要在Nugut下载 private void ReadDatabase() { //判断有无数据库 if (!File.Exists(dbPath)) { SQLiteConnection.CreateFile(dbPath); MessageBox.Show(…

紫外激光打标机适合在哪些材料表面进行标记

紫外激光打标机适合在多种材料表面进行标记,特别是那些对热敏感或者需要高精度、高清晰度标记的材料。以下是一些常见的适用材料: 1. 塑料:紫外激光打标机在塑料材料上表现尤为出色,因为紫外激光的短波长和高能量密度使得它能够在…

Python | Leetcode Python题解之第70题爬楼梯

题目: 题解: class Solution:def climbStairs(self, n: int) -> int:a, b 1, 1for _ in range(n - 1):a, b b, a breturn b

TCP长连接短链接

1、短连接 短连接是指通讯双方有数据交互时,就建立一个连接,数据发送完成后,则断开此连接,即每次连接只完成一项业务的发送。 2、长连接 长连接是指在一个连接上可以连续发送多个数据包,在连接保持期间,…

Nginx启动后IP加端口不能正常访问

背景介绍 新增NGINX配置文件后,重启nginx无法使用IP端口访问服务,域名可以访问服务。NGINX启动不报错,测试nginx配置文件nginx -t也没问题。 定位问题思路与步骤 查看NGINX配置文件 发现NGINX配置文件中的user是www user www www;查看N…

Linux中通过命令执行Shell脚本不生效问题

Linux中通过命令执行Shell脚本不生效问题 文章目录 Linux中通过命令执行Shell脚本不生效问题1. 执行.sh设置export不生效问题2. 可能导致的原因3. 解决方法1. 通过点(.)来执行shell脚本2. 通过source来执行shell脚本 1. 执行.sh设置export不生效问题 执行命令./script.sh后发现…

深度学习实战77-基于CNN+BiLSTM的异常用电行为的识别算法研究与实战

大家好,我是微学AI,今天给大家介绍一下深度学习实战77-基于CNN+BiLSTM的异常用电行为的识别算法研究与实战。 在智能电网的快速发展背景下,电力系统的安全稳定运行显得尤为重要。异常用电行为,如非法窃电、设备故障导致的非正常耗电等,不仅影响电网的经济效益,还可能威胁…

ORA-51803: Vector dimension count must match the dimension count 错误解决

ORA-51803: Vector dimension count must match the dimension count 错误解决 0. 错误信息1. 解决方法 0. 错误信息 错误信息如下, oracledb.exceptions.DatabaseError: ORA-51803: Vector dimension count must match the dimension count specified in the col…

C语言(操作符)2

Hi~!这里是奋斗的小羊,很荣幸各位能阅读我的文章,诚请评论指点,关注收藏,欢迎欢迎~~ 💥个人主页:小羊在奋斗 💥所属专栏:C语言 本系列文章为个人学习笔记&#x…

[C++]智能指针的实现:auto_ptr, shared_ptr, weak_ptr

auto_ptr 简介 交换资源的管理权&#xff0c;将被拷贝资源置空&#xff0c;很危险&#xff0c;一般被禁用 代码实现 namespace memory {template<typename T>class auto_ptr{public:auto_ptr(T* ptr):_ptr(ptr){}auto_ptr(auto_ptr<T>& ap){_ptr ap._ptr;…

快速话术本(常用文本快速复制工具)EXE成品+软件源码

功能介绍 经常性需要重复性的输入几个不同的文本&#xff0c;来回复制很麻烦&#xff0c;这个小工具可以帮你解决&#xff0c;把要经常输入的文本添加进去&#xff0c;点击即可复制~ 链接&#xff1a;https://pan.baidu.com/s/1TqtJ_Xb10k4j3dxSRjz47Q?pwdsl4l 提取码&…

38.分布式文件系统 - Minio

文章目录 分布式文件系统MinIO安装和启动docker中MinIO的使用podman 虚拟机里使用Docker启minio配置&#xff08;成功访问&#xff09; Java连接minio 分布式文件系统 MinIO 官网&#xff1a;[https://min.io] 中文&#xff1a;[https://www.minio.org.cn/] [http://docs.mi…

Guid转换为字符串

在理想情况下&#xff0c;任何计算机和计算机集群都不会生成两个相同的GUID。GUID 的总数达到了2128&#xff08;3.41038&#xff09;个&#xff0c;所以随机生成两个相同GUID的可能性非常小&#xff0c;但并不为0。GUID一词有时也专指微软对UUID标准的实现。 (1). GUID&#…

如何避免在抓取Google时被屏蔽?代理IP的7个使用误区

在当今数字化时代&#xff0c;数据采集和网络爬取已成为许多企业和个人必不可少的业务活动。对于爬取搜索引擎数据&#xff0c;特别是Google&#xff0c;使用代理IP是常见的手段。然而&#xff0c;使用代理抓取Google并不是一件轻松的事情&#xff0c;有许多常见的误区可能会导…

【FFmpeg】Filter 过滤器 ① ( FFmpeg 过滤器简介 | 过滤器概念 | 过滤器用法 | 过滤器工作流程 | 过滤器文档 | 过滤器分类 )

文章目录 一、FFmpeg 过滤器 Filter 简介1、FFmpeg 过滤器概念2、FFmpeg 过滤器用法3、FFmpeg 过滤器工作流程4、FFmpeg 过滤器文档 二、FFmpeg 过滤器 分类1、过滤器分类 - 根据处理数据类型分类2、过滤器分类 - 根据编码器位置分类3、过滤器分类 - 根据功能分类 FFmpeg 相关文…