大数据成长之路:谈谈那些必须学习的Linux基础知识

作者| Roy瑞士

责编| Carol

封图| CSDN│下载于视觉中国

这里主要介绍学习大数据过程中用到的Linux基础知识,现在主攻的方向是大数据开发,欢迎大家共同交流。

环境

推荐安装VMware虚拟机并安装CentOS操作系统,具体资源的下载和安装可以查到,如果踩到坑可以留言讨论。

通过远程连接工具可以直接操作虚拟机中的Linux系统,比如Xshell、SecureCRT等,熟悉Linux指令后推荐使用。


注:这里需要将虚拟机网络设置为NAT模式:[编辑——>虚拟网络编辑器]

在主机电脑的[ 网络共享中心 ]可以查看到VMnet8网络适配器,其中IPv4地址与虚拟机网络在同一网段下即可。


最后在虚拟机中使用ifconfig命令查看IP地址,使用远程连接工具即可连接。

常见的Linux指令

  1. history显示历史命令,可使用!命令序号再次执行

  2. ctrl+a/e让光标移动到首尾部

  3. pwd查看当前目录

  4. ls列出当前目录文件

  • -l除文件名称外,亦将文件型态、权限、拥有者、文件大小等资讯详细列出

  • -r将文件以相反次序显示

  • -t将文件依建立时间之先后次序列出

  • -a显示所有文件及目录,开头为"."的视为隐藏档

    5.vim编辑器的使用

  • vim test编辑名为test的文档,如果不存在则创建

  • a/i进入插入模式开始编辑

  • ESC键返回到命令行模式

  • 在命令模式下:

  • :q/:q!不保存退出/强制退出

  • :wq保存并退出

  • :set nu显示行号 set nonu不显示行号

  • gg回到首行

  • G跳到尾行

  • dd删除光标所在行

  • yy复制光标所在行 p粘贴在下一行,4yy向下复制四行

  • wc即word count命令,可以查阅脚本的行数字节数等信息,可以使用wc --help查看具体命令

   6.文件管理命令:

  • cat test1 test2 > test3将文件拼接到另一个文件中

  • cat -n test3带行号打印显示

  • touch新建文件touch newFile 更改文件编辑时间为当前touch test3

  • chmod更改文件操作权限,可以使用ll命令查看当前目录下的个文件权限,依次是文件拥有者、群组、其他,权限级别分为w可写、r可读、x可执行,可分别用数字4 2 1代表,例如chmod 777 test3

  • chown更改文件拥有者,文件拥有者分为用户和组

  • 注:在root用户权限下才可执行上述两条命令 su root

  • find查找命令,find -name '*.txt'查找txt文件,通常可以配合管道命令查询

  • more类似cat,但一页一页展示,使用ctrl+f向下翻页

  • less类似more,但是可以向上翻页ctrl+b

  • head -n 5 test3查看test3文件的前5行,tail -n 5 test3查看后五行

  • mv重命名文件mv test1 test4 移动文件或目录mv test4 /opt即剪切功能

  • cp复制文件或目录,参数-r表示递归复制

  • mkdir创建目录 mkdir -p a/b/c递归创建目录a/b/c

  • tar解压缩文件

  • -f<备份文件>或–file=<备份文件> 指定备份文件

  • -v或–verbose 显示指令执行过程

  • -x或–extract或–get 从备份文件中还原文件

  • -z或–gzip或–ungzip 通过gzip指令处理备份文件

  • -C<目的目录>或–directory=<目的目录> 切换到指定的目录

  • 一般我们使用tar -zxvf XXXX -C /usr/即可

   7.磁盘管理:

  1. df -h磁盘使用情况

  2. mount挂载Linux系统外的文件 ,umount卸除文件系统,一般系统外文件挂载在/mnt下

   8.用户管理

  • useradd建立用户账号

  • -m自动建立用户的登录目录

  • -g指定用户所属的群组

  • -d指定用户登入时的家目录

  • -u 600 在0——499之间表示系统用户,500——232之间表示普通用户

  • passwd更改使用者的密码

  • kill杀死执行中的程序或工作,使用kill -l查看所有进程,kill -9 pid强制杀死此pid的进程

   9.ssh操作

为后面的集群搭建做准备,需要掌握虚拟机之间通过ssh登录的方法,准备两台虚拟机操作系统。

  • 使用ifconfig命令查看IP地址

  • 使用ping命令查看是否连通

  • 使用ssh root@IP登录,root为登录时的用户名,由于没有使用免密操作需要输入密码,可以使用exit退出

免密操作

  • 打开ssh功能 systemctl start sshd.service,一般默认是打开的

  • 启动root用户su root

  • 使用命令ssh-keygen -t rsa,一路回车,会创建公钥和私钥文件

  • 将私钥文件拷给另一个虚拟机即可:ssh-copy-id -i ~/.ssh/id_rsa.pub 目标IP

  • 现在可以直接使用ssh 'IP'登录另一台虚拟机

注:由于我们刚才切换到root用户进行操作,所以免密登录对root用户有效,同理可切换到其他用户创建密钥链接。

   10.scp远程拷贝

scp命令用于Linux之间复制文件和目录。


使用scp -r 本地路径 目标路径即可,例如:scp -r test3 '192.168.154.11':/tmp,-r表示递归。

《原力计划【第二季】- 学习力挑战》正式开始!即日起至 3月21日,千万流量支持原创作者!更有专属【勋章】等你来挑战

推荐阅读:不看就亏系列!这里有完整的 Hadoop 集群搭建教程,和最易懂的 Hadoop 概念!| 附代码
时间复杂度的表示、分析、计算方法……一文带你看懂时间复杂度!
30万行数据,Python 分析科比二十年职业生涯 | 原力计划
谈论新型冠状病毒、比特币、苹果公司……沃伦•巴菲特受访中的 18 个金句,值得一看!
一张图对比阿里、腾讯复工的区别
Python数据清理终极指南(2020版)
真香,朕在看了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/518955.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据可用不可见!揭秘蚂蚁区块链摩斯安全计算平台

“数据安全”与“隐私泄漏”制约数字经济长期发展 在新的商业智能时代&#xff0c;已形成广泛的共识&#xff1a;数据是最基础的生产资料&#xff0c;各个行业与企业对于数据的利用也步入成熟期。可见的未来&#xff0c;数据利用的深度和广度将进一步升级&#xff0c;进入跨机…

如何与亦敌亦友的 null 说拜拜?大神原来是这么做的!

作者| 沉默王二责编| Carol封图| CSDN│下载于视觉中国从 10 年前我开始写第一行 Java 代码至今&#xff0c;一直觉得 null 在 Java 中是一个最特殊的存在&#xff0c;它既是好朋友&#xff0c;可以把不需要的变量置为 null 从而释放内存&#xff0c;提高性能&#xff1b;它又是…

K8s中Pod健康检查源代码分析

了解k8s中的Liveness和Readiness Liveness: 表明是否容器正在运行。如果liveness探测为fail&#xff0c;则kubelet会kill掉容器&#xff0c;并且会触发restart设置的策略。默认不设置的情况下&#xff0c;该状态为success. Readiness: 表明容器是否可以接受服务请求。如果re…

CSE:阿里在线应用如何演进成Serverless架构

Cloud Service Engine&#xff0c;简称CSE&#xff0c;是中间件部门研发的面向通用Serverless计算的中间件产品&#xff0c;目标是具备AWS Lambda的各种优势&#xff0c;同时可以解决AWS Lambda的关键技术缺陷。 AWS Lambda如果用于核心业务&#xff0c;可能会有以下缺陷&…

郫都区计算机学校,成都郫县好升学的计算机学校有哪些

【郫县好一、成都郫县希望1.成都郫县希望职业学校/招生代码&#xff1a;512632.成都郫县希望职业学校/学校简介&#xff1a;成都郫县希望职业学校学校是由郫都区教育局批准成立的&#xff0c;由希望集团投资创办的一所全日制、专业化的民办中等职业学校, 由郫都区教育局主管。学…

技术大佬:今年还学Python,傻了吧? 网友:就你敢说!

随着AI的兴起&#xff0c;Python彻底火了。据Stack Overflow调研报告&#xff1a;Python的月活用户已超越了Java、成为第一&#xff0c;全民Python已为“大势所趋”。那么&#xff0c;程序员有必要追捧Python吗&#xff1f;Python的真香是真香吗&#xff1f;技术大佬&#xff1…

基于Tablestore的Wifi设备监管系统架构实现

Wifi设备监管 某知名跨国公司&#xff0c;在全球范围内拥有大量园区&#xff0c;园区内会有不同部门的同事在一起办公。每个园区内都要配备大量的Wifi设备从而为园区同事提供方便的上网服务。因此&#xff0c;集团需要一套完善的监管系统维护所有的Wifi设备。 公司通过监管系…

聊聊安卓折叠屏给交互设计和开发带来的变化

很多年前&#xff0c;前端同学都觉得PC端的适配&#xff08;兼容处理&#xff09;难&#xff0c;都认为移动端的时代适配会容易得多&#xff0c;也无需考虑那么多的事情。事实并非如此&#xff0c;移动端的时代同样面临着各种适配的处理。特别是刘海机的出现&#xff0c;前端需…

你以为这样写代码很6,但我看不懂

来源 | 沉默王二责编| Carol封图| CSDN│下载于视觉中国为了提高 Java 编程的技艺&#xff0c;作者最近在 GitHub 上学习一些高手编写的代码。下面这一行代码&#xff08;出自大牛之手&#xff09;据说可以征服你的朋友&#xff0c;让他们觉得你写的代码很 6&#xff0c;来欣赏…

在闲鱼,我们如何用Dart做高效后端开发?

背景 像阿里其他技术团队以及业界的做法一样&#xff0c;闲鱼的大多数后端应用都是全部使用java来实现的。java易用、丰富的库、结构容易设计的特性决定了它是进行业务开发的最好语言之一。后端应用中数据的存储、访问、转换、输出虽然都属于后端的范畴&#xff0c;但是其中变…

解决 mysql>com.mysql.jdbc.PacketTooBigException: Packet for query is too large (12073681 > 4194304)

com.mysql.jdbc.PacketTooBigException: Packet for query is too large 异常解决办法&#xff1a; 原因&#xff1a; 查询出的数据包过大&#xff0c;默认情况下mysql 的字段容量不够装&#xff0c;所以抛出此异常 解决办法&#xff1a; 第一步&#xff1a;首先通过SQLyog客…

MySQL数据库无完整备份删库,除了跑路还能怎么办?

来源 | 阿丸笔记责编| Carol封图| CSDN│下载于视觉中国“删库跑路”这个词儿&#xff0c;经常被挂在嘴边当玩笑&#xff0c;是因为大家都知道&#xff0c;一旦真的发生这样的事情&#xff0c;企业损失是无比惨重的。本文作者为 CSDN 博客的一位博主&#xff0c; 从他的描述中得…

区块链和大数据一起能否开启数据完整性的新纪元?

作者 | Vijay Singh Khatri译者 | 天道酬勤 责编 | 徐威龙封图| CSDN 下载于视觉中国每当提到区块链一词时&#xff0c;许多人都会将其与比特币等加密货币联系起来。这项技术通过加快交易速度、提供隐私和透明以及其他更多功能&#xff0c;确实改变了虚拟货币的世界。但是&…

带出7个“师弟”,支付宝BASIC College的辅导员是个伪90后

“我的花名是改之&#xff0c;不是‘有则改之无则加勉’的改之&#xff0c;而是‘杨过&#xff0c;字改之’的那个改之。”一见面&#xff0c;他对自己花名的介绍&#xff0c;就让人耳目一新。至于为什么要用杨过的字给自己起名&#xff0c;他也毫不扭捏地坦诚相告&#xff1a;…

整理了Kafka的一些常用工具,建议收藏备用!| 博文精选

作者 | 犀牛饲养员责编 | 徐威龙封面付费下载于视觉中国本文主要列举一些 Kafka 的常用工具&#xff0c;以及举了一些例子来帮助理解。有需要的小伙伴&#xff0c;可以 Mark 起来再看。环境以下的操作都是基于kafka_2.11-2.2.0工具新建topicbin/kafka-topics.sh --create --zoo…

阿里的初感知

很荣幸能加入阿里这个大家庭&#xff0c;在这短短的一个月里&#xff0c;阿里的一些不同让我印象深刻。 owner精神 入职第一天&#xff0c;上午进行了合同签订和简单的入职培训&#xff0c;下午就领了电脑设备到了办公区。 在电梯里&#xff0c;恰巧遇到了面试过我的同学&…

两大图灵奖得主点赞中国用AI检测新冠,AI还能做什么?

作者 | CV君来源 | 我爱计算机视觉封图| CSDN│下载于视觉中国在这次新冠肺炎疫情肆虐的时候&#xff0c;AI 成为对抗疫情的亮点&#xff0c;前几天两大图灵奖得主 Yoshua Bengio 和 Yann LeCun 在对比中美两国面对疫情处理时&#xff0c;特别点赞了我国企业使用深度学习检测新…

首次披露!阿里线下智能方案进化史

阿里妹导读&#xff1a;AI 技术已经从互联网走向零售、汽车、银行等传统行业。受限于延时、成本、安全等多方面的限制&#xff0c;单一的云解决方案往往不能满足场景需求。线下智能方案逐步成为了智能化过程中重要的一环&#xff0c;今天&#xff0c;我们就一起来了解这一环&am…

同方服务器操作系统安装,同方云服务器安装使用手册

同方云服务器安装使用手册 内容精选换一换制作Docker镜像&#xff0c;有以下两种方法。快照方式制作镜像(偶尔制作的镜像)&#xff1a;在基础镜像上&#xff0c;比如Ubuntu&#xff0c;先登录镜像系统并安装Docker软件&#xff0c;然后整体制作快照&#xff0c;即可得到所需软件…

蚂蚁金服面对亿级并发场景的组件体系设计

5 月 6 日&#xff0c;InfoQ 主办的 QCon 2019 全球软件开发大会在北京举行。蚂蚁金服技术专家吕丹&#xff08;凝睇&#xff09;在大会上做了《蚂蚁金服面对亿级并发场景的组件体系设计》的分享&#xff0c;我们根据演讲整理如下&#xff1a; 今天&#xff0c;我主要想和大家…