使用Hadoop所需要的一些Linux基础

Linux 概念

Linux 是一个类Unix操作系统,是 Unix 的一种,它
控制整个系统基本服务的核心程序 (kernel) 是由
Linus 带头开发出来的,「Linux」这个名称便是以
「Linus’s unix」来命名的。

  • Linux泛指一类操作系统,具体的版本有: Ubuntu、CentOS、Debian、Red Hat、OpenSUSE、UOS(统信)、Deepin(深度)、优麒麟(Ubuntu Kylin)等。
  • Linux是一个多用户、多任务的操作系统。
  • Linux支持带卓面(GNOME)的鼠标操作方式(GUI),也支持不带卓面的命令行操作方式(CMD)。

系统目录结构

/etc 配置文件和子目录, /etc/hosts,主机名与IP地址的映射文件
/bin 存放常用命令 /root 管理员用户主目录
/tmp 临时文件目录 /var 包含日志文件
/usr 用户应用程序和文件目录,类似Program files目录

image.png

用户目录结构(/home)

用户zach主目录/home/zach 用户his主目录/home/his
用户在自己的主目录有权限修改、创建文件及文件夹操作

image.png

环境与用户

  • root用户
    管理员用户,其目录在根一级(/root)
    管理员用户有权限修改根目录级别的文件!
  • 普通用户 who 或 w 查看
    /home/$username, 每个用户的主目录,
    “~”
    ~/.bash_profile 用户环境文件(.表示隐藏)
  • 环境变量
    /etc/profile 系统级;例如在最后一行,添加java路径;

/etc/sysconfig/network 主机名在此文件设置

修改系统根目录下的文件需要管理员权限,对于普通用户
可通过sudo命令来修改文件: sudo vim /etc/profil

目录操作

  • mkdir、rmr 创建/删除文件夹
  • touch、rm 创建/删除文件
  • pwd(显示当前目录)
  • cd 改变目
pwd ,查看当前路径
cdcd ~ 进入用户主目录,
~表示用户主目录
mkdir mydir 在当前目录下创建子目录mydir
rmr -R mydata 删除目录(R表示递归删除其下子目录)
rm filename 删除文件
touch filename 创建一个文件(内容为空)

显示与查找

  • ls 列出目录
  • ll 列出目录详细信息
  • find 查找
  • cp 复制 , mv 移动或改名
ls -al 显示当前目录(a表示所有,即包含隐藏文件)
ls –R | grep hadoop,在当前路径递归查找hadoop文件
名,
”|”表示管道,grep 文本搜索
find . –name ‘*hadoo

压缩与解压

  • tar -xzvf 待解压文件名 –C 目标路径
  • tar -czvf 目标压缩文件名 文件或目
1.将当前目录下所有.txt文件打包并压缩归档到文件this.tar.gz
tar czvf this.tar.gz ./*.txt
2.将当前目录下的this.tar.gz中的文件解压到当前目录
tar xzvf this.tar.g

查看文件内容

  • cat 由第一行开始显示文件内容
  • tac 从最后一行开始显示, tac 是 cat 的倒著写!
  • nl 显示的时候,输出行号!
  • more 一页一页的显示文件内容
  • less 与 more 类似,可以往前翻页!
  • head 只看头几行
  • tail 只看末尾几行

vi 或者 vim 编辑(命令行界面)

image.png

注意:
一、编辑文件时注意区别linux和win的换行符:

  • 1.windows中的换行符是\r\n,
  • 2.linux/unix下的换行符是\n

二、文件格式互转命令

  • 1.unix2dos:将具有unix风格的格式文件转化为具有window下的格式文件。
  • 2.dos2unix:将具有windows风格的格式文件转化为unix下的格式文件

其他命令

  • 服务管理 systemctl命令(Centos 7)
    systemctl start/stop/restart/enable/disable/status XX.servic
systemctl status firewalld.service 查看防火墙状态
systemctl enable docker 设置开机启动docker服务
  • 显示本机IP地址
    ip a 、 ifconfig
  • 进程相关
    jps 显示运行java进程

kill 进程ID //强制关闭进程

ps 查看所有运行进程

  • 安装软件包或工具(root用户操作)
    centos使用yum的方式,Ubuntu使用apt-get 方式
yum -y install lrzsz 安装文件上传下载工具lrzsz,其中rz上传(从windows->linux),sz相反
yum -y install vim 安装vim命
  • 用户、用户组 useradd,groupadd
    useradd demo 增加用户
    groupadd gdemo 增加用户组

  • chown改变(文件或文件夹)所有者

  • chmod命令:
    一、语法:chmod [对谁操作] [操作符] [赋予的权限] 文件名

二、操作对象:

u 用户user,表现文件或目录的所有者

g 用户组group,表现文件或目录所属的用户组

o 其他用户other

a 所有用户all

三、操作符:+ 添加权限 ,- 减少权限 ,=直接给定一个权限

四、权限:1、r(4) 2、w(2) 3、x(1)

例如:

chmod u+x ex1.py 设定为只有该文件拥有者可以执行
chmod 755 文件或文件夹名字
chmod a=rwx 1.txt 等同于 chmod 777 1.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/390744.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python多项式回归_Python从头开始的多项式回归

python多项式回归Polynomial regression in an improved version of linear regression. If you know linear regression, it will be simple for you. If not, I will explain the formulas here in this article. There are other advanced and more efficient machine learn…

《Linux命令行与shell脚本编程大全 第3版》Linux命令行---4

以下为阅读《Linux命令行与shell脚本编程大全 第3版》的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下: 《Linux命令行与shell脚本编程大全 第3版》Linux命令行--- Linux命令行与she…

彻底搞懂 JS 中 this 机制

彻底搞懂 JS 中 this 机制 摘要:本文属于原创,欢迎转载,转载请保留出处:https://github.com/jasonGeng88/blog 目录 this 是什么this 的四种绑定规则绑定规则的优先级绑定例外扩展:箭头函数this 是什么 理解this之前&a…

⚡如何在2分钟内将GraphQL服务器添加到RESTful Express.js API

You can get a lot done in 2 minutes, like microwaving popcorn, sending a text message, eating a cupcake, and hooking up a GraphQL server.您可以在2分钟内完成很多工作,例如微波炉爆米花,发送短信, 吃蛋糕以及连接GraphQL服务器 。 …

leetcode 1744. 你能在你最喜欢的那天吃到你最喜欢的糖果吗?

给你一个下标从 0 开始的正整数数组 candiesCount ,其中 candiesCount[i] 表示你拥有的第 i 类糖果的数目。同时给你一个二维数组 queries ,其中 queries[i] [favoriteTypei, favoriteDayi, dailyCapi] 。 你按照如下规则进行一场游戏: 你…

回归分析_回归

回归分析Machine learning algorithms are not your regular algorithms that we may be used to because they are often described by a combination of some complex statistics and mathematics. Since it is very important to understand the background of any algorith…

ruby nil_Ruby中的数据类型-True,False和Nil用示例解释

ruby niltrue, false, and nil are special built-in data types in Ruby. Each of these keywords evaluates to an object that is the sole instance of its respective class.true , false和nil是Ruby中的特殊内置数据类型。 这些关键字中的每一个都求值为一个对…

浅尝flutter中的动画(淡入淡出)

在移动端开发中,经常会有一些动画交互,比如淡入淡出,效果如图: 因为官方封装好了AnimatedOpacity Widget,开箱即用,所以我们用起来很方便,代码量很少,做少量配置即可,所以&#xff0…

数据科学还是计算机科学_何时不使用数据科学

数据科学还是计算机科学意见 (Opinion) 目录 (Table of Contents) Introduction 介绍 Examples 例子 When You Should Use Data Science 什么时候应该使用数据科学 Summary 摘要 介绍 (Introduction) Both Data Science and Machine Learning are useful fields that apply sev…

空间复杂度 用什么符号表示_什么是大O符号解释:时空复杂性

空间复杂度 用什么符号表示Do you really understand Big O? If so, then this will refresh your understanding before an interview. If not, don’t worry — come and join us for some endeavors in computer science.您真的了解Big O吗? 如果是这样&#xf…

leetcode 523. 连续的子数组和

给你一个整数数组 nums 和一个整数 k ,编写一个函数来判断该数组是否含有同时满足下述条件的连续子数组: 子数组大小 至少为 2 ,且 子数组元素总和为 k 的倍数。 如果存在,返回 true ;否则,返回 false 。 …

Docker学习笔记 - Docker Compose

一、概念 Docker Compose 用于定义运行使用多个容器的应用,可以一条命令启动应用(多个容器)。 使用Docker Compose 的步骤: 定义容器 Dockerfile定义应用的各个服务 docker-compose.yml启动应用 docker-compose up二、安装 Note t…

创建shell脚本

1.写一个脚本 a) 用touch命令创建一个文件:touch my_script b) 用vim编辑器打开my_script文件:vi my_script c) 用vim编辑器编辑my_script文件,内容如下: #!/bin/bash 告诉shell使用什么程序解释脚本 #My first script l…

线性回归算法数学原理_线性回归算法-非数学家的高级数学

线性回归算法数学原理内部AI (Inside AI) Linear regression is one of the most popular algorithms used in different fields well before the advent of computers. Today with the powerful computers, we can solve multi-dimensional linear regression which was not p…

您应该在2020年首先学习哪种编程语言? ɐʌɐɾdıɹɔsɐʌɐɾ:ɹǝʍsuɐ

Most people’s journey toward learning to program starts with a single late-night Google search.大多数人学习编程的旅程都是从一个深夜Google搜索开始的。 Usually it’s something like “Learn ______”通常它类似于“学习______” But how do they decide which la…

Linux 概述

UNIX发展历程 第一个版本是1969年由Ken Thompson(UNIX之父)在AT& T贝尔实验室实现Ken Thompson和Dennis Ritchie(C语言之父)使用C语言对整个系统进行了再加工和编写UNIX的源代码属于SCO公司(AT&T ->Novell …

课程一(Neural Networks and Deep Learning),第四周(Deep Neural Networks)—— 0.学习目标...

Understand the key computations underlying deep learning, use them to build and train deep neural networks, and apply it to computer vision. 学习目标 See deep neural networks as successive blocks put one after each otherBuild and train a deep L-layer Neura…

使用ActionTrail Python SDK

ActionTrail提供官方的Python SDK。本文将简单介绍一下如何使用ActionTrail的Python SDK。 安装Aliyun Core SDK。 pip install aliyun-python-sdk-core 安装ActionTrail Python SDK。 pip install aliyun-python-sdk-actiontrail 下面是测试的代码。调用LookupEventsRequest获…

泰坦尼克:机器从灾难中学习_用于灾难响应的机器学习研究:什么才是好的论文?...

泰坦尼克:机器从灾难中学习For the first time in 2021, a major Machine Learning conference will have a track devoted to disaster response. The 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021) has a track on…

github持续集成的设置_如何使用GitHub Actions和Puppeteer建立持续集成管道

github持续集成的设置Lately Ive added continuous integration to my blog using Puppeteer for end to end testing. My main goal was to allow automatic dependency updates using Dependabot. In this guide Ill show you how to create such a pipeline yourself. 最近&…