使用Hadoop所需要的一些Linux基础

Linux 概念

Linux 是一个类Unix操作系统,是 Unix 的一种,它
控制整个系统基本服务的核心程序 (kernel) 是由
Linus 带头开发出来的,「Linux」这个名称便是以
「Linus’s unix」来命名的。

  • Linux泛指一类操作系统,具体的版本有: Ubuntu、CentOS、Debian、Red Hat、OpenSUSE、UOS(统信)、Deepin(深度)、优麒麟(Ubuntu Kylin)等。
  • Linux是一个多用户、多任务的操作系统。
  • Linux支持带卓面(GNOME)的鼠标操作方式(GUI),也支持不带卓面的命令行操作方式(CMD)。

系统目录结构

/etc 配置文件和子目录, /etc/hosts,主机名与IP地址的映射文件
/bin 存放常用命令 /root 管理员用户主目录
/tmp 临时文件目录 /var 包含日志文件
/usr 用户应用程序和文件目录,类似Program files目录

image.png

用户目录结构(/home)

用户zach主目录/home/zach 用户his主目录/home/his
用户在自己的主目录有权限修改、创建文件及文件夹操作

image.png

环境与用户

  • root用户
    管理员用户,其目录在根一级(/root)
    管理员用户有权限修改根目录级别的文件!
  • 普通用户 who 或 w 查看
    /home/$username, 每个用户的主目录,
    “~”
    ~/.bash_profile 用户环境文件(.表示隐藏)
  • 环境变量
    /etc/profile 系统级;例如在最后一行,添加java路径;

/etc/sysconfig/network 主机名在此文件设置

修改系统根目录下的文件需要管理员权限,对于普通用户
可通过sudo命令来修改文件: sudo vim /etc/profil

目录操作

  • mkdir、rmr 创建/删除文件夹
  • touch、rm 创建/删除文件
  • pwd(显示当前目录)
  • cd 改变目
pwd ,查看当前路径
cdcd ~ 进入用户主目录,
~表示用户主目录
mkdir mydir 在当前目录下创建子目录mydir
rmr -R mydata 删除目录(R表示递归删除其下子目录)
rm filename 删除文件
touch filename 创建一个文件(内容为空)

显示与查找

  • ls 列出目录
  • ll 列出目录详细信息
  • find 查找
  • cp 复制 , mv 移动或改名
ls -al 显示当前目录(a表示所有,即包含隐藏文件)
ls –R | grep hadoop,在当前路径递归查找hadoop文件
名,
”|”表示管道,grep 文本搜索
find . –name ‘*hadoo

压缩与解压

  • tar -xzvf 待解压文件名 –C 目标路径
  • tar -czvf 目标压缩文件名 文件或目
1.将当前目录下所有.txt文件打包并压缩归档到文件this.tar.gz
tar czvf this.tar.gz ./*.txt
2.将当前目录下的this.tar.gz中的文件解压到当前目录
tar xzvf this.tar.g

查看文件内容

  • cat 由第一行开始显示文件内容
  • tac 从最后一行开始显示, tac 是 cat 的倒著写!
  • nl 显示的时候,输出行号!
  • more 一页一页的显示文件内容
  • less 与 more 类似,可以往前翻页!
  • head 只看头几行
  • tail 只看末尾几行

vi 或者 vim 编辑(命令行界面)

image.png

注意:
一、编辑文件时注意区别linux和win的换行符:

  • 1.windows中的换行符是\r\n,
  • 2.linux/unix下的换行符是\n

二、文件格式互转命令

  • 1.unix2dos:将具有unix风格的格式文件转化为具有window下的格式文件。
  • 2.dos2unix:将具有windows风格的格式文件转化为unix下的格式文件

其他命令

  • 服务管理 systemctl命令(Centos 7)
    systemctl start/stop/restart/enable/disable/status XX.servic
systemctl status firewalld.service 查看防火墙状态
systemctl enable docker 设置开机启动docker服务
  • 显示本机IP地址
    ip a 、 ifconfig
  • 进程相关
    jps 显示运行java进程

kill 进程ID //强制关闭进程

ps 查看所有运行进程

  • 安装软件包或工具(root用户操作)
    centos使用yum的方式,Ubuntu使用apt-get 方式
yum -y install lrzsz 安装文件上传下载工具lrzsz,其中rz上传(从windows->linux),sz相反
yum -y install vim 安装vim命
  • 用户、用户组 useradd,groupadd
    useradd demo 增加用户
    groupadd gdemo 增加用户组

  • chown改变(文件或文件夹)所有者

  • chmod命令:
    一、语法:chmod [对谁操作] [操作符] [赋予的权限] 文件名

二、操作对象:

u 用户user,表现文件或目录的所有者

g 用户组group,表现文件或目录所属的用户组

o 其他用户other

a 所有用户all

三、操作符:+ 添加权限 ,- 减少权限 ,=直接给定一个权限

四、权限:1、r(4) 2、w(2) 3、x(1)

例如:

chmod u+x ex1.py 设定为只有该文件拥有者可以执行
chmod 755 文件或文件夹名字
chmod a=rwx 1.txt 等同于 chmod 777 1.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/390744.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python多项式回归_Python从头开始的多项式回归

python多项式回归Polynomial regression in an improved version of linear regression. If you know linear regression, it will be simple for you. If not, I will explain the formulas here in this article. There are other advanced and more efficient machine learn…

回归分析_回归

回归分析Machine learning algorithms are not your regular algorithms that we may be used to because they are often described by a combination of some complex statistics and mathematics. Since it is very important to understand the background of any algorith…

数据科学还是计算机科学_何时不使用数据科学

数据科学还是计算机科学意见 (Opinion) 目录 (Table of Contents) Introduction 介绍 Examples 例子 When You Should Use Data Science 什么时候应该使用数据科学 Summary 摘要 介绍 (Introduction) Both Data Science and Machine Learning are useful fields that apply sev…

leetcode 523. 连续的子数组和

给你一个整数数组 nums 和一个整数 k ,编写一个函数来判断该数组是否含有同时满足下述条件的连续子数组: 子数组大小 至少为 2 ,且 子数组元素总和为 k 的倍数。 如果存在,返回 true ;否则,返回 false 。 …

Docker学习笔记 - Docker Compose

一、概念 Docker Compose 用于定义运行使用多个容器的应用,可以一条命令启动应用(多个容器)。 使用Docker Compose 的步骤: 定义容器 Dockerfile定义应用的各个服务 docker-compose.yml启动应用 docker-compose up二、安装 Note t…

线性回归算法数学原理_线性回归算法-非数学家的高级数学

线性回归算法数学原理内部AI (Inside AI) Linear regression is one of the most popular algorithms used in different fields well before the advent of computers. Today with the powerful computers, we can solve multi-dimensional linear regression which was not p…

Linux 概述

UNIX发展历程 第一个版本是1969年由Ken Thompson(UNIX之父)在AT& T贝尔实验室实现Ken Thompson和Dennis Ritchie(C语言之父)使用C语言对整个系统进行了再加工和编写UNIX的源代码属于SCO公司(AT&T ->Novell …

泰坦尼克:机器从灾难中学习_用于灾难响应的机器学习研究:什么才是好的论文?...

泰坦尼克:机器从灾难中学习For the first time in 2021, a major Machine Learning conference will have a track devoted to disaster response. The 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021) has a track on…

github持续集成的设置_如何使用GitHub Actions和Puppeteer建立持续集成管道

github持续集成的设置Lately Ive added continuous integration to my blog using Puppeteer for end to end testing. My main goal was to allow automatic dependency updates using Dependabot. In this guide Ill show you how to create such a pipeline yourself. 最近&…

shell与常用命令

虚拟控制台 一台计算机的输入输出设备就是一个物理的控制台 ; 如果在一台计算机上用软件的方法实现了多个互不干扰独立工作的控制台界面,就是实现了多个虚拟控制台; Linux终端的工作方式是字符命令行方式,用户通过键盘输入命令进…

Linux文本编辑器

Linux文本编辑器 Linux系统下有很多文本编辑器。 按编辑区域: 行编辑器 ed 全屏编辑器 vi 按运行环境: 命令行控制台编辑器 vi X Window图形界面编辑器 gedit ed 它是一个很古老的行编辑器,vi这些编辑器都是ed演化而来。 每次只能对一…

Alpha第十天

Alpha第十天 听说 031502543 周龙荣(队长) 031502615 李家鹏 031502632 伍晨薇 031502637 张柽 031502639 郑秦 1.前言 任务分配是VV、ZQ、ZC负责前端开发,由JP和LL负责建库和服务器。界面开发的教辅材料是《第一行代码》,利用And…

Streamlit —使用数据应用程序更好地测试模型

介绍 (Introduction) We use all kinds of techniques from creating a very reliable validation set to using k-fold cross-validation or coming up with all sorts of fancy metrics to determine how good our model performs. However, nothing beats looking at the ra…

X Window系统

X Window系统 一种以位图方式显示的软件窗口系统。诞生于1984,比Microsoft Windows要早。是一套独立于内核的软件 Linux上的X Window系统 X Window系统由三个基本元素组成:X Server、X Client和二者通信的通道。 X Server:是控制输出及输入…

lasso回归和岭回归_如何计划新产品和服务机会的回归

lasso回归和岭回归Marketers sometimes have to be creative to offer customers something new without the luxury of that new item being a brand-new product or built-from-scratch service. In fact, incrementally introducing features is familiar to marketers of c…

Linux 设备管理和进程管理

设备管理 Linux系统中设备是用文件来表示的,每种设备都被抽象为设备文件的形式,这样,就给应用程序一个一致的文件界面,方便应用程序和操作系统之间的通信。 设备文件集中放置在/dev目录下,一般有几千个,不…

贝叶斯 定理_贝叶斯定理实际上是一个直观的分数

贝叶斯 定理Bayes’ Theorem is one of the most known to the field of probability, and it is used often as a baseline model in machine learning. It is, however, too often memorized and chanted by people who don’t really know what P(B|E) P(E|B) * P(B) / P(E…

文本数据可视化_如何使用TextHero快速预处理和可视化文本数据

文本数据可视化自然语言处理 (Natural Language Processing) When we are working on any NLP project or competition, we spend most of our time on preprocessing the text such as removing digits, punctuations, stopwords, whitespaces, etc and sometimes visualizati…

linux shell 编程

shell的作用 shell是用户和系统内核之间的接口程序shell是命令解释器 shell程序 Shell程序的特点及用途: shell程序可以认为是将shell命令按照控制结构组织到一个文本文件中,批量的交给shell去执行 不同的shell解释器使用不同的shell命令语法 shell…

真实感人故事_您的数据可以告诉您真实故事吗?

真实感人故事Many are passionate about Data Analytics. Many love matplotlib and Seaborn. Many enjoy designing and working on Classifiers. We are quick to grab a data set and launch Jupyter Notebook, import pandas and NumPy and get to work. But wait a minute…