大数据命令的方式

现在有三个命令的方式

在hadoop中创建文件夹的方式

hadoop fs -mkdir /tiamtian

我们将本地文件上传到hadoop中的方式

hadoop fs -put test.out /tiamtian

查看我们上传的文件信息

hadoop fs -ls /

启动一个计算圆周率的jar包方式

cd /export/server/hadoop-3.3.0/share/hadoop/mapreduce

这个是启动hadoop jar包的方式，但是我不知道的付出
pi 2 4 是什么的方式，又没有大哥说一下

hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 2 4

什么是文件系统

文件系统是之前的文件存储需要知道具体的文件路径，知道需在的盘符在哪里，现在文件系统，相当于文件存储在文件夹中，只需要知道=具体文档路径和名称就可以找到文件

数据

数据是存储的本身

元数据

是数据修改时间，数据修改内容

传统的存储方式

传统的存储方式是存储是存储，计算是计算，需要把数据移动过来才可以完成计算的方式，io差，性能低的问题

分布式存储方式

支持横向扩展，支持纵向扩展的方式

元数据记录文件位置信息

文件存储在不同的机器上不方便寻找，我们通过元数据记录文件袋位置，可以迅速找到文件

副本机制的方式

防止数据丢失的问题

hafs 存储方式

解决分布式存储问题，横跨多台计算器
高度容错的方式
提供统一接口的访问方式
移动计算比移动数据成本低
hdfs是一个主从架构的方式，name 是一个主节点，datanode是一个从节点，俩个相互协调的方式完成数据存储方式

shell 操作大数据的方式

创建目录

hadoop fs -mkdir   /test

查看文件目录下的方式

hadoop fs -ls   /

有俩个参数的方式
-h 显示文件size
-R 显示文件目录和子目录
/ 是目录文件可以更换

hadoop fs -ls   -h /

上传文件的方式

hadoop fs -put 2.txt /test

有俩个参数

• f 覆盖原来的文件
• p 保存目录文件

hadoop fs -put -f 2.txt /test