大数据实验一,Hadoop安装及使用

目录

一.实验内容

二.实验目的

三.实验过程截图及说明

1、安装SSH,并配置SSH无密码登录

2、配置java环境

3.Hadoop的安装与配置

4、修改四个配置文件:

5、格式化HDFS的NameNode:

6、启动Hadoop

7、在浏览器输入 http://localhost:9870 查看WEB页面【注意,有些人是50070端口,即  http://localhost:50070】:

8、完整报告获取地址在开头,挂载资源里。也可联系q:3226627884 获取


一.实验内容

Hadoop安装使用:

1)在PC机上以伪分布式模式安装Hadoop;

2)访问Web界面查看Hadoop信息。

二.实验目的

1、熟悉Hadoop的安装流程。

2、熟悉Hadoop访问Web界等基本操作。

三.实验过程截图及说明

1、安装SSH,并配置SSH无密码登录

(1)

(2)切换目录:

(3)生成SSH公钥和私钥。-t参数告诉ssh-keygen生成的是RSA类型的密钥,rsa是RSA的一种实现方式,常用于SSH的公钥认证。

(4)将你的公钥文件内容添加到 authorized_keys文件的末尾,这样只有你拥有的公钥能够被识别,从而实现SSH的免密码登录:

(5)可以看到,没有输入密码也直接登录了,免密配置成功:

2、配置java环境

(1)切换目录:

(2)创建一个文件夹:

(3)在官网上下载好jdk的压缩包后,进行解压,解压到刚才创建的文件夹:

(4)在bashrc文件里开头处加上如下配置:

(5)使用source命令使配置立即生效,再查看java版本,出现了版本号,java配置成功:

3.Hadoop的安装与配置

(1)在官网下载好Hadoop的压缩包,进行解压,解压到/usr/local文件夹下:

(2)查看Hadoop的版本,安装成功:

4、修改四个配置文件:

使用vim来编辑文件内容:

sudo vim ./etc/hadoop/core-site.xml:

sudo vim ./etc/hadoop/hdfs-site.xml :

sudo vim ./etc/hadoop/mapred-site.xml:

sudo vim ./etc/hadoop/yarn -site.xml:

5、格式化HDFS的NameNode:

出现Storeage directory ...可以看到namenode的格式化已经完成:

6、启动Hadoop

执行jps可以看到,列出了“NameNode”,“DataNode”,“SecondaryNameNode”进程,说明Hadoop已经成功启动:

7、在浏览器输入 http://localhost:9870 查看WEB页面【注意,有些人是50070端口,即  http://localhost:50070】:

8、完整报告获取地址在开头,挂载资源里。也可联系q:3226627884 获取

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/788366.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何使用极狐GitLab 启用自动备份功能

本文作者:徐晓伟 GitLab 是一个全球知名的一体化 DevOps 平台,很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版,专门为中国程序员服务。可以一键式部署极狐GitLab。 本文主要讲述了如何极狐GitLab 自…

探索Flutter混淆在提高应用安全性方面的作用

在移动应用开发中,保护应用代码安全至关重要。Flutter 提供了简单易用的混淆工具,帮助开发者在构建 release 版本应用时有效保护代码。本文将介绍如何在 Flutter 应用中使用混淆,并提供了相关的操作步骤和注意事项。 📝 摘要 本…

四、Mybatis-查询与删除

文章目录 1.查询单条数据2.查询多条记录3.模糊查询4.批量删除 1.查询单条数据 <!-- User getUserById();--><select id"getUserById" resultType"com.mybatis.Bean.User">select * from user where id 3;</select>返回对象可以是 …

kuboard项目前端展示

前端展示 https://www.wu123.com/v/#/k8s-manage/k8s-manage https://www.wu123.com/v/#/k8s-manage/k8s-install 部署kuboard 部署脚本 !/bin/bash #使用方法&#xff1a;sh create.ssh env_name port 例如sh create.sh sandbox 31080&#xff1b; #端口可以依次往后推&am…

普通Java工程可执行JAR两种打包方式探讨

文章目录 一、需求概述二、代码结构三、运行结果四、打包设置1. 一体化可执行包2. 带外部依赖lib的可执行包 五、打包运行1. 源码放送2. 打包执行3. 打包结果 一、需求概述 普通Java工程 docker-show 实现了定时打印docker应用信息&#xff0c;现在需要将其打包成可执行Jar部署…

Nginx三大常用功能“反向代理,负载均衡,动静分离”

注意&#xff1a;以下案例在Windows系统计算机作为宿主机&#xff0c;Linux CentOS 作为虚拟机的环境中实现 一&#xff0c;Nginx配置实例-反向代理 1.反向代理 案例一 实现效果&#xff1a;使用nginx反向代理&#xff0c;访问 www.123.com 直接跳转到127.0.0.1:8080 准备工…

视频基础学习四——视频编码基础一(冗余信息)

文章目录 前言一、编码压缩的原理1.空间冗余帧内预测 2.时间冗余帧间预测运动估计运动补偿 3.编码冗余4.视觉冗余 二、压缩编码的流程1.编码器2.编解码流程 总结 前言 上一篇文章介绍了视频帧率、码率、与分辨率。也介绍了为什么需要对视频进行压缩&#xff0c;因为720P、rgb2…

计算机网络-HTTP相关知识-RSA和ECDHE及优化

HTTPS建立基本流程 客户端向服务器索要并验证服务器的公钥。通过密钥交换算法&#xff08;如RSA或ECDHE&#xff09;协商会话秘钥&#xff0c;这个过程被称为“握手”。双方采用会话秘钥进行加密通信。 RSA流程 RSA流程包括四次握手&#xff1a; 第一次握手&#xff1a;客户…

Flask学习(七):pymysql链接数据库

1、pymysql链接数据库相关参数&#xff1a; conn pymysql.connect(host127.0.0.1, port3306, userroot, passwordroot, dbsmbms) def __init__(self,*,userNone, password"", hostNone, databaseNone, unix_socketNone,port0,charset"",collationNone,sq…

分布式锁的几种实现方式

详解 Redis 分布式锁的 5 种方案-腾讯云开发者社区-腾讯云 面试官&#xff1a;了解分布式锁&#xff1f;说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客面试官&#xff1a;了解分布式锁&#xff1f;说说ZooKeeper分布式锁的实现原理_为什么说zoo…

OpenCV项目实战-深度学习去阴影-图像去阴影

往期热门博客项目回顾&#xff1a; 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾目标检测测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 //正文开始&#xff01; 图…

不可变集合、Stream流、方法引用

一、不可变集合 是一个长度不可变&#xff0c;内容也无法修改的集合 定义完成后不可以修改&#xff0c;或者添加、删除 不可变集合分类 不可变的list集合 不可变的set集合 不可变的map集合 如何创建不可变集合? List、Set、Map接口中&#xff0c;都存在of方法可…

k8s的ClusterIP和NodePort类型有何不同

Kubernetes&#xff08;K8s&#xff09;是一个开源的容器编排平台&#xff0c;用于自动部署、扩展和管理容器化应用程序。在Kubernetes中&#xff0c;服务&#xff08;Service&#xff09;是一个抽象层&#xff0c;它定义了一种访问Pods&#xff08;运行中的容器&#xff09;的…

备战蓝桥杯---贪心刷题1

话不多说&#xff0c;直接看题&#xff1a; 本质是一个数学题&#xff1a; 我们令xi<0表示反方向传递&#xff0c;易得我们就是求每一个xi的绝对值之和min,我们令平均值为a爸。 易得约束条件&#xff1a; x1-x2a1-a,x2-x3a2-a..... 解得x1x1-0,x2x1-((n-1)*a-a2-...an)。…

LLM - 大语言模型 基于人类反馈的强化学习(RLHF)

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/137269049 基于人类反馈的强化学习(RLHF,Reinforcement Learning from Human Feedback),结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包…

pair作为unordered_map的key报错

问题 pair作为unordered_map的key报错&#xff0c;编译时会报错 原因 因为pair没有哈希函数 解决方法 定义哈希函数 template <typename T> inline void hash_combine(std::size_t &seed, const T &val) {seed ^ std::hash<T>()(val) 0x9e3779b9 (…

Jamba: A Hybrid Transformer-Mamba Language Model

Jamba: A Hybrid Transformer-Mamba Language Model 相关链接&#xff1a;arXiv 关键字&#xff1a;hybrid architecture、Transformer、Mamba、mixture-of-experts (MoE)、language model 摘要 我们介绍了Jamba&#xff0c;一种新的基于新颖混合Transformer-Mamba混合专家&am…

xilinx fpga程序固化

一、前言 xilinx 旗下的产品主要有包含有处理器的SOC系列&#xff0c;也有只有纯逻辑的fpga&#xff0c;两者的程序固化的方法并不相同&#xff0c;本文介绍只包含纯逻辑而不涉及处理器的fpga的代码固化。 二、固化流程 将工程综合&#xff0c;实现&#xff0c;并得到比特流…

MYSQL-7.内存

内存 Mysql的内存结构 大体可分为四个板块&#xff1a;mysql工作组件、线程本地内存、mysql共享内存、存储引擎缓冲区&#xff1b; Mysql server工作组件 对应着mysql架构图中的组件层&#xff1a; Mysql在启动时&#xff0c;会将这些工作组件初始化到内存中&#xff1b; …

MSSQL有关数据库、表的循环操作可使用的存储过程 sp_MSforeachdb 及 sp_MSforeachtable

MSSQL有关数据库、表的循环操作可使用的存储过程: 1. sp_MSforeachdb command1print ?, command2DBCC CHECKDB(?) --检查所有的数据库 2. sp_MSforeachtable command1print ?, command2sp_spaceused ? --统计各个表的空间使用情况 ​ 【说明】sys.​sp_MSforeachdb 和 …