hadoop3.0 非高可用安装

伪分布式集群，不依赖zookeeper的hadoop集群
只有namenode, 和datanode, 可以有两个namenode.
没有zookeeper, 没有zkfc, 没有journalnode.
只在学习的时候使用, 生存环境不适用 .

生产环境用的高可用集群见 https://blog.csdn.net/weijiqian/article/details/137157513

1 修改主机名链接

 vim /etc/hosts

 192.168.110.10  master192.168.110.11  slave1192.168.110.12  slave2

2关闭防火墙

关闭：

[root@master ~]# systemctl stop firewalld.service

禁止开机启动：

[root@master ~]# systemctl disable firewalld.service

查看状态：

[root@master ~]# firewall-cmd --state

3 配置免密登录

注意：master、slave1和slave2都要在root下进行操作

master：

● 第1步

[root@master ~]# ssh-keygen -t rsa

一直按回车直到该命令结束
分别在slave1和slave2上执行相同的操作

● 第2步
在master上，进入到/root/.ssh目录下

[root@master ~]# cd /root/.ssh

将 id_rsa.pub写入authorized_keys

[root@master .ssh]# cat id_rsa.pub >> authorized_keys

更改authorized_keys的权限

[root@master .ssh]# chmod 644 authorized_keys

● 第3步
将authorized_keys发送给slave1和slave2

[root@master .ssh]# scp authorized_keys slave1:/root/.ssh/

输入yes和slave1的密码即可

[root@master .ssh]# scp authorized_keys slave2:/root/.ssh/

slave1：

a.进入到/root/.ssh路径下

[root@slave1 ~]# cd /root/.ssh/

b.更改authorized_keys的权限

[root@slave1 .ssh]# chmod 644 authorized_keys

c.将 id_rsa.pub追加到authorized_keys

[root@slave1 .ssh]# cat id_rsa.pub >> authorized_keys

d.将authorized_keys发送给slave2

[root@slave1 .ssh]# scp authorized_keys slave2:/root/.ssh/

slave2：

a.进入到/root/.ssh路径下

[root@slave2 ~]# cd /root/.ssh/

b.更改authorized_keys的权限

[root@slave2 .ssh]# chmod 644 authorized_keys

c.将 id_rsa.pub追加到authorized_keys

[root@slave2 .ssh]# cat id_rsa.pub >> authorized_keys

d.将authorized_keys分别发送给master和slave1

[root@slave2 .ssh]# scp authorized_keys master:/root/.ssh
[root@slave2 .ssh]# scp authorized_keys slave1:/root/.ssh

验证

在master上：
登录

[root@master .ssh]# ssh slave1

4. jdk的安装

下载jdk， 并解压到目录 /usr/local/java
配置环境变量

 vim /etc/profile

JAVA_HOME=/usr/local/java/jdk1.8.0_45
JRE_HOME=/usr/local/java/jdk1.8.0_45/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME 
export JRE_HOME 
export CLASS_PATH 
export PATH

使环境变量生效

[root@master ~]# source /etc/profile
[root@master ~]# java -version

5. hadoop安装

解压

解压到目录 /usr/local/

tar -zxvf hadoop-3.1.0.tar.gz -C /usr/local/

配置环境变量

[root@master ~]# vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-3.1.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使变量生效

[root@master ~]# source /etc/profile

修改配置文件 workers

进入目录

[root@master hadoop]# cd /usr/local/hadoop-3.1.0/etc/hadoop/

以下配置文件都在这个目录下面

[root@master hadoop]# vim workers
master
slave1
slave2

修改配置文件hadoo-env.sh

[root@master hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export HADOOP_HOME=/usr/local/hadoop-3.1.0
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改配置文件core-site.xml

[root@master hadoop]# vim core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/data/hadoop/tmp</value></property>
</configuration>
## 修改配置文件hdfs-site.xml
[root@master hadoop]# vim hdfs-site.xml
<property><name>dfs.name.dir</name><value>/data/hadoop/dfs/name</value><description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property><name>dfs.data.dir</name><value>/data/hadoop/dfs/data</value><description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property><property>
<name>dfs.namenode.rpc-address</name>
<value>master:9820</value>
</property><property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property><!--配置HDFS的冗余度,默认是3，这里配成1 -->
<property><name>dfs.replication</name><value>1</value>
</property> <!--配置是否检查权限 --><property><name>dfs.permissions</name><value>false</value>
</property>

修改配置文件yarn-site.xml

[root@master hadoop]# vim yarn-site.xml


<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

修改配置文件mapred-site.xml

[root@master hadoop]# vim mapred-site.xml

 <property><name>mapred.job.tracker</name><value>master:49001</value>
</property>
<property><name>mapred.local.dir</name><value>/data/hadoop/var</value>
</property>
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

复制到slave1 和 slave2上面

scp -r /usr/local/hadoop-3.1.0 root@slave1:/usr/local
scp -r /usr/local/hadoop-3.1.0 root@slave2:/usr/local

格式化节点

[root@master ~]# cd /usr/local/hadoop-3.1.0/sbin/

格式化节点

[root@master sbin]# hdfs namenode -format

运行后不报错并在倒数四五行出现successfully即为格式化节点成功
注意：在没有出现错误的情况下，节点格式化一次即可

启动hadoop集群

有两种启动方式,选择一种就可以.
● 一键启动
在master上面执行

[root@master sbin]# ./start-all.sh

● 分开启动

[root@master sbin]# ./hadoop-daemon.sh start datanode
[root@master sbin]# ./hadoop-daemon.sh start namenode

页面查看

http://master:9870

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/787594.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

什么是AIGC，AIGC的应用领域有哪些，以及对AIGC的未来展望有什么值得关注的方向

什么是AIGC，AIGC的应用领域有哪些，以及对AIGC的未来展望有什么值得关注的方向

AIGC：人工智能生成内容的深度解析 在数字技术的浪潮中，AIGC（ArtificialIntelligenceGeneratedContent，人工智能生成内容）逐渐崭露头角，成为继专业生产内容（PGC）和用户生产内容（UGC）之后的新型内容创作方式。它不仅改变了内容生产的传统模式，更在多个行业中展现出…
阅读更多...
QA测试开发工程师面试题满分问答6: 如何判断接口功能正常？从QA的角度设计测试用例

QA测试开发工程师面试题满分问答6: 如何判断接口功能正常？从QA的角度设计测试用例

判断接口功能是否正常的方法之一是设计并执行相关的测试用例。下面是从测试QA的角度设计接口测试用例的一些建议&#xff0c;包括功能、边界、异常、链路、上下游和并发等方面&#xff1a; 通过综合考虑这些测试维度&#xff0c;并设计相应的测试用例&#xff0c;可以更全面地评…
阅读更多...
蓝桥杯第十五届抱佛脚（七）前缀和与差分

蓝桥杯第十五届抱佛脚（七）前缀和与差分

蓝桥杯第十五届抱佛脚&#xff08;七&#xff09;前缀和与差分 前缀和 前缀和算法是一种在数组处理中非常有效的技术&#xff0c;特别是当需要频繁查询某个固定区间内的元素和时。这种算法可以在 O(N) 的时间内预处理数组&#xff0c;并且能在 O(1) 的时间内回答区间和的查询…
阅读更多...
CCF-B推荐会议 ICSME’24 4月11日截稿 速来参与

CCF-B推荐会议 ICSME’24 4月11日截稿 速来参与

会议之眼 快讯 第40届ICSME 2024 (IEEE International Conference on Software Maintenance and Evolution)即IEEE软件维护与发展国际会议将于 2024 年 10月6日-11日在美国弗拉格斯塔夫阿兹举行&#xff01;ICSME是学术界、工业界和政府研究人员和从业者的首要国际论坛&#x…
阅读更多...
阿里AI编码助手“通义灵码”安装及使用

阿里AI编码助手“通义灵码”安装及使用

1.介绍 “通义灵码”是一款基于阿里云通义代码大模型打造的智能编码助手&#xff0c;产品于2023年10月31日云栖大会上&#xff0c;正式对外发布。 核心使用场景&#xff1a;代码智能生成和研发智能问答。 主要功能点&#xff1a; &#xff08;1&#xff09;行级/函数级实时…
阅读更多...
BPMN的发展及简介

BPMN的发展及简介

背景 BPM“通过建模、自动化、管理和优化流程&#xff0c;打破跨部门跨系统业务过程依赖、打破信息孤岛&#xff0c;提高业务效率和效果”&#xff0c;通俗一点讲&#xff0c;就是工作流引擎。在进行流程设计时&#xff0c;需要将流程的元素进行定义&#xff0c;并按照一定的格…
阅读更多...
PSDK 102S V3：航测领域的革新者

PSDK 102S V3：航测领域的革新者

在航测领域&#xff0c;精确、高效的数据获取一直是行业追求的目标。PSDK 102S V3&#xff0c;作为SHAR三赛尔推出的一款高性能倾斜摄影相机&#xff0c;凭借其先进的技术和卓越的性能&#xff0c;正在成为航测领域的革新者。 自研三轴智能稳定云台&#xff1a;PSDK 102S V3配备…
阅读更多...
Canal1.1.5整Springboot在MQ模式和TCP模式监听mysql

Canal1.1.5整Springboot在MQ模式和TCP模式监听mysql

canal本实验使用的是1.1.5&#xff0c;自行决定版本&#xff1a;[https://github.com/alibaba/canal/releases] canal 涉及的几个角色 canal-admin&#xff1a;canal 后台管理系统&#xff0c;管理 canal 服务canal-deployer&#xff1a;即canal-server&#xff08;客户端&…
阅读更多...
安装客户端pymilvus

安装客户端pymilvus

pymilvus简介 PyMilvus 是 Milvus 的 Python SDK。 安装pymilvus 参考文档: https://milvus.io/api-reference/pymilvus/v2.3.x/About.md安装pymilvus需要先安装python环境&#xff0c;这里使用conda。 pip install pymilvusv2.3.7查看安装了哪些包: conda list -n py311…
阅读更多...
专升本-大数据

专升本-大数据

大数据定义&#xff1a; 大数据指无法在可承受的时间范围内用常规软件工具进行捕捉&#xff0c;管理和处理的数据集合。是需要新处理模式才能具有更强的决策力&#xff0c;洞察发现力和流程优化能力的海量&#xff0c;高增长率和多样化的信息资产 大数据数据源的分类(3种)&am…
阅读更多...
市场瞭望杂志市场瞭望杂志社市场瞭望编辑部2024年第2期目录

市场瞭望杂志市场瞭望杂志社市场瞭望编辑部2024年第2期目录

福山福水 拼经济&#xff0c;2024福建这样布局 林先昌 ;谢何平 ;余燕芳 ;陈强 ;王茜 ;刘星; 3-5 财经搜要 人民银行宣布“降准定向降息” 6《市场瞭望》投稿&#xff1a;cnqikantg126.com 两部门印发《意见》促进制造业中试创新发展 6 首部《中国企业信用年鉴》…
阅读更多...
AI提速 OpenAI 新模型GPT-5今年上线？

AI提速 OpenAI 新模型GPT-5今年上线？

这两天&#xff0c;有关OpenAI新模型 GPT-5的消息又多了起来。有知情人士称&#xff0c;OpenAI将在今年年中的某个时候发布GPT-5&#xff0c;很可能是在今年夏天期间。OpenAI CEO 萨姆奥特曼在一次播客采访中透露“GPT-5的智能水平得到提升”。 有趣的是&#xff0c;播客的主理…
阅读更多...
js绑定点击事件的方法

js绑定点击事件的方法

点击按钮的三种方式 方式一&#xff1a;给对象的属性赋值 注意点&#xff1a;由于是将函数&#xff08;function&#xff09;赋值给了一个对象&#xff08;oBtn&#xff09;的属性&#xff08;onclick&#xff09;&#xff0c;所以后赋值的会覆盖先赋值的。 oBtn.onclick fu…
阅读更多...
阿里云免费证书过期更换证书操作步骤：

阿里云免费证书过期更换证书操作步骤：

阿里云证书过期更换证书操作步骤&#xff1a; 登录阿里云控制台&#xff0c;搜索ssl证书&#xff0c;选择免费证书 点击创建证书&#xff0c;输入域名点确定&#xff0c;然后点击证书申请 选择文件验证方式&#xff0c;提交申请 下载验证文件fileauth.text到&#xff0c;解压后…
阅读更多...
OpenHarmony实战：命令行工具hdc安装应用指南

OpenHarmony实战：命令行工具hdc安装应用指南

一、工具概述 hdc&#xff08;OpenHarmony Device Connector&#xff09;是为开发人员提供的用于设备连接调试的命令行工具&#xff0c;该工具需支持部署在 Windows/Linux/Mac 等系统上与 OpenHarmony 设备&#xff08;或模拟器&#xff09;进行连接调试通信。 简言之&#xf…
阅读更多...
XenCenter 2024 导出虚拟机

XenCenter 2024 导出虚拟机

选择导出 选择需要导出的虚拟机 导出位置&#xff0c;导出格式&#xff0c;名称 EULA 文档&#xff0c;根据自己需求配置 OVA是否需要加密验证&#xff0c;自己需要看&#xff0c;是否单独的OVA 确认导出配置&#xff0c;等待导出完成。 本地目录查看导出完成
阅读更多...
05 过滤器

05 过滤器

文章目录 Filter01.javaFilter02.javaFilter03.javaFilter04.java Filter01.java package com.aistart.filter;import javax.servlet.*; import javax.servlet.annotation.WebFilter; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletRes…
阅读更多...
【REP】hrms-ERPNext 容器安装配置

【REP】hrms-ERPNext 容器安装配置

需要安装frappe ——>ERPNext ——>hrms https://github.com/frappe/hrms 安装 dokcer compose cd /usr/local/bin/ wget https://github.com/docker/compose/releases/download/v2.2.3/docker-compose-linux-x86_64 mv docker-compose-linux-x86_64 docker-compose …
阅读更多...
Isaac sim的一些例程

Isaac sim的一些例程

一、standalone_examples 里面有AMR自主导航的例子&#xff0c;jetbot强化学习的例子等等&#xff1b; 二、 Simulated -> Demo Scenes &#xff08;physics demo scenes&#xff09; 这个里面有很多物理场景演示&#xff0c;如各种形态车辆&#xff0c;关节机器人&#xf…
阅读更多...
亚远景科技-ASPICE评估输入

亚远景科技-ASPICE评估输入

评估输入应在评估的数据收集阶段之前确定&#xff0c;并得到评估发起人的批准。 评估输入的任何更改都应征得发起人或发起人授权人的同意&#xff0c;并记录在评估记录中。 评估输入至少应明确以下内容&#xff1a; 原文链接&#xff1a;ASPICE评估-ASPICE评估输入-亚远景
阅读更多...
最新文章

Copyright @ 2022~2023