【Hadoop3.3.6全分布式环境搭建】

  • 说明:

    • 完成Hadoop全分布式环境搭建,需准备至少3台虚拟机(master slave01 slave02)
  • 环境:

    • VMWare + Centos7 + JDK1.8+ Hadoop3.3.6
  • 主机规划:

    • 主节点:master
    • 从节点:slave01 , slave02
      在这里插入图片描述

一、准备工作

  • 1、所有主机安装jdk

    • 上传jdk-8u171-linux-x64.tar.gz到/root目录下,然后执行下面的命令进行解压安装

      tar -zvxf jdk-8u171-linux-x64.tar.gz -C /opt/software/
      
    • 配置环境变量,执行:
      vim ~/.bash_profile
      在.bash_profile文件中添加如下信息:

      export JAVA_HOME=/opt/software/jdk1.8.0_171
      export JRE_HOME=$JAVA_HOME/jre
      export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
      export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin;
      
    • 让环境变量生效
      source ~/.bash_profile

    • 验证jdk是否安装成功
      java -version

  • 2、所有主机都需要关闭防火墙

    systemctl stop firewalld.service
    systemctl disable firewalld.service
    
  • 3、所有主机都需要配置主机名映射关系 vim /etc/hosts,在文件末尾添加如下内容,注意:IP地址改成你自己环境的IP地址

    192.168.36.135 master
    192.168.36.136 slave1
    192.168.36.137 slave2
    
  • 4、配置免密码登录(配置两两之间的免密码登录)
    所有的机器都需要产生一对密钥:公钥和私钥
    ssh-keygen -t rsa
    所有主机需要执行

    ssh-copy-id -i .ssh/id_rsa.pub root@master
    ssh-copy-id -i .ssh/id_rsa.pub root@slave01
    ssh-copy-id -i .ssh/id_rsa.pub root@slave02
    
  • 5、保证每台机器的时间是一样的(可选做
    如果不一样的话,我们在执行MapReduce程序的时候可能会存在问题.。 解决方案:
    1)搭建一个时间同步的服务器,网上很多教程可以使用
    2)使用putty/shell工具,可以简单实现这个功能:
    date -s 2024-03-16后面必须敲一个回车

二、在主节点上进行安装配置(master)

  • 上传hadoop安装包,解决配置环境变量
    tar -zvxf hadoop-3.3.6.tar.gz -C /opt/software/
    注意需要同时设置:master slave1 slave2

    export HADOOP_HOME=/opt/software/hadoop-3.3.6
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/1104.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AWS SAP(Certified Solutions Architect- Professional)认证题库详解(一)

很多朋友在做AWS认证的时候拿到题库之后,却不理解正确答案的原理,这里针对每一条答案都给了一个非常详细的解释,同时也会积累丰富的云计算架构的实践经验,保证看得懂,记得住,看完一遍之后就可以去考试了。  问题1 一家公司使用Amazon在单个m4.2xlarge AmazonEC2实例上…

改变图片的DPI和 清晰度

投稿时,我们的图片不满足要求,经常需要修改,这个博主讲解了几种方法,非常好。 【科研制图】如何快速修改图片符合投稿要求(分辨率300DPI等)及AI智能绘制高质量图片(Upscayl软件)_哔哩哔哩_bilibili

【java】26:JUnit

为什么需要 JUnit: 1.一个类有很多功能代码需要测试,为了测试,就需要写入到main方法中 2.如果有多个功能代码测试,就需要来回注销,切换很麻烦……… 3.如果可以直接运行一个方法,就方便很多,并且…

openssl3.2 - exp - 用base64后的字符串作为配置项的值

文章目录 openssl3.2 - exp - 用base64后的字符串作为配置项的值概述笔记配置项的值长度有限制 配置项的值不能是base64之后的直接值,需要处理之后才行。openssl配置项的值并不是所有可见字符都可以例子现在用的base64的类cipher_base64.hcipher_base64.cpp 现在用的…

ChatGPT研究论文提示词集合1-【主题选择与问题研究、文献综述】

点击下方▼▼▼▼链接直达AIPaperPass ! AIPaperPass - AI论文写作指导平台 目录 1.主题选择与问题定义 2.文献综述 3.书籍介绍 AIPaperPass智能论文写作平台 近期小编按照学术论文的流程,精心准备一套学术研究各个流程的提示词集合。总共14个步骤…

论文笔记:Large Language Model for Participatory Urban Planning

202402 arxiv 大模型城市规划 引入了一个基于LLM的多代理协作框架,模拟规划师和数千名具有不同特征和背景的居民,用于参与式城市规划——>生成考虑居民多样化需求的城市区域土地利用规划为了提高讨论的效率,论文采用了鱼缸讨论机制&#…

python——函数

概念 函数就是将一段具有独立功能的代码块整合到一个整体并命名,在需要的位置调用这个名称去完成对应的需求 定义函数 def 函数名(参数):代码1......return 值函数名 函数名由编程人员自定义的,满足标识符命名规则…

建筑楼宇VR火灾扑灭救援虚拟仿真软件厂家

在传统消防安全教育方式中,往往存在内容枯燥、参与度低和风险大等问题,使得消防安全知识难以深入人心。然而,借助VR消防安全逃生教育系统,我们可以打破这一困境,为公众带来前所未有的学习体验。 VR消防安全逃生教育系统…

【Web】DASCTF X GFCTF 2024|四月开启第一局 题解

目录 EasySignin cool_index web1234 web4打破防了🤮,应该很接近解出来了,感兴趣的师傅续上吧 EasySignin 先随便注册个账号登录,然后拿bp抓包改密码(username改成admin) 然后admin / 1234567登录 康好康的图片功能可以打SS…

OEEL图表——饼状图绘制(各国太阳能发电占比)

简介 本数据主要的目的就是进行饼状图的绘制,所使用的数据全球电力系统分布情况 数据属性 NameTypeDescriptioncountryString3-character country code corresponding to the ISO 3166-1 alpha-3 specscountry_lgStringLonger form of the country designationnameStringNam…

数据采集技术综合项目实战3(网络爬虫+数据预处理+数据可视化)附带详细步骤说明,干货满满

项目介绍及需求: 本项目主要是通过对b站电影弹幕进行采集并分析。1.获得弹幕高频词生成符合该电影特征、主题、角色等相关字段的词云图,通过词云图的方式对某部电影主题具体化。2.获取用户年内评论发布时间观生成时间的折线图,以便从侧面观察…

在Vue项目使用kindEditor富文本编译器以及上传图片

第一步 npm install kindeditor第二步&#xff0c;建立kindeditor.vue组件 <template><div class"kindeditor"><textarea :id"id" name"content" v-model"outContent"></textarea></div> </templa…

Android中logcat日志、ANR日志、trace日志的介绍与分析方法

Logcat日志 在Android开发中&#xff0c;日志是开发者在应用程序中添加的一种输出信息的记录方式&#xff0c;用于查看应用程序在运行时的状态、调试信息、错误信息等。Android日志可以帮助开发者追踪应用程序的行为、诊断问题并进行调试。Android提供了一系列的日志输出方法&…

使用 vllm 运行 Llama3-8b-Instruct

使用 vllm 运行 Llama3-8b-Instruct 0. 引言1. 安装 vllm2. 运行 Llama3-8b-Instruct 0. 引言 此文章主要介绍使用 vllm 运行 Llama3-8b。 1. 安装 vllm 创建虚拟环境&#xff0c; conda create -n myvllm python3.11 -y conda activate myvllm安装 Ray 和 Vllm&#xff0c…

富格林:致用查明暗箱黑幕技巧

富格林认为&#xff0c;投资现货黄金对于新手投资者来说是一个很好的选择&#xff0c;但是在进行投资之前需要了解一些基本的技巧和策略用以查明暗箱黑幕。事实上&#xff0c;现货黄金市场充满着丰富的交易机会&#xff0c;以及并存的交易风险&#xff0c;因此投资者要想在这其…

动态规划——状态压缩dp

acwing291.蒙德里安的梦想 #include<iostream> #include<cstring>using namespace std;const int N 12, M 1 << N;long long int f[N][M]; //f[i][j]表示第i列j状态有多少个可行解 int n, m; bool st[M]; //st[i]表示合并列的状态i是否合法int main() {wh…

10分钟快速部署 Doris 集群

部署 Doris 集群通常涉及多个步骤&#xff0c;包括下载和解压软件包、配置 FE 和 BE 节点以及启动服务。下面是在三台 Linux 服务器上部署一个包含三个 FE (Frontend) 和三个 BE (Backend) 的 Doris 集群的详细步骤&#xff1a; 服务器ip&#xff1a;192.168.0.103、192.168.0.…

02_补充)docker学习 docker在线安装tomcat等,docker容器常用指令

01中安装好docker后&#xff0c;本章学习使用docker拉取tomcat&#xff0c;nginx&#xff0c;jdk等镜像&#xff0c;并创建容器启动测试 常用命令 # 基本信息查看 docker version # 查看docker的版本号&#xff0c;包括客户端、服务端、依赖的Go等 docker info # 查看系统(…

【vue3】插件@tsparticles/vue3、tsparticles实现粒子特效

文章目录 一、安装依赖二、全局引入三、使用 一、安装依赖 npm i tsparticles/vue3 npm i tsparticles二、全局引入 // main.js import Particles from tsparticles/vue3 import { loadFull } from tsparticlesconst app createApp(App) app.use(Particles, {init: async (e…

java泛型知多少

Java 泛型了解么&#xff1f; 泛型是一种在编译时提供类型安全检查的机制,可以增加我们代码的可读性和安全性。泛型可以在编译时期对泛型参数进行校验来指定选入对象的类型&#xff0c;比如 ArrayList<Person> persons new ArrayList<Person>() 这行代码就指明了…