基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务6:安装并配置Hadoop

任务描述

项目的运行环境为基于Hadoop的全分布式模式集群。

任务的主要内容为安装Hadoop分布式集群环境。

任务指导

Hadoop集群需要整个集群所有节点安装的Hadoop版本保持一致,并且拥有相同的配置

具体配置步骤如下:

1. 解压缩Hadoop的压缩包

2. 配置Hadoop的环境变量

3. 修改Hadoop的配置文件,Hadoop的配置文件存放在Hadoop安装目录下的etc/hadoop/中

4. 首先在一台节点对整个Hadoop集群进行配置,再将此节点的配置发送到集群的其它节点上。

5. 具体需要修改的Hadoop的配置文件包括 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、slaves

任务实现

1. 安装Hadoop。在【master1】服务器解压并配置完成后,再复制到其它服务器。

在/opt/software目录下解压Hadoop的安装包;

输入【cd  /opt/software】命令转到/opt/software目录下;

输入【tar -xzf hadoop-2.10.1.tar.gz -C /opt/app/】命令解压;

2. 配置Hadoop环境变量,修改系统配置文件/etc/profile。

在集群中所有节点添加Hadoop的环境变量

输入【vi  /etc/profile】命令,编辑/etc/profile文件。

在/etc/profile文件尾部追加如下内容:

export HADOOP_HOME=/opt/app/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使用【source  /etc/profile】使配置文件生效。 

3. 进入hadoop的配置文件夹。

[root@master1 ~]# cd  $HADOOP_HOME/etc/hadoop

4. 配置core-site.xml文件。该文件存放在$HADOOP_HOME/etc/hadoop目录下,配置内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master1:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/app/hadoop_path/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>  
<value>0</value>
</property>
</configuration>

5. 配置 hdfs-site.xml 文件,该文件存放在$HADOOP_HOME/etc/hadoop目录下,配置内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/app/hadoop_path/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/app/hadoop_path/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

6. 配置 mapred-site.xml 文件。

首先,输入【cp  mapred-site.xml.template  mapred-site.xml】命令将mapred-site.xml.template命名为mapred-site.xml。

配置$HADOOP_HOME/etc/hadoop目录下的mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration>
<property>
<name>mapreduce.framework.name</name>  
<value>yarn</value>  
</property>  
<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master1:10020</value>  
</property>  
<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master1:19888</value>  
</property> 
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!-- 开启uber模式(针对小作业的优化) -->
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<!-- 配置启动uber模式的最大map数 -->
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>
<!-- 配置启动uber模式的最大reduce数 -->
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
</configuration>

7. 配置yarn-site.xml文件,该文件存放在$HADOOP_HOME/etc/hadoop目录下,配置内容如下:

<?xml version="1.0"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
-->
<configuration>
<property>  
<name>yarn.nodemanager.aux-services</name>  
<value>mapreduce_shuffle</value>  
</property>  
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property>  
<property>  
<name>yarn.resourcemanager.address</name>  
<value>master1:8032</value>  
</property>  
<property>  
<name>yarn.resourcemanager.scheduler.address</name>  
<value>master1:8030</value>  
</property>  
<property>  
<name>yarn.resourcemanager.resource-tracker.address</name>  
<value>master1:8031</value>  
</property>  
<property>  
<name>yarn.resourcemanager.admin.address</name>  
<value>master1:8033</value>  
</property>  
<property>  
<name>yarn.resourcemanager.webapp.address</name>  
<value>master1:8088</value>  
</property>  
</configuration>

8. 配置hadoop-env.sh文件,文件存放在$HADOOP_HOME/etc/hadoop目录下,配置文件的JAVA_HOME变量。如果不设置,无法正常启动集群。

输入【vim  hadoop-env.sh】打开准备修改的配置文件hadoop-env.sh,修改JAVA_HOME环境变量。

找到默认的JAVA_HOME配置修改为如下配置:

export JAVA_HOME=/opt/app/jdk1.8.0_181

在【hadoop-env.sh】文件末尾添加如下内容,使Hadoop在操作HBase能使用对应的类库:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/app/hbase-2.3.5/lib/*

9. 配置slaves文件,该文件存在在$HADOOP_HOME/etc/hadoop目录下,删除默认的localhost,增加3个从节点的IP地址或host主机名。

slave1
slave2

10. 为Hadoop创建目录

[root@master1 ~]# mkdir -p /opt/app/hadoop_path/tmp
[root@master1 ~]# mkdir -p /opt/app/hadoop_path/hdfs/name
[root@master1 ~]# mkdir /opt/app/hadoop_path/hdfs/data

10. 将配置好的Hadoop复制到其他节点对应位置上,通过scp命令发送。

[root@master1 ~]# scp  -rq  /opt/app/hadoop-2.10.1  slave1:/opt/app
[root@master1 ~]# scp  -rq  /opt/app/hadoop-2.10.1  slave2:/opt/app[root@master1 ~]# scp  -rq  /opt/app/hadoop_path  slave1:/opt/app
[root@master1 ~]# scp  -rq  /opt/app/hadoop_path  slave2:/opt/app

转发后在所有节点执行【 source /etc/profile 】命令重新加载环境变量

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/39838.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI产品经理需要哪些必备技能?如何成为AI产品经理?

1.AI产品经理是什么 回答这个问题前我们首先得理清楚什么是AI产品经理&#xff0c;它和传统的互联网产品经理有什么区别。 1.1 AI产品经理职责 主要职责一方面是规划如何将成熟的AI技术应用在各个领域不同场景中&#xff0c;提升原有场景的效率或效果等&#xff1b;另一方面…

在线医疗诊断平台开发教程大纲 (Java 后端,Vue 前端)—实践篇-02

第三步:创建实体类和 Mapper 文件 现在我们已经设计好了数据库表结构,接下来要使用 MyBatis 将这些表映射到 Java 对象,以便在代码中进行操作。 1. 创建实体类 在 src/main/java/<your_package>/entity 目录下 (如果没有该目录,请手动创建),创建与数据库表对应的实…

基于蜉蝣优化的聚类算法(MATLAB)

优化问题广泛存在于人们的日常生活和工程领域&#xff0c;其解决如何寻找使目标值达到最优的可行解的问题。伴随着科技发展&#xff0c;优化问题在生产调度、神经网络训练、图像处理、能源系统等领域起到举足轻重的作用&#xff0c;有助于提高系统效率。优化问题依据不同标准可…

探索Spring Boot:简化Java开发的新纪元

1. 引言 在Java开发的世界里,Spring Boot无疑是一颗璀璨的明星。自诞生以来,它以简化配置、快速开发、内嵌服务器等诸多优点迅速赢得了广大开发者的青睐。本篇博客将深入探讨Spring Boot的核心概念、特点以及其在现代Java开发中的优势,并通过详细的代码示例和实践经验,展示…

Docker安装PostgreSQL详细教程

本章教程,使用Docker安装PostgreSQL具体步骤。 一、拉取镜像 docker pull postgres二、启动容器 docker run -it --name postgres --restart always -e POSTGRES_PASSWORD=123456 -e

mac上修改jupyterlab工作目录

mac上使用anaconda中的jupyterlab。 修改默认的工作目录 upyter lab --generate-config Writing default config to: /Users/xxx/.jupyter/jupyter_lab_config.py vim /Users/xiece/.jupyter/jupyter_lab_config.py # 设置c.ServerApp.notebook_dir c.ServerApp.notebook_dir …

EXCEL返回未使用数组元素(未使用值)

功能简介&#xff1a; 在我们工作中&#xff0c;需要在EXCEL表列出哪些元素&#xff08;物品或订单&#xff09;已经被使用了&#xff08;或使用了多少次&#xff09;&#xff0c;哪些没有被使用。 当数量过于庞大时人工筛选或许不是好办法&#xff0c;我们可以借助公式&…

FlinkCDC 数据同步优化及常见问题排查

【面试系列】Swift 高频面试题及详细解答 欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;欢迎订阅相关专栏&#xff1a; 欢迎关注微信公众号&#xff1a;野老杂谈 ⭐️ 全网最全IT互联网公司面试宝典&#xff1a;收集整理全网各大IT互联网公司技术、项目、…

偏微分方程笔记

极小位能原理&#xff1a; C 2 C^2 C2 是一个集合符号&#xff0c;表示所有二阶连续可微函数的集合 弱导数 C 2 C^2 C2 是一个集合符号&#xff0c;表示所有二阶连续可微函数的集合。 C 0 ∞ ( I ) C^{\infty}_0(I) C0∞​(I)表示于 I I I上无穷可微&#xff0c;且在端点a&…

Java学习笔记(个人向)

1. 概述 每一个应用程序都以类名开头&#xff0c;类名必须与文件名匹配&#xff0c;所以保存文件时&#xff0c;要使用类名保存&#xff1b;java中运行的每一行代码都必须在一个class中&#xff1b;在类名的开头&#xff0c;可以用权限修饰符来解释&#xff0c;如private或者p…

【JavaScript脚本宇宙】高效Web开发利器:全面解析六大HTML解析器与DOM库

精益求精&#xff1a;揭秘六个改变Web开发的HTML解析与DOM操作工具 前言 在现代Web开发中&#xff0c;HTML解析器和DOM操作库是不可或缺的工具。无论是爬取数据、处理复杂的HTML文档&#xff0c;还是模拟浏览器环境&#xff0c;这些工具都扮演着关键角色。本文将深入探讨六个…

2024 年人工智能和数据科学的五个主要趋势

引言 2023年&#xff0c;人工智能和数据科学登上了新闻头条。生成性人工智能的兴起无疑是这一显著提升曝光度的驱动力。那么&#xff0c;在2024年&#xff0c;该领域将如何继续占据头条&#xff0c;并且这些趋势又将如何影响企业的发展呢&#xff1f; 在过去几个月&#xff0c;…

Vue3实现点击按钮实现文字变色

1.动态样式实现 1.1核心代码解释&#xff1a; class"power-station-perspective-item-text"&#xff1a; 为这个 span 元素添加了一个 CSS 类&#xff0c;以便对其样式进行定义。 click"clickItem(item.id)"&#xff1a; 这是一个 Vue 事件绑定。当用户点…

ojdbc8-full Oracle JDBC 驱动程序的一个完整发行版各文件的功能

文章目录 1. ojdbc8.jar2. ons.jar -3. oraclepki.jar -4. orai18n.jar -5. osdt_cert.jar -6. osdt_core.jar -7. ojdbc.policy -8. README.txt -9. simplefan.jar -10. ucp.jar -11. xdb.jar - ojdbc8-full 是 Oracle JDBC 驱动程序的一个完整发行版&#xff0c;包含了连接和…

笔记——书签

书签 推荐系统 推荐系统之召回&#xff1a;https://cloud.baidu.com/article/3023263ES分页与排序&#xff1a;https://blog.csdn.net/weixin_44799217/article/details/127601687 测试 回归测试&#xff1a;https://www.cnblogs.com/codiary/p/17819289.html 机器学习 欠…

python-docx 拆分docx文档:按分节符拆分文档

本文目录 前言一、处理过程简述二、实现方式三、通过xml进行拆分1、完整代码【方式一】2、代码逻辑讲解3、实现效果图前言 本文主要处理的需求是,将一个docx文档,按节(section)分割成多个docx文档,分割后的文档保留原来文档的字体格式、页眉、页脚、水印等。 一、处理过…

SpringBoot 整合 SpringSecurity

1. 项目目录 2. pom.xml <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><version>2.6.3</version> </dependency> <dependency><groupId>org.sprin…

【CSS】深入浅出弹性布局

CSS的弹性布局&#xff08;Flexbox&#xff09;是一种用于在容器中沿着一维方向&#xff08;水平或垂直&#xff09;来布局、对齐和分配容器内项目空间的有效方式。它旨在提供一个更加有效的方式来布局、对齐和分配容器中项目的空间&#xff0c;即使它们的大小未知或是动态变化…

【手撕面试题】React(高频知识点一)

每天10道题&#xff0c;100天后&#xff0c;搞定所有前端面试的高频知识点&#xff0c;加油&#xff01;&#xff01;&#xff01;在看文章的同时&#xff0c;希望不要直接看答案&#xff0c;先思考一下自己会不会&#xff0c;如果会&#xff0c;自己的答案是什么&#xff1f;想…

XFeat快速图像特征匹配算法

XFeat&#xff08;Accelerated Features&#xff09;是一种新颖的卷积神经网络&#xff08;CNN&#xff09;架构&#xff0c;专为快速和鲁棒的像匹配而设计。它特别适用于资源受限的设备&#xff0c;同时提供了与现有深度学习方法相比的高速度和准确性。 轻量级CNN架构&#xf…