大数据工具使用——安装Hadoop（多台服务器）和Hive、Hbase

1.配置环境版本

资料上传百度云，自取：链接：https://pan.baidu.com/s/1evVp5Zk0_X7VdjKlHGkYCw 提取码：ypti 
复制这段内容后打开百度网盘手机App，操作更方便哦

（之前安装的是apache版本的Hadoop2.6.4,在启动hive的时候，报错，无奈又统一换成CDH）

2.安装前的配置工作

2.1 安装jdk

（1）下载jdk

（2）解压，然后在/etc/profile文件配置环境变量

export JAVA_HOME=/home/jdk1.8.0_131
export PATH=${JAVA_HOME}/bin:${PATH}

2.2 ssh免密登录

ssh-keygen

根据文件的路径更改:

cp /root/.ssh/id_rsa.pub /root/.ssh/authoried_keys

用命令测试：

ssh localhost

2.3 mysql安装（hive环境会需要）

可参考菜鸟教程：https://www.runoob.com/linux/mysql-install-setup.html

我的数据库是远程的，需要配置mysql的远程连接

2.4配置IP

设置/etc/hosts，两台服务器都需要更改，我的是两台，一个master，一个data，括号里边不写入。

IP地址 hostname （master）
IP地址 hostname （data）

3.安装Hadoop

（1）下载文件

（2）分别解压到服务器上，设置环境变量

环境变量配置：

export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export YARN_CONF_IR=/home/hadoop-2.6.4/etc/hadoop
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

记得用source /etc/profile生效！！！

（3）配置文件

  • 配置master服务器

进入hadoop文件目录/etc/hadoop/core-site.xml：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

进入hadoop文件目录/etc/hadoop/hdfs-site.xml：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop-2.6.0-cdh5.15.1/hadoop_data/hdfs/namenode</value>
</property> --></configuration>

进入hadoop文件目录/etc/hadoop/mapred-site.xml：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
</configuration>

进入hadoop文件目录/etc/hadoop/yarn-site.xml：

<configuration><!-- Site specific YARN configuration properties -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8025</value></property>
<property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property>
<property><name>yarn.resourcemanager.address</name><value>master:8050</value></property></configuration>

在hadoop文件目录/etc/hadoop/新建masters文件，并键入master

在hadoop文件目录/etc/hadoop/新建slaves文件，并键入data（如果有多个data服务器，分别写入，例如data1，data2，data3）

  • 配置data服务器

进入hadoop文件目录/etc/hadoop/core-site.xml：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

进入hadoop文件目录/etc/hadoop/hdfs-site.xml：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop-2.6.0-cdh5.15.1/hadoop_data/hdfs/datanode</value>
</property>
</configuration>

进入hadoop文件目录/etc/hadoop/mapred-site.xml：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
</configuration>

进入hadoop文件目录/etc/hadoop/yarn-site.xml：

<configuration><!-- Site specific YARN configuration properties -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8025</value></property>
<property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property>
<property><name>yarn.resourcemanager.address</name><value>master:8050</value></property></configuration>

（4）启动

进入hadoop文件目录/sbin,启动start-all.sh，也可以分别启动start-dfs.sh和start-yarn.sh

（5）查看

  • master服务器，启动了NameNode节点：

  • data服务器，启动了DataNode节点：

4.安装Hbase

（1）下载Hbase解压

（2）配置环境变量

export HBASE_HOME=/home/hbase-1.2.0-cdh5.15.1
export PATH=$PATH:$HBASE_HOME/bin

（3）配置文件

进入Hbase安装目录/conf/hbase-env.sh,更改

进入Hbase安装目录/conf/hbase-site.xml,更改

<configuration><property><name>hbase.rootdir</name><value>file:/home/hbase-1.2.0-cdh5.15.1/hbase_data</value></property></configuration>

（4）启动

输入hbase shell

5.安装Hive

（1）下载Hive解压

（2）配置环境变量

export HIVE_HOME=/home/hive-1.1.0-cdh5.15.1
export PATH=:$JAVA_HOME/bin:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$PATH

（3）配置文件

进入Hive安装目录/conf/hive-env.sh,更改

export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.15.1/
export HBASE_HOME=/home/hbase-1.2.0-cdh5.15.1

进入Hive安装目录/conf/hive-site.sh,更改

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://IP地址:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=utf8&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>

设置了远程连接mysql数据库，hive数据库是默认的，不能更改，需要在mysql提前新建。

（4）启动

输入hive启动

如果报终端Jline包错误的话，需要将hadoop文件目录/share/hadoop/yarn/lib/下的jline包和Hive安装目录/lib/的jline包版本一致！！！

安装告一段落，剩下继续！

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/466720.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

进程间通信——信号

进程间通信——信号

进程间通信——信号 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 一、信号和中断 1、信号基本概念 &#xff08;1&#xff09;发送信号&#xff1a;产生信号&#xff0c;有多种发送信号的方式【一个进程到另一个进程&#xff0c;内核向用户&#x…
阅读更多...
[转] 关于 WCF 中数据压缩的几篇文章

[转] 关于 WCF 中数据压缩的几篇文章

原文:http://www.cnblogs.com/jiabao/archive/2007/12/04/982534.html在.net3.0出现以前我们进行分布式开发式有两个选择一个是webservice&#xff0c;另一个是remoting&#xff1b;在早期的项目中&#xff0c;比较喜欢remoting&#xff0c;因为remoting可控性好&#xff0c;也…
阅读更多...
聊一聊我自己的从业经历和感悟

聊一聊我自己的从业经历和感悟

嵌入式学习&#xff0c;是一个很枯燥的过程&#xff0c;我记得在学习三极管的时候&#xff0c;我真的对这个东西一点感觉都没有&#xff0c;我知道三极管可以放大&#xff0c;然后电子从一个地方去到了另一个地方&#xff0c;然后就触发了某个开关&#xff0c;就发了大水。然后…
阅读更多...
gmake与make的区别

gmake与make的区别

gnu make在linux下一般是叫make但是如果是在其他的unix系统下&#xff0c;因为有一个原生的makegnu make就改个名字叫gmake了。就这们简单当port一个老的unix程序&#xff0c;如老的SunOS上的程序时往往需要sed s/gmake/make/ggmake是GNU Make的缩写。Linux系统环境下的make就是…
阅读更多...
大数据——sqoop操作mysql和hive导出导入数据

大数据——sqoop操作mysql和hive导出导入数据

1.sqoop安装 &#xff08;1&#xff09;下载CDH版本的sqoop &#xff08;2&#xff09;解压并进行环境配置 环境变量为&#xff1a; export SQOOP_HOME/home/sqoop-1.4.6-cdh5.15.1 export PATH$PATH:$SQOOP_HOME/bin 在sqoop安装目录/conf/下&#xff1a; #新建sqoop-en…
阅读更多...
LinuxC高级编程——线程

LinuxC高级编程——线程

LinuxC高级编程——线程 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 一、线程基础 main函数和信号处理函数是同一个进程地址空间中的多个控制流程&#xff0c;多线程也是如 此&#xff0c;但是比信号处理函数更加灵活&#xff0c;信号处理函数的控制…
阅读更多...
来自专业的RIA咨询strechmedia机构提供的Flex组件

来自专业的RIA咨询strechmedia机构提供的Flex组件

具体内容见这里&#xff0c;其中最有用的是chart range selection组件&#xff0c;可以用作历史数据浏览和分析&#xff0c;不光能用slider来选择查看的范围&#xff0c;还能控制范围的大小&#xff0c;而且通过图形也能对range selection进行反向操作&#xff0c;非常酷&#…
阅读更多...
年终了，肿一下

年终了，肿一下

也没有没有跟大家好好唠唠&#xff0c;一年时间过得飞快&#xff0c;我还记得那时候从老家开车来深圳&#xff0c;一路狂奔&#xff0c;在广西入境广东的时候&#xff0c;因为疫情排查&#xff0c;我们在那里堵了3个小时&#xff0c;还因为路途颠簸&#xff0c;车子一起一停&am…
阅读更多...
大数据——spark安装部署和python环境配置

大数据——spark安装部署和python环境配置

需要配置多台服务器&#xff0c;实验环境&#xff1a;master和data两台服务器&#xff0c;已安装好hadoop&#xff0c;可参考前文&#xff01;&#xff01;&#xff01; 1.spark安装 master安装 &#xff08;1&#xff09;下载scala和spark &#xff08;2&#xff09;解压并…
阅读更多...
LinuxC高级编程——线程间同步

LinuxC高级编程——线程间同步

LinuxC高级编程——线程间同步 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 1、 互斥锁mutex 多个线程同时访问共享数据时可能会冲突。对于多线程的程序&#xff0c;访问冲突的问题是很普遍的&#xff0c;解决的办法是引入互斥锁&#xff08;Mutex&a…
阅读更多...
2021年，这是你们收到的第一份礼物

2021年，这是你们收到的第一份礼物

一、 前言大家好&#xff0c;2020年就要过去了&#xff0c;这一年来&#xff0c;感谢大家对公众号的支持&#xff0c;但是感谢不能停留在嘴上&#xff0c;所以&#xff0c;这次邀请了正点原子赞助。一起给大家送点礼品&#xff01;作为一名 电子/嵌入式 人&#xff0c;正点原子…
阅读更多...
SQL SERVER自定义函数

SQL SERVER自定义函数

SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO -- -- Author: captain -- Create date: 2008.05.05 -- Description: 删除垃圾代码 -- ALTER FUNCTION [fzdongmancn].[fun_deleteLj] ( old varchar(1000) ) RETURNS varchar(1000) AS BEGIN declare ind…
阅读更多...
Python参考手册(第4版)pdf

Python参考手册(第4版)pdf

下载地址&#xff1a;网盘下载内容简介 本书是权威的Python语言参考指南&#xff0c;内容涉及核心Python语言和Python库的最重要部分。本书内容简洁扼要、可读性强&#xff0c;书中还包括了一些没有在Python官方文档或其他资料中出现过的一些高级的主题。这一版在内容上进…
阅读更多...
大数据学习-python通过Pyhive连接hive数据库

大数据学习-python通过Pyhive连接hive数据库

1.hbase和hive结合 &#xff08;1&#xff09;hbase建表添加数据 #test是表名&#xff0c;name是列族 #hbase可以一个列族里边多个字段 create test,name#添加数据 put test,1,name:t1,1 put test,1,name:t2,2#查询 scan test#查询 get 表名&#xff0c;row-key&#xff0c;列…
阅读更多...
深入理解Linux内核进程上下文切换

深入理解Linux内核进程上下文切换

在原作者基础上修改了些文字描述&#xff0c;让文章更加通俗易懂作者简介韩传华&#xff0c;就职于南京大鱼半导体有限公司&#xff0c;主要从事linux相关系统软件开发工作&#xff0c;负责Soc芯片BringUp及系统软件开发&#xff0c;乐于分享喜欢学习&#xff0c;喜欢专研Linux…
阅读更多...
Linux C高级编程——网络编程基础（1）

Linux C高级编程——网络编程基础（1）

Linux高级编程——BSD socket的网络编程 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 一网络通信基础 TCP/IP协议簇基础&#xff1a;之所以称TCP/IP是一个协议簇&#xff0c;是因为TCP/IP包含TCP 、IP、UDP、ICMP等多种协议。下图是OSI模型与TCP/IP模…
阅读更多...
使用SQLDMO中“接口SQLDMO.Namelist 的 QueryInterface 失败”异常的解决方法

使用SQLDMO中“接口SQLDMO.Namelist 的 QueryInterface 失败”异常的解决方法

SQLDMO&#xff08;SQL Distributed Management Objects&#xff0c;SQL分布式管理对象&#xff09;&#xff0c;它封装 Microsoft SQL Server 数据库中的对象。它允许我们通过COM对象&#xff0c;对SQLServer进行管理。SQLDMO对象来自SQLDMO.dll。因为SQLDMO.dll是一个COM对象…
阅读更多...
GetKeyState(), GetAsyncKeystate(), GetKeyboardSlate()

GetKeyState(), GetAsyncKeystate(), GetKeyboardSlate()

GetKeyState、GetAsyncKeyState、GetKeyboardState函数的差别&#xff1a; 1、BOOL GetKeyboardState( PBYTE lpKeyState );获得全部的256个键&#xff08;键盘按键、鼠标按键等等&#xff09;的状态&#xff0c;lpKeyState是指向一个256bit的数组。存放全部键的状态。 2、SHOR…
阅读更多...
你月薪多少？

你月薪多少？

今天跟一个读友聊天&#xff0c;他刚毕业没多久&#xff0c;在一家方案公司上班&#xff0c;月薪6.5&#xff0c;做的Android 开发&#xff0c;用RK方案&#xff0c;有时候也需要做MCU相关的开发&#xff0c;事情多&#xff0c;压力也不少&#xff0c;而且不是双休&#xff0c;…
阅读更多...
cx_Oracle安装出现的问题

cx_Oracle安装出现的问题

1.安装cx_Oracle &#xff08;1&#xff09;在线安装 pip install cx_Oracle &#xff08;2&#xff09;源码安装 下载源码&#xff1a;https://pypi.org/project/cx-Oracle/ tar -zxvf cx_Oracle-8.1.0.tar.gz cd cx_Oracle-8.1.0 python setup.py install 2.测试 impo…
阅读更多...
最新文章

Copyright @ 2022~2023