Tez 0.9安装部署+hive on tez配置 + Tez-UI

Tez说明

将xyz替换为您正在使用的tez发行版号。例如0.5.0。对于Tez版本0.8.3和更高版本,Tez需要Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0及更高版本,Tez需要Apache Hadoop版本为2.7.0或更高版本。


关于版本

1.Hadoop 2.7.0+(我的是2.7.1)
2.Tez还需要Protocol Buffers 2.5.0,包括protoc编译器。(如果你下载的是apache-tez-0.9.0-src.tar.gz包则需要编译,需要Protocol Buffers 2.5.0)
3.Maven3+
4.Hive 2.1.1
5.tez-0.9.0


protobuf-2.5.0安装

(注:如果下载的是apache-tez-0.9.0-bin.tar.gz则不需要编译。可以跳过这一步,建议下载bin)
1.下载源码
2.解压

tar -zxvf protobuf-2.5.0.tar.gz

3.编译安装

cd protobuf-2.5.0
./configure
make
make install
protoc --version    #验证是否安装成功

安装部署tez

1.下载地址
这里可以选择
apache-tez-0.9.0-src.tar.gz
apache-tez-0.9.0-bin.tar.gz(建议下载这个,感觉src编译遇到好多问题。)

2.编译
a.方式一
我们先来说apache-tez-0.9.0-src.tar.gz

tar -zxvf apache-tez-0.9.0-src.tar.gz
#编译不能用root用户。
chmod -R 777 apache-tez-0.9.0-src
cd apache-tez-0.9.0-src
su elk
mvn -X clean package -DskipTests=true -Dmaven.javadoc.skip=true

b.方式二
apache-tez-0.9.0-bin.tar.gz(不需要编译)

tar -zxvf apache-tez-0.9.0-bin.tar.gz
cd apache-tez-0.9.0-bin

3.将tez的压缩包put到hdfs上去
a.方式一
所在文件目录
apache-tez-0.9.0-src/target
b.方式二
所在文件目录
apache-tez-0.9.0-bin/share

(注:后面的步骤就一样了)

hadoop fs -mkdir -p /user/tez
hadoop fs -put tez.tar.gz /user/tez

4.在hadoop/etc/hadoop下创建tez-site.xml文件并写上如下配置

vi tez-site.xml  
<configuration>                                                                                                                                                                                  
<property>  
<name>tez.lib.uris</name>  
<value>${fs.defaultFS}/user/tez/tez.tar.gz</value>  <!-- 这里指向hdfs上的tez.tar.gz包 -->  
</property>  
<property>  
<name>tez.container.max.java.heap.fraction</name>  <!-- 这里是因为我机器内存不足,而添加的参数 -->  
<value>0.2</value>  
</property>  
</configuration>

保存后将文件复制到别的节点

5.修改hadoop-env.sh追加下列几行

TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xml
TEZ_JARS=/usr/local/tez/apache-tez-0.9.0-bin
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

保存后将hadoop-env.sh分发到集群的各个节点。

6.重启hadoop

7.启动hive

set hive.execution.engine=tez; 
  • 这里写图片描述

如果想要恢复使用mapreduce

set hive.execution.engine=mr;
  •  

这里写图片描述

(从时间讲,速度似乎是快了三倍。yummm~~~)

8.在配置文件中设置执行引擎为tez
如果不想每次进入hive都

set hive.execution.engine=tez; 
  •  

可以在hive的conf目录下修改hive-site.xml

vi hive-site.xml
  •  

这里写图片描述
保存之后再重启,再执行操作就会默认执行引擎为tez了。


设置tez-ui

需要先安装Tomcat
1.找到war包
因为我安装的是bin所以在安装包中就有tez-ui-0.9.0.war
自己编译的话也有生成,在这里不做过多赘述。

2.将tez-ui部署在tomcat

#在webapps下创建tez-ui目录
mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#进入文件
cd  /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#解压war包
unzip tez-ui-0.9.0.war#编辑配置文件
vim config/configs.env

这里写图片描述

3.配置timelineserver
目录:/usr/local/hadoop/etc/hadoop

vim yarn-site.xml添加以下内容.然后分发到各个节点。

<!-- conf timeline server --><property><name>yarn.timeline-service.enabled</name><value>true</value></property><property><name>yarn.timeline-service.hostname</name><value>tmaster</value></property><property><name>yarn.timeline-service.http-cross-origin.enabled</name><value>true</value></property><property><name> yarn.resourcemanager.system-metrics-publisher.enabled</name><value>true</value></property><property><name>yarn.timeline-service.generic-application-history.enabled</name><value>true</value></property><property><description>Address for the Timeline server to start the RPC server.</description><name>yarn.timeline-service.address</name><value>tmaster:10201</value></property><property><description>The http address of the Timeline service web application.</description><name>yarn.timeline-service.webapp.address</name><value>tmaster:8188</value></property><property><description>The https address of the Timeline service web application.</description><name>yarn.timeline-service.webapp.https.address</name><value>tmaster:2191</value></property><property><name>yarn.timeline-service.handler-thread-count</name><value>24</value></property>
  • vim tez-site.xml添加下列几行,分发到各个节点。
<!--Configuring Tez to use YARN Timeline--><property><name>tez.history.logging.service.class</name><value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value></property><property><name>tez.tez-ui.history-url.base</name><value>http://192.168.205.70:8880/tez-ui/</value></property>
  • 4.启动hadoop

5.启动timelineserver

yarn-daemon.sh start timelineserver
  • 6.启动tomcat
/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh
  • 访问界面

http://192.168.205.70:8880/tez-ui/
这里写图片描述


参考资料:
1.Tez网站
2.Tez设计文档
3.The Stinger Initiative: Making Apache Hive 100 Times Faster
4.hive on tez

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/547918.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

启动成功浏览器显示不了_移动端利用chrome浏览器在PC端进行调试方法

由于最近工作中遇到需要在电脑上调试手机端的功能和样式&#xff0c;之前也没有遇到过&#xff0c;所以就各种百度和试验。最后终于功夫不负有心人&#xff0c;成功了。(那一刻心情真滴很鸡冻啊~~~~~~~~~)。所以暂时记录下来。以免鸡冻过度再给忘记了。好&#xff0c;接下来就是…

在maven本地仓库导入jar包

# Dfile jar包所在位置 DgroupId 指定groupId DartifactId 指定artifactId Dversion 指定版本 mvn install:install-file -DfileC:\Users\zlf\Desktop\mybatis-main\target\mybatis.jar -DgroupId"cn.bugstack.middleware" -DartifactIdmybatis -Dversion"1.0.…

Flink完全分布式集群安装

Flink支持完全分布式模式&#xff0c;这时它由一个master节点和多个worker节点构成。在本节&#xff0c;我们将搭建一个如下的三个节点的Flink集群。 一、Flink集群安装、配置和运行 Flink完全分布式集群搭建步骤如下&#xff1a; 1、配置从master到worker节点的SSH无密登录&…

一个4体低位交叉的存储器_前交叉韧带术后关节粘连的康复策略

ACL术后粘连的康复现状在国外&#xff0c;前交叉韧带ACL重建术后关节粘连的发生率为1%。在国内&#xff0c;由于多数医院在行前交叉韧带重建术后&#xff0c;对患者缺少及时、系统、科学的康复治疗&#xff0c;大部分患者由此易发生关节粘连&#xff0c;而往往关节粘连造成的功…

Maven多模块打包

在类似如下的场景中进行打包 lottery-rpc 将出现报错&#xff0c;原因是没办法将 lottery-common 一起打包进去。 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://…

hadoop 2.6.5 + hive 集群搭建

Hadoop 搭建&#xff1a;https://blog.csdn.net/sinat_28371057/article/details/109135056 hive 搭建 1. 系统环境 centos 7.3 Hadoop 2.7.3 jdk 1.8 MySQL安装在master机器上&#xff0c;hive服务器也安装在master上 hive版本: https://mirrors.cnnic.cn/apache/hive/hive…

光耦和开关频率

为什么80%的码农都做不了架构师&#xff1f;>>> TLP250&#xff0c;HCPL3120都可以 直接驱动小型IGBT&#xff0c;不需要加推挽管 6N137&#xff0c;没有推挽&#xff0c;OC上拉&#xff0c;到最后可能驱动速度还上不去 我们6N137&#xff0c;是用来驱动IPM的 电压…

配置babel_Babel 7 下配置 TypeScript 支持

本文将展示&#xff0c;如何使用 babel/preset-typescript 和 babel/preset-env 配置一个最小但完整的编译环境&#xff0c;打包工具使用 webpack4.41.2插件集 preset-typescriptpreset-typescript 是 Babel 提供的预设插件集之一&#xff0c;Babel 官方对其有一篇简短的介绍&a…

jQuery 计时器(jquery timers)简单应用

jquery timers 代码&#xff08;版本1.2&#xff09;&#xff1a; jquery timers /** * jQuery.timers - Timer abstractions for jQuery * Written by Blair Mitchelmore (blair DOT mitchelmore AT gmail DOT com) * Licensed under the WTFPL (http://sam.zoy.org/wtfpl/). …

服务器改用ssh文件登录

首先在服务器生成密钥 ssh-keygen -t rsa -b 4096 将 id_rsa.pub的内容导入到 authorized_keys文件中&#xff0c;这样远程登录时用id_rsa文件登录会与authorized_keys中的文件进行验证。 cat id_rsa.pub >> authorized_keys 关闭ssh密码登录 在 /etc/ssh 下的sshd_conf…

Spark集群完全分布式安装部署

Spark集群完全分布式安装部署下载安装配置Spark 1spark-envsh配置2slaves配置3profile配置复制到其他节点测试总结 Spark集群完全分布式安装部署 本文中所提到的Spark集群所用的系统环境是Centos6.5&#xff0c;共4个节点&#xff0c;前提是Hadoop、JDK都已经安装配置好了&…

抛出错误_不用try catch,如何机智的捕获错误

这是多个feature组合使用后实现的神奇效果&#xff0c;在React源码中被广泛使用。当我读源码看到这里时&#xff0c;心情经历了&#xff1a;懵逼 -- 困惑 -- 沉思 -- 查文档 -- 豁然开朗看完此文&#xff0c;相信你也会发出感叹&#xff1a;还能这么玩&#xff1f;起源我们知道…

使用Jenkins从gitlab拉取代码并部署以及gitlab更新代码后自动构建

使用Jenkins从gitlab上拉取代码&#xff0c;使用ssh。 创建Jenkins服务器的SSH密钥对&#xff1b;为相应的Gitlab用户添加密钥对的公钥&#xff0c;相当于Jenkins拉取代码时&#xff0c;使用的是该Gitlab用户&#xff0c;拥有其相应的代码克隆权限&#xff1b;Jenkins添加密钥…

CentOS7.0下Hadoop2.7.3的集群搭建

集群服务器规划 使用3台CentOS-6.8虚拟机进行集群搭建 服务ip主机名称用户HDFSYARNhadoop1192.168.1.40hadoop1root NameNode,Datenode,SecondaryNameNodeResourceManager,NodeManager,hadoop2192.168.1.39hadoop2rootDatenodeNodeManagerhadoop3192.168.1.38hadoop3rootDate…

第五章(1)Libgdx应用框架之生命周期

生命周期 一个libgdx应用有一个良好定义的生命周期&#xff0c;管理应用的状态&#xff0c;比如创建&#xff0c;暂停和恢复&#xff0c;渲染和处理应用。 ApplicationListener 应用开发者通过实现ApplicationListener接口来调整生命周期&#xff1a; publicclassMyGameimpleme…

ssh-copy-id 命令快速实现ssh远程免密登录

用ssh-copy-id将公钥复制到远程机器中 将本地公钥拷贝至 用户名为root的远程主机上 ssh-copy-id -i ~/.ssh/id_rsa.pub root192.168.150.128/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/var/jenkins_home/.ssh/id_rsa.pub" /usr/bin/ssh-copy…

Win10配置VSCode+Opencv3(C++) GCC环境

环境清单&#xff1a; win10 _64位系统 VSCode&#xff1a;官网地址 Opencv&#xff1a;3.4.5 Cmake&#xff1a;3.9.0 MinGw&#xff1a;MinGW-W64 GCC-8.1.0&#xff08;x86_64-posix-seh&#xff09; MinGW配置&#xff1a; MinGW可以在线安装&#xff0c;也可以直接…

c#生成一组不同的随机数的方法

代码 #region生成不同随机数的方法///<summary>///生成不同随机数的方法///</summary>///<param name"min">最小值</param>///<param name"max">最大值</param>///<param name"count">取xx个</par…

python实验二报告_20172304 2019-2020-2 《Python程序设计》实验二报告

20172304 2019-2020-2 《Python程序设计》实验二报告课程&#xff1a;《Python程序设计》班级&#xff1a; 1723姓名&#xff1a; 段志轩学号&#xff1a;20172304实验教师&#xff1a;王志强实验日期&#xff1a;2020年4月15日必修/选修&#xff1a; 公选课1.实验内容设计并完…

安装minikube

下载安装 kubectl sudo curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl && sudo chmod x kubectl && sudo mv kubectl /us…