大数据学习第四天

文章目录

  • yaml 三大组件的方式
  • 交互流程
  • hive 使用
    • 安装mysql(hadoop03主机)
    • 出现错误
      • 解决方式
        • 临时密码
    • 卸载mysql (hadoop02主机)
    • 卸载mysql(hadoop01主机执行)
    • 安装hive
      • 上传文件
      • 解压
      • 解决版本差异
      • 修改hive-env.sh
      • 修改 hive-site.xml
      • 上传驱动包
      • 初始化元数据
      • 在hdfs 创建hive 存储目录
      • 启动hive的方式
      • 远程连接hive
      • 连接 hive
      • hive 默认存储路径

yaml 三大组件的方式

resoureManger
负责进行资源分配
nodeManger
一台机器一个负责管理本地资源信息
这个俩个属于(node,resoure)物理层组件
applicatiMange
负责程序运行和监控
这个属于一个app 组件信息

交互流程

交互流程有点高级了，有点看不懂了

hive 使用

安装mysql(hadoop03主机)

查看mariabdb文件

rpm -qa|grep mariadb

卸载mariaba 文件

rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps

查看mariadb文件

rpm -qa|grep mariadb

在这里插入图片描述

创建文件夹

mkdir -p /export/software/mysql

上传文件
到 /export/software/mysql/
在这里插入图片描述
执行安装

yum -y install libaio

解压文件


tar xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar

安装

rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

出现错误

在这里插入图片描述

解决方式

rpm -e mariadb-libs --nodeps

数据库初始化

  mysqld --initialize

更改属性组

 chown mysql:mysql /var/lib/mysql -R

启动mysql

  systemctl start mysqld.service

查看临时生成的密码


cat  /var/log/mysqld.log

在这里插入图片描述

临时密码

./%zZosea9T!

连接mysql

mysql -u root -p

更新密码

alter user user() identified by "hadoop";

授权

use mysql;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;
FLUSH PRIVILEGES;

mysql 停止 启动 状态

 systemctl stop mysqldsystemctl status mysqldsystemctl start mysqld

开机启动

systemctl enable  mysqld

在这里插入图片描述

查看是否成功开机自启动

systemctl list-unit-files | grep mysqld

卸载mysql (hadoop02主机)

查看mysql文件

 rpm -qa | grep -i mysql

卸载mysql信息

yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64 mysql-community-client-5.7.29-1.el7.x86_64 mysql-community-server-5.7.29-1.el7.x86_64

卸载mysql(hadoop01主机执行)

查询文件

find / -name mysql

删除mysql目录

 rm -rf /usr/lib64/mysql
rm -rf /usr/share/mysql

删除默认配置和日志

rm -rf /etc/my.cnf 
rm -rf /var/log/mysqld.log

安装hive

上传文件

在这里插入图片描述

解压

tar zxvf apache-hive-3.1.2-bin.tar.gz

解决版本差异

cd apache-hive-3.1.2-bin/
rm -rf lib/guava-19.0.jar
cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

修改hive-env.sh

cd conf

mv hive-env.sh.template hive-env.sh

vim hive-env.sh

export HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib

修改 hive-site.xml

vim hive-site.xml

添加配置文件信息

<configuration>
<!-- 存储元数据mysql相关配置 -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop03:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property><property><name>javax.jdo.option.ConnectionPassword</name><value>hadoop</value>
</property><!-- H2S运行绑定host -->
<property><name>hive.server2.thrift.bind.host</name><value>hadoop03</value>
</property><!-- 远程模式部署metastore metastore地址 -->
<property><name>hive.metastore.uris</name><value>thrift://hadoop03:9083</value>
</property><!-- 关闭元数据存储授权  --> 
<property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value>
</property>
</configuration>

上传驱动包

在这里插入图片描述

初始化元数据

cd /export/software/apache-hive-3.1.2-bin/bin/schematool -initSchema -dbType mysql -verbos

必须在这个目录下执行
在这里插入图片描述

在hdfs 创建hive 存储目录


hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

我们可以创建一个shell脚步执行命令

启动hive的方式

前台启动的方式

/export/server/apache-hive-3.1.2-bin/bin/hive --service metastore

cltr + c 可以退出前台启动的方式

前台启动开始dbug日志的方式

/export/server/apache-hive-3.1.2-bin/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console

后台启动的方式（推荐）

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &

beelin 拷贝到node2中的

scp -r /export/server/apache-hive-3.1.2-bin/ hadoop02:/export/server/

刚在遇到了一个小问题

24/04/23 15:36:38 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop03:10000
Could not open connection to the HS2 server. Please check the server URI and if the URI is correct, then ask the administrator to check the server status.
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop03:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)

查询到问题说没有启动hive服务的方式我们启动hive服务的方式我们进行测试一下

先杀死hive服务

jps - l -m

-l 输出具体名称
-m 输出具体pid
在这里插入图片描述

我们这里就可以找到hive pid重新启动hive的方式

kill -9 pid

这俩必须都需要执行，因为hive在metasore才可以访问数据服务

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &
nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &

远程连接hive

我们在hadoop03上做的方式把成功的hive拷贝到hadoop01上

scp -r /export/server/apache-hive-3.1.2-bin/ hadoop02:/export/server/

修改配置文件 core-site.xml

<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>

在这里插入图片描述
连接

/export/server/apache-hive-3.1.2-bin/bin/beeline
beeline> ! connect jdbc:hive2://hadoop03:10000
beeline> root
beeline> 直接回车

在这里插入图片描述

连接 hive

在这里插入图片描述

hive 默认存储路径

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/2621.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

pytorch-MNIST测试实战

pytorch-MNIST测试实战

目录 1. 为什么test2. 如何做test3. 什么时候做test4. 完整代码 1. 为什么test 如下图&#xff1a;上下两幅图中蓝色分别表示train的accuracy和loss&#xff0c;黄色表示test的accuracy和loss&#xff0c;如果单纯看train的accuracy和loss曲线就会认为模型已经train的很好了&a…
阅读更多...
23年新算法，SAO-SVM,基于SAO雪消融算法优化SVM支持向量机回归预测（多输入单输出）-附代码

23年新算法，SAO-SVM,基于SAO雪消融算法优化SVM支持向量机回归预测（多输入单输出）-附代码

SAO-SVM是一种基于SAO雪消融算法优化的支持向量机&#xff08;SVM&#xff09;回归预测方法&#xff0c;适用于多输入单输出的情况。下面是一个简要的概述&#xff0c;包括如何使用SAO-SVM进行回归预测的步骤&#xff1a; 步骤&#xff1a; 1. 数据准备&#xff1a; 收集并准…
阅读更多...
勾八头歌之RNN

勾八头歌之RNN

一、RNN快速入门 1.学习单步的RNN&#xff1a;RNNCell # -*- coding: utf-8 -*- import tensorflow as tf# 参数 a 是 BasicRNNCell所含的神经元数, 参数 b 是 batch_size, 参数 c 是单个 input 的维数&#xff0c;shape [ b , c ] def creatRNNCell(a,b,c):# 请在此添加代码…
阅读更多...
sprinboot+人大金仓配置

sprinboot+人大金仓配置

1. .yml 配置 spring:datasource:type: com.alibaba.druid.pool.DruidDataSource#driverClassName: dm.jdbc.driver.DmDriver## todo 人大金仓driverClassName: com.kingbase8.Driverdruid:## todo 人大金仓master:url: jdbc:kingbase8://111.111.111.111:54321/dbname?cu…
阅读更多...
粘合聚酰亚胺PI塑料材料使用UV胶的优势有哪些？ （三十四）

粘合聚酰亚胺PI塑料材料使用UV胶的优势有哪些？ （三十四）

聚酰亚胺PI难于粘接&#xff0c;在PI粘接方法中使用UV胶粘剂粘接PI的优势有哪些&#xff1f; 聚酰亚胺&#xff08;PI&#xff09;是一种具有耐高低温性能、高绝缘性、耐化性、低热膨胀系数的材料&#xff0c;广泛用于FPC基材和各种耐高温电机电器的绝缘材料。然而&#xff0c;…
阅读更多...
MySQL常见的约束

MySQL常见的约束

什么是约束&#xff1f; 限制&#xff0c;限制我们表中的数据&#xff0c;保证添加到数据表中的数据准确和可靠性&#xff01;凡是不符合约束的数据&#xff0c;插入时就会失败&#xff0c;插入不进去的&#xff01; 比如&#xff1a;学生信息表中&#xff0c;学号就会约束不…
阅读更多...
Java | Leetcode Java题解之第45题跳跃游戏II

Java | Leetcode Java题解之第45题跳跃游戏II

题目&#xff1a; 题解&#xff1a; class Solution {public int jump(int[] nums) {int length nums.length;int end 0;int maxPosition 0; int steps 0;for (int i 0; i < length - 1; i) {maxPosition Math.max(maxPosition, i nums[i]); if (i end) {end maxP…
阅读更多...
POP —— 简介

POP —— 简介

目录 Emitting Applying forces Reacting to surfaces Limiting particle speed Following a leader or leaders Swirling particles around vortex filaments Visualizing Forces Collisions Instancing and Rendering Sprite Particles Streams Writing particle…
阅读更多...
编程基础“四大件”

编程基础“四大件”

基础四大件包括&#xff1a;数据结构和算法,计算机网络,操作系统,设计模式 这跟学什么编程语言,后续从事什么编程方向均无关&#xff0c;只要做编程开发&#xff0c;这四个计算机基础就无法避开。可以这么说&#xff0c;这基础四大件真的比编程语言重要&#xff01;&#xff0…
阅读更多...
色温的介绍

色温的介绍

文章目录 色温的概念照明领域显示技术领域 色温的概念 色温是描述光源色彩特性的一个重要参数&#xff0c;通常用来表征光的暖冷程度。它以开尔文&#xff08;Kelvin&#xff0c;K&#xff09;为单位来表示&#xff0c;通常简写为K。色温越高&#xff0c;光线看起来就越接近于…
阅读更多...
如何用PHP语言实现远程语音播报

如何用PHP语言实现远程语音播报

如何用PHP语言实现远程语音播报呢&#xff1f; 本文描述了使用PHP语言调用HTTP接口&#xff0c;实现语音播报。通过发送文本信息&#xff0c;来实现远程语音播报、语音提醒、语音警报等。 可选用产品&#xff1a;可根据实际场景需求&#xff0c;选择对应的规格 序号设备名称1…
阅读更多...
比特币之路：技术突破、创新思维与领军人物

比特币之路：技术突破、创新思维与领军人物

比特币的兴起是一段充满技术突破、创新思维和领军人物的传奇之路。在这篇文章中&#xff0c;我们将探讨比特币发展的历程&#xff0c;以及那些在这一过程中发挥重要作用的关键人物。 技术突破与前奏 比特币的诞生并非凭空而来&#xff0c;而是建立在先前的技术储备之上。在密码…
阅读更多...
机器学习中常见的数据分析，处理方式(以泰坦尼克号为例)

机器学习中常见的数据分析，处理方式(以泰坦尼克号为例)

数据分析 读取数据查看数据各个参数信息查看有无空值如何填充空值一些特殊字段如何处理读取数据查看数据中的参数信息实操具体问题具体分析年龄问题 重新划分数据集如何删除含有空白值的行根据条件删除一些行查看特征和标签的相关性 读取数据 查看数据各个参数信息 查看有无空…
阅读更多...
TCP三次握手详解

TCP三次握手详解

目录 什么是TCP TCP头格式组成 三次握手 第一次握手 第二次握手 第三次握手 三次握手的好处 为什么需要三次握手&#xff1f; 什么是TCP 传输控制协议(TCP)是Internet一个重要的传输层协议。TCP提供面向连接、可靠、有序、字节流传输服务。 面向连接&#xff1a; 应用…
阅读更多...
百度糯米携手中山大学举办“开学流水宴”

百度糯米携手中山大学举办“开学流水宴”

热游圈消息&#xff1a; 百度糯米携手中山大学&#xff0c;于9月13日在“百团大战”游园会上举办了一场别开生面的“开学流水宴”&#xff0c;吸引了众多新生和百度糯米用户参与。这场长达20米的流水宴不仅为新生们带来了美味佳肴&#xff0c;更为他们提供了结交新朋友、增进同…
阅读更多...
编写你的第一个java 程序

编写你的第一个java 程序

1.安装 jdk 网址&#xff1a; Java Downloads | Oracle 一般我们安装jdk 17 就行了 自己练习 自己学习 真正的开发中我们使用jdk 8 这个是最适合开发java 应用程序的 当然你也可以选择你的 系统 来安装这个java 在文件资源管理器打开JDK的安装目录的bin目录&#xff0c;会发…
阅读更多...
pycharm远程连接server

pycharm远程连接server

1.工具–部署–配置 2.部署完成后&#xff0c;将现有的项目的解释器设置为ssh 解释器。实现在远端开发 解释器可以使用/usr/bin/python3
阅读更多...
ROC和AUC

ROC和AUC

什么是ROC和AUC ROC曲线&#xff08;Receiver Operating Characteristic curve&#xff09;和AUC&#xff08;Area Under the Curve&#xff09;是用于评估二分类模型性能的重要工具。 ROC曲线以真正例率&#xff08;True Positive Rate&#xff0c;也称为召回率或灵敏度&…
阅读更多...
Scala的函数至简原则

Scala的函数至简原则

对于scala语言来说&#xff0c;函数的至简原则是它的一大特色。下面让我们一起来看看分别有什么吧&#xff01; 函数至简原则&#xff1a;能省则省&#xff01; 初始函数 def test(name:String):String{return name }1、return可以省略&#xff0c;Scala会使用函数体的最后一…
阅读更多...
【Ubuntu20.04+Noetic】UR5e+Gazebo+Moveit

【Ubuntu20.04+Noetic】UR5e+Gazebo+Moveit

环境准备 创建工作空间 mkdir -p ur5e_ws/src cd ur5e_ws/srcUR机械臂软件包 UR官方没更新最新的noetic的分支，因此安装melodic，并需要改动相关文件。 安装UR的模型配置包，包里面有UR模型文件，moveit配置等： cd ~/ur5e_ws/src git clone -b melodic-devel https://git…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023