Hadoop学习总结(Hive的远程服务、数据模型操作、数据操作)

      在启动hive时要先启动Hadoop。

在SecurityCRT 或者在 Xshell 进行虚拟机链接

(这里使用Xshell )

一、Hive 的管理

1、CLI 方式

(1)启动 Hive

直接输入 hive

(2)退出

直接输入以下一条命令,命令如下:

exit;
quit;

(3)查看数据仓库中的表

命令如下:

show tables;

(4)查看数据仓库中的内置函数

命令如下:

show functions;

以上结果是还未截图完的

(5)清屏

命令如下:

!clear;

2、远程服务

      在启动hive时要先启动Hadoop。先启动hive 然后再启动 hiveserver2

      输入 hiveserver2 之后不需要在操作,不能关闭当前会话,复制一个会话

复制新的会话,以下操作在新会话中

在新会话中输入 jps 进行查看,出现图片以下进程,表示启动 hiveserver2 成功

进行数据库远程连接

输入远程连接命令
beeline输入远程连接协议,连接到指定 Hive 服务(hadoop0)的主机名和端口号(默认10000)
!connect jdbc:hive2://hadoop0:10000输入用户名和密码查看数据库
show databases;

      执行 show databases; 命令成功,说明远程连接成功。

二、数据模型操作

1、Hive 数据库操作

(1)创建一个数据库

语法:
create database 数据库名;

(2)显示数据库

​语法:
show databases;

(3)查看数据库详情

语法:
desc database 数据库名;

(4)切换数据库

语法:
use 数据库名;

(5)修改数据库

语法:
alter 数据库名 set dbproperties
(property_name = property_value,...)

(6)删除数据库

语法:
drop database 数据库名;

2、Hive 内部表的操作

创建一个数据表

创建一个数据表
create table complex(
col1 array<int>,
col2 map<int,string>,
col3 struct<a:string,b:int,c:double>);查看数据表
show tables;

(1)基本类型建表

      为了方便操作克隆一个新的会话

      首先在hadoop0的 /home 目录下 创建 hivedata 目录,在该文件下创建 user.txt 文件,并添加以下内容:

user.txt

1,allen,18

2,tom,23

3,jerry,28

进入 /home 目录
cd /home创建 hivedata 目录
mkdir hivedata查看
ll进入 hivedata 目录
cd hivedata创建 user.txt 文件,并添加内容
vi user.txt查看 user.txt 文件内容
cat user.txt

建表语法:

create table t_表名(字段1 字段类型, 字段2 字段类型, ...) row format 
delimited fields terminated by '字符分隔符';

法一:

创建数据表

      创建表中的 ',' 表示在数据中用 , 来间隔

create table t_user(id int,name string,age int) row format delimited fields terminated by ',';

把文件 user.txt上传到 hdfs集群上

上传命令

hadoop fs -put user.txt /user/hive/warehouse/itcast.db/t_user

查看数据表,就能看到数据

法二:

创建数据表

      创建表中的 ',' 表示在数据中用 , 来间隔

create table t_user(id int,name string,age int) row format delimited fields terminated by ',';

将数据加载到 hdfs上

load data local inpath '/home/hivedata/user.txt/' into table t_user;
select * from t_user;

(2)删除数据表

drop table 数据库名;

(3)复杂类型建表

建表语句:

create table t_表名(字段1 字段类型, 字段2 字段类型, ...) 
row format delimited fields terminated by '字符分隔符'
collection items terminated by '字符分隔符' 
map keys terminated by '字符分隔符';

例子:

      首先创建一个文件名为student.txt添加以下内容

将内容上传到虚拟机上

查看

创建表:

create table t_student(id int, name string, hobby map<string, string>) 
row format delimited fields terminated by ',' 
collection items terminated by '-' 
map keys terminated by ':';

加载驱动:

load data local inpath '/home/hivedata/student.txt/' into table t_student;

查询表: 

select * from t_student;

3、Hive 外部表的操作

      首先在HDFS上创建文件夹,传输数据到文件夹上

创建文件夹
hadoop fs -mkdir /hivedata
传输数据
hadoop fs -put /home/hivedata/user.txt /hivedata

建表语句:

create external table t_表名(字段1 字段类型, 字段2 字段类型, ...) row format 
delimited fields terminated by '字符分隔符'  location 'hdfs上的文件路径'
1、创建表
create external table t_表名(字段1 字段类型, 字段2 字段类型, ...) row format 
delimited fields terminated by '字符分隔符'  location 'hdfs上的文件路径'2、装载数据(上传到HDFS) /home/hivedata/student.txt --> 表所在的文件夹(/user/hive/warehouse/itcast.db/t_student)

创建表:

create external table t_student2(id int,name string ,age int) row format delimited fields terminated by ',' location '/hivedata';

查询表:

select * from t_student2;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/972.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

预付费电表管理系统:WEB端的高效解决方案

1.系统概述 预付费电表管理系统&#xff0c;尤其是基于WEB端的版本&#xff0c;是一种现代化的电力管理工具&#xff0c;旨在提高能源效率&#xff0c;优化电费支付流程&#xff0c;并提供实时的用电数据监控。它通过互联网技术&#xff0c;使得用户能够在线充值、查询电量、远…

如何排查oracle连接数不足问题

最近oracle数据库莫名其妙的连接不上&#xff0c;plsql连接报错&#xff0c;sqlplus终端打开时提示ora-00020错误&#xff0c;下面记录一下本次问题的解决过程。 1.sqlplus 登录数据库 show parameter processes;–当前默认配置的process是多少。 select count(*) from v$pr…

开源全方位运维监控工具:HertzBeat

HertzBeat&#xff1a;实时监控系统性能&#xff0c;精准预警保障业务稳定- 精选真开源&#xff0c;释放新价值。 概览 HertzBeat是一款深受广大开发者喜爱的开源实时监控解决方案。它以其简洁直观的设计理念和免安装Agent的特性&#xff0c;实现了对各类服务器、数据库及应用…

一次性找出数组中的最小值和次小值

一次性找出数组中的最小值和次小值 代码&#xff1a; #include <stdio.h> int main() {int arr[] {5, 4, 6, 3, 9, 12, 35, 42, 18, 29, 30};int min arr[0], submin arr[0];for (int i 0; i < sizeof(arr) / sizeof(arr[0]); i){if (arr[i] < min){submin m…

Youtube DNN

目录 1. 挑战 2. 系统整体结构 3.召回 4. 排序 5. 训练和测试样本的处理 1. 挑战 &#xff08;1&#xff09;规模。很多现有的推荐算法在小规模上效果好&#xff0c;但Youtobe规模很大。 &#xff08;2&#xff09;新颖度。Youtobe语料库是动态的&#xff0c;每秒都会有…

前后端连接完后的各种安全问题

前后端连接完后的各种安全问题&#xff1a; 当我们完成前后端链接后&#xff0c;这只是第一步&#xff0c;接下来各种安全问题才是前后端交互的重中之重。 后端&#xff1a; 一.管理员 当前端把账号密码之类的用户信息传来后端后&#xff0c;我们还需要一个管理员来保存这些…

芯片数字后端设计入门书单推荐(可下载)

数字后端设计&#xff0c;作为数字集成电路设计的关键环节&#xff0c;承担着将逻辑设计转化为物理实现的重任。它不仅要求设计师具备深厚的电路理论知识&#xff0c;还需要对EDA工具有深入的理解和熟练的操作技能。尽管数字后端工作不像前端设计那样频繁涉及代码编写&#xff…

VTK----VTK数据结构详解(几何篇)

在讲VTK的数据结构之前,我们先了解可视化数据的两个特征:离散性、有规则或无规则。 离散性。当我们使用计算机去表示我们的数据时,一般都是基于有限数量的点做信息的采样(或插值),因此可视化的数据是以一种离散的方式表示的。有规则或无规则(也叫结构化或非结构化)。针…

从0开始深入理解Spring(1)--SpringApplication构造

从0开始深入理解Spring-启动类构造 引言: 从本篇开始&#xff0c;打算深入理解Spring执行过程及原理&#xff0c;个人理解极有可能有偏差&#xff0c;评论区欢迎指正错误&#xff0c;下面开始进入正片内容。 ps: springboot版本使用2.4.8 Springboot项目启动时&#xff0c;是通…

PMSM MATLAB

// s-function搭建变参数PMSM模型 永磁同步电机dq轴电感和其内部结构有何关系&#xff1f;​​​​​​​ 矢量控制&#xff0c;SVPWM开关频率一般20kHZ&#xff0c;是不是开关频率提越高控制效果越好&#xff1f;频率提高有没有意义&#xff1f; 一般来说&#xff0c;电机电…

【Leetcode】链表专题

leetcode链表专题 主要根据CSview一个校招刷题准备网站 做这个网站的人真的很厉害&#xff01;进行整理 太困了&#xff0c;一学习就困&#xff0c;来刷刷题 文章目录 leetcode链表专题前言一、leetcode 206.反转链表1.题目描述&#xff1a;2.主要有两种方法&#xff0c;迭代法…

发送钉钉、邮件、手机信息

其中下列部分用到了Hutool中的工具,可先导入Hutool依赖 <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.16</version></dependency>钉钉 public void sendDingDing(PoMaster poMa…

Ugee手写板Ex08 S在不同软件中的设置

手写笔的结构 功能对应于鼠标的作用笔尖鼠标左键上面第一个键鼠标右键&#xff08;效果有时候也不完全等同&#xff09;上面第二个键鼠标中键 以下测试的软件版本 软件版本windows10WPS2024春季16729Office2007SimpleTex0.2.5Ex08 S驱动版本4.2.4.231109 WPS-word ①点击审…

《R语言与农业数据统计分析及建模》学习——创建与访问数据框

1、数据框的概念和特点 数据框是二维的表格形式数据结构&#xff0c;是R语言中最常用的数据结构之一。有如下特点&#xff1a; &#xff08;1&#xff09;异质性&#xff1a;各列不同的数据类型 &#xff08;2&#xff09;命名索引&#xff1a;每列都有一个名称 &#xff08;3&…

开源Windows12网页版HTML源码

源码介绍 开源Windows12网页版HTML源码&#xff0c;无需安装就能用的Win12网页版来了Windows12概念版&#xff08;PoweredbyPowerPoint&#xff09;后深受启发&#xff0c;于是通过使用HTML、CSS、js等技术做了这样一个模拟板的Windows12系统&#xff0c;并已发布至github进行…

go并发编程以及socket通信的理解

go并发编程以及socket通信的理解 文章目录 go并发编程以及socket通信的理解一、管道的简单使用二、go中的socket实现通信 一、管道的简单使用 " golang不是通过共享内存来通信&#xff0c;而是通过通信来共享内存 " 1、go简单初始化 // golang不是通过共享内存来通…

蓝桥杯2024年第十五届省赛真题-小球反弹

以下两个解法感觉都靠谱&#xff0c;并且网上的题解每个人答案都不一样&#xff0c;目前无法判断哪个是正确答案。 方法一&#xff1a;模拟 代码参考博客 #include <iostream> #include <cmath> #include <vector>using namespace std;int main() {const i…

(二十)C++自制植物大战僵尸游戏僵尸进攻控制实现

植物大战僵尸游戏开发教程专栏地址http://t.csdnimg.cn/8UFMs 文件位置 实现功能的代码文件位置在Class\Scenes\GameScene文件夹中&#xff0c;具体如下图所示。 ZombiesAppearControl.h /* 僵尸出现波数控制 */ class ZombiesAppearControl { public:/***对于进攻的不同波数…

【吊打面试官系列】Java高并发篇 - 如何停止一个正在运行的线程?

大家好&#xff0c;我是锋哥。今天分享关于 【如何停止一个正在运行的线程&#xff1f;】面试题&#xff0c;希望对大家有帮助&#xff1b; 如何停止一个正在运行的线程&#xff1f; java如何停止一个正在运行的线程? 在Java中&#xff0c;可以使用Thread.stop()方法来停止一…

Android自带模拟器如何获得ROOT权限

如果在模拟器中不能切换到root权限&#xff0c;很可能是镜像使用的不对。 一.选择镜像标准&#xff1a; 1.运行在PC端选X86_64镜像&#xff0c;才能流畅运行 2.不带google api的镜像 二.步骤 在虚拟机管理器中新建AVD&#xff0c;并下载符合要求的镜像文件 三.验证