分布式数据库原理及技术实验及个人思考

Hive的数据库及表的存储结构体系讨论:

1.显示hive所在数据库的位置

方法一:一次性临时存储

>hive set hive.cli.print.current.db=true

方法二:永久存储

在conf文件夹下修改hive-site.xml配置文件,添加

<property>

 <name>hive.cli.print.current.db</name>

 <value>true</value>

</property>

实现永久显现
问题1、HIVE创建的默认数据库以及在默认数据库下面创建的表存储位置在哪里?

为查看hive创建的默认数据库及默认数据库下所创表的存储位置,在dafault数据库下创建一个表 kwwr,通过hdfs命令查找到kwwr表所在位置

首先

desc extended kwwr;

或者

desc formatted kwwr;

查看状况

hdfs fs -ls 查看文件所在位置

可知:

HIVE创建的默认数据库所在位置:/warehousedir/home

在默认数据库下面创建的表存储位置:/warehousedir/home/kwwr

问题2、HIVE创建自定义数据库mydb,并在mydb下面创建自定义表student,则mydbstudent的存储位置在哪里?

同样,查看自定义数据库mydb以及自定义表student的存储位置

可知:

HIVE创建的自定义数据库mydb数据库所在位置:/warehousedir/home/mydb.db

mydb数据库下面创建的表student存储:/warehousedir/home/mydb.db/student

讨论:分析默认数据库中表的存储位置和自定义数据库中的表的存储位置是否一样

不一样,

默认数据库中的表存储在特定的数据文件中,这些文件通常位于数据库服务器上的特定目录/warehousedir/home/(表名)。对于自定义数据库,它的存储位置通常是在数据库服务器的相应数据目录下/warehousedir/home/(所创建的数据库名).db/(表名)。

HDFS指令操作

hdfs shell 使用

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

hadoop fs -mkdir /usr;

-touchz 在hdfs上创建空白文件

hadoop fs -touchz /emptyfile

hadoop fs -ls /

1. -ls 显示当前目录结构

hadoop fs -ls /

后面如果没有目录就是访问/user/<当前用户>目录,即/user/root。

如果没有这个目录/user/root,会提示文件不存在的错误。

2. -lsr 递归显示目录结构

该命令选项表示递归显示当前路径的目录结构,后面跟hdfs路径。

hadoop fs -ls -R /usr

3. -du 统计目录下各文件大小

该命令选项显示指定路径下的文件大小,单位是字节

hadoop fs -du /usr

4. -dus 汇总统计目录下文件大小

该命令选项显示指定路径的文件大小,单位是字节

hadoop fs -du -s /usr

5. -count 统计文件(夹)数量

hdfs fs -count /usr

6. -mv 移动

该命令选项表示移动hdfs的文件到指定的hdfs目录中。

后面跟两个路径,第一个表示源文件,第二个表示目的目录.

hadoop fs -mv /usr/opt/data/student.txt  /usr

7. -cp 复制

该命令选项表示复制hdfs指定的文件到指定的hdfs目录中。

后面跟两个路径,第一个是被复制的文件,第二个是目的地.

hadoop fs -cp /usr/opt/data/student.txt  /usr

8.-rm 删除文件/空白文件夹

该命令选项表示删除指定的文件或者空目录

hadoop fs -rm /usr

-rmr 递归删除

9.-put 上传文件

该命令选项表示把linux上的文件复制到hdfs中 

hadoop fs -put /usr/opt/data/student.txt  /usr/data

??思考问题  -put后本地文件是否还有student.txt?-mv呢?-cp呢?

答:

-put后本地文件还存在原文件

-mv后本地文件不存在

-cp后本地文件还存在

10. -cat查看文件内容; -text

hadoop fs -cat /student.txt

11. -chmod 修改文件权限

hadoop fs -chmod 777 /emptyfile   777最高权限读写方式

12. get(从hdfs拷贝文件到本地)

hdfs  fs  -get  /usr/student.txt  /usr/opt/data

Hive下命令:

Create database location /testdata;

指定所存到的位置

hive 删除数据库报库内已存在表

Drop database if exists 数据库名 cascade;

思考:hadoop fs -mkdir /testdata
hive>create database fh1 location '/testdata/fh1.db';
hive>create table student(sid int, sname string);

如果使用drop database fh1;是否可以删除数据库fh1?

不可以


如果使用hive>drop database if exists fh1 cascade; 那么/testdata文件夹还是否存在?

可以删除掉数据库,但/testdata文件夹不存在了

但是如果默认数据库创建的位置,删去数据库后,默认存储文件夹/warehousedir/home不会消失

删去数据库mydb1后,显示结果:

实操实验:

1.将ah16表中满足条件:年龄在19到22岁之间且血型为A的学生名单查询输出到/exampleout目录下;

Hdfs创建文件系统:

将数据写入文件系统:

insert overwrite directory 'lexampleout'

row format delimited

fields terminated by','

select * from blood  

where age>19 and age<=22 and blood='A';

查看:

2、通过insert into ...values指令同时插入三条数据,是否需要启动mapreduce?

需要启动MR

3、update ... set...[where]指令需不需要启动Mapreduce? where 语句存在性是否会影响MR的启动?

update ... set...[where]指令需要启动MR;

where 语句存在性不影响MR的启动

  1. delete from与drop table的区别,两者是否需要启动mapreduce?

delete from需要启动MR

Drop table则不需要

直接删除表

  1. rename一个已有表的表名,如何实现,是否需要启动mapreduce?

不需要启动MR

只是修改元数据,而不是实际的数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/612432.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mySQL⾥有2000w数据,redis中只存20w的数据,如何保证redis中的数据都是热点数据

要确保Redis中只存储热点数据&#xff0c;你可以采取以下策略&#xff1a; 数据筛选: 在将数据插入MySQL之前&#xff0c;先通过某种算法或策略判断这条数据是否是热点数据。 可以基于数据的访问频率、时间戳或其他相关属性来决定是否将数据存储到Redis中。 LRU策略: 使用Re…

解决matplotlib中文乱码问题

一、修改配置文件&#xff0c;一劳永逸的方法 1. 首先&#xff0c;下载SimHei字体&#xff08;即SimHei.tff包&#xff09;下载地址&#xff1a;SimHei.ttf|字体下载 2. 下载好之后&#xff0c;找到matplotlib文件夹&#xff0c;如下图所示&#xff1a; 如果找不到matplotlib…

基于JavaWeb+BS架构+SpringBoot+Vue智能菜谱推荐系统的设计和实现

基于JavaWebBS架构SpringBootVue智能菜谱推荐系统的设计和实现 文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 文末获取源码 Lun文目录 目 录 目 录 III 第一章 概述 1 1.1 研究背景 1 1.2研究目的及意义 1 1.3…

Digital Audio (HDMI)未插入 用Hdmi连接电脑 显示高清数字音频未插入 win10电脑没声音,喇叭上一个叉❌

先说结论&#xff0c;出现这些问题的原因&#xff1a; 未插入音频设备或者硬件问题&#xff08;10%&#xff09;设置错误&#xff0c;未使用显示器音频 &#xff08;30%&#xff09;音频驱动不兼容或者没有驱动&#xff08;50%&#xff09;其他驱动有问题 &#xff08;10%&…

12. VTK上选取点(VTK7版本+VTK9版本)

这个专栏是用于记录我在学习VTK过程中的一些心得体会。参考的资料主要有以下三个&#xff1a; 1. 张晓东 罗火灵《VTK图形图像开发进阶》2. https://examples.vtk.org/site/3. 沈子恒 《VTK 三维数据渲染进阶》 遇到的一个大问题就是由于版本更新&#xff0c;这些资料中很多代…

“Tab“ 的新型可穿戴人工智能项链

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

少儿编程 2023年12月中国电子学会图形化编程等级考试Scratch编程三级真题解析(判断题)

2023年12月scratch编程等级考试三级真题 判断题 19、下列两段程序的运行效果相同 答案:对 考点分析:考查积木综合使用,重点考查循环积木的使用;左边属于有条件的循环,由变量的值控制,当变量值大于50时,循环停止,而变量始终为零,不满足条件,所以一直循环,和右边的…

DOM操作怎样添加、移除、移动、复制、创建和查找节点

DOM&#xff08;Document Object Model&#xff09;操作是JavaScript中用于操作HTML或XML文档的一种方式。下面是一些基本的DOM操作&#xff1a; 添加节点 使用appendChild()方法可以将一个节点添加到现有节点的子节点列表的末尾。 let newNode document.createElement(“p”…

Go语言的sync.Pool如何使用?使用场景具体有哪些?

sync.Pool 是 Go 标准库中提供的一个对象池&#xff08;Object Pool&#xff09;的实现。对象池是一种用于缓存和复用对象的机制&#xff0c;可以在一定程度上减轻内存分配的开销。sync.Pool 专门用于管理临时对象&#xff0c;适用于一些需要频繁创建和销毁的短暂对象&#xff…

Golang 泛型

前言 泛型是在Go 1.18版本中引入的&#xff0c;它允许编写可以在多种数据类型上工作的函数和数据类型。这样做可以增加代码的复用性并减少重复 使用 类型参数&#xff08;Type Parameters&#xff09;&#xff1a; 你可以在函数或类型定义上声明类型参数&#xff0c;使其具有…

白嫖aws创建Joplin server服务器

网上有很多的Joplin服务器的搭建教程&#xff0c;但是基本都是抄来抄去&#xff0c;对初学者实在是太不友好了。 话不多说&#xff0c;说干就干&#xff0c;自己从头找资料搭了一个&#xff0c;这可能是全网最好的Joplin服务器搭建教程了。 aws服务器 aws的服务器还是很香的&…

企业用WhatsApp营销的好处有哪些?

1.建立良好的客户关系 WhatsApp是全球用户喜爱的即时通信软件&#xff0c;使用WhatsApp与客户沟通&#xff0c;可拉进企业和客户双方的距离。使用WhatsApp会话和消息推送功能&#xff0c;企业和用户可实时开展消息对话&#xff0c;及时解决客户咨询与疑虑&#xff0c;构建便捷…

移动通信原理与关键技术学习之信道编解码(5)

先回顾调制的过程&#xff1a;调制就是对信号源的信息进行处理加到载波上&#xff0c;使其变为适合于信道传输的形式的过程&#xff0c;就是使载波随信号而改变的技术。 1.什么是IQ调制&#xff1f; 答&#xff1a;将数据分为两路&#xff0c;分别进行载波调制&#xff0c;两…

PIG框架学习2——资源服务器的配置详解

一、前言 1、pig资源服务器的配置 Spring Security oauth2相关的依赖是在pigx-common-security模块中引入的&#xff0c;其他模块需要进行token鉴权的&#xff0c;需要在微服务中引入pigx-common-security模块的依赖&#xff0c;从而间接引入相关的Spring security oauth2依赖…

39 C++ 模版中的参数如果 是 vector,list等集合类型如何处理呢?

在前面写的例子中&#xff0c;模版参数一般都是 int&#xff0c;或者一个类Teacher&#xff0c;假设我们现在有个需求&#xff1a;模版的参数要是vector&#xff0c;list这种结合类型应该怎么写呢&#xff1f; //当模版中的类型是 vector &#xff0c;list 等集合类型的时候的处…

【LeetCode】27. 移除元素(简单)——代码随想录算法训练营第1天

题目描述 给你一个数组 nums 和一个值 val&#xff0c;你需要 原地 移除所有数值等于 val 的元素&#xff0c;并返回移除后数组的新长度。 不要使用额外的数组空间&#xff0c;你必须仅使用 O(1) 额外空间并 原地 修改输入数组。 元素的顺序可以改变。你不需要考虑数组中超出…

R语言【base】——sample():随机取样和排列

Package base version 4.2.0 Description sample() 使用替换或不替换从参数【x】的元素中获取指定大小的样本。 Usage sample(x, size, replace FALSE, prob NULL)sample.int(n, size n, replace FALSE, prob NULL,useHash (n > 1e07 && !replace &&…

20240110在ubuntu20.04下重启samba服务

20240110在ubuntu20.04下重启samba服务 百度搜索&#xff1a;samba restart https://www.python100.com/html/78028.html 重启samba命令详解 更新&#xff1a;2023-05-17 16:04 一、重启samba命令 重启samba可以使用以下命令&#xff1a; /etc/init.d/smb restart 或者 syste…

中国智造闪耀CES | 木牛科技在美国CES展亮相多领域毫米波雷达尖端方案

素有全球科技潮流“风向标”之称的2024国际消费类电子产品展&#xff08;CES&#xff09;&#xff0c;于1月9-12日在美国拉斯维加斯会议中心举办。CES是全球最大的消费电子和消费技术展览会之一&#xff0c;汇集了世界各地优秀的消费电子和科技公司&#xff0c;带着最好的产品来…

uniapp项目怎么删除顶部导航栏

uniapp去掉顶部导航的方法&#xff1a; 1、去掉所有导航栏 "globalStyle": { "navigationBarTextStyle": "white", "navigationBarTitleText": "uni-app", "navigationBarBackgroundColor": "#007AFF"…