oracle批量update数据_东方国信大数据面试真题

东方国信

2d41c9372c0508fd832408c3e71cdee5.png

学长1

Hadoop工程师笔试题(金融事业部)

1)技术基础题(共十题,每题5分)

(1)列举在Linux系统下可以在看系统各项性能的工具(区分CPU、内存、硬盘、网络等)

(2)HDFS写入数据的实现机制

(3)Yarn支持的调度器及管理硬件资源种类

(4)如何决定一个job的map和reduce的数量

(5)在map、reduce 迭代模型中,如何实现数据去重

(6)简单描述HBase的rowkey设计原则

(7)HBase海量历史数据入库方案

(8)Hive中内部表与外部表的区别

(9)Hive中UDF、UDAF、UDTF的区别

(10)Spark Job运行架构

2)场景设计题(共二题,每题10分)

假设海量小文件使用HBase进行管理,要求对一批文件进行批量存储,并支持对单文件进行更新操作,保留历史版本信息。查询时可根据批次号获取该批次的全部文件内容,也可根据文件标识可获取单文件内容,支持最新版本及所有版本查询。根据业务场景,设计HBase存储方案。

学长2

大数据工程师笔试题

1)理论题

(1)HDFS的存储机制是什么?

(2)mapreduce的工作原理,请举个例子说明mapreduce是怎么运行的?Combiner的作用?

(3)简单介绍对Hadoop的理解,包括系统架构和Hadoop整个生态系统,详细介绍工作中曾用到过的?

(4)对流式计算storm的认识?其与Spark streaming有何区别?项目中应用到storm的应用场景简介。

2)实践题

(1)利用Spark或者mapreduce或者hive(要求建表)编写搜索日志分析:用户在0点12点对各个APP的搜索量。搜索日志存放路径为/input/data.txt.文件用竖线分割,第一列为时间字段,第三列为APP名称。字段名及字段类型可自己定义。

日志内容如下:

00:00:0012982199073774412|[网易新闻]|8|3

00:01:00|0759422001082479|[今日头条|1|1

13:01:00|2982199073774412|[网易新闻]|1|1

14:30:00|07594220010824791|今日头条]1|1

(2)现有图书管理数据库的三个数据模型如下:

图书(数据表名:BOOK)

c30658ebd2416e5c2825d486052ae1d3.png

读者(数据表名:READER)

3c0fd65bb7906147660b17fe92c21e39.png

借阅记录(数据表名:BORROW LOG)

369efa81b93ef797c34d64f7732161b2.png

(1)创建图书管理库的图书、读者和借阅三个基本表的表结构。请写出建表语句。(Oracle实现)

(2)找出姓李的读者姓名(NAME)和所在单位(COMPANY)。(Oracle 实现)

(3)查找“高等教育出版社”的所有图书名称(BOOK_NAME)及单价(PRICE),结果按单价降序排序。(Oracle实现)

(4)查找价格介于10元和20元之间的图书种类(SORT)出版单位(OUTPUT)和单价(PRICE),结果按出版单位(OUTPUT)和单价(PRICE)升序排序。(Oracle 实现)

(5)查找所有借了书的读者的姓名(NAME)及所在单位(COMPANY)。(Oracle实现)

(6)求”科学出版社”图书的最高单价、最低单价、平均单价。(Oracle实现)

(7)找出当前至少借阅了2本图书(大于等于2本)的读者姓名及其所在单位。(Oracle实现)

(8)考虑到数据安全的需要,需定时将“借阅记录”中数据进行备份,请使用一条SQL语句,在备份用户bak下创建与“借阅记录”表结构完全一致的数据表BORROW_LOG_BAK.井且将“借阅记录”中现有数据全部复制到BORROW_1.0G_ BAK中。(Oracle实现)

(9)现在需要将原Oracle数据库中数据迁移至Hive仓库,请写出“图书”在Hive中的建表语句(Hive实现,提示:列分隔符|;数据表数据需要外部导入:分区分别以month_part、day_part 命名)

(10)Hive中有表A,现在需要将表A的月分区 201505 中 user_id为20000的user_dinner字段更新为bonc8920,其他用户user_dinner字段数据不变,请列出更新的方法步骤。(Hive实现,提示:Hlive中无update语法,请通过其他办法进行数据更新)

7.SQL优化题

(1)SELECT TAB_NAME FROM TABLES WHERE TAB_NAME =

(SELECT TAB_NAME FROM TAB_COLUMNS WHERE VERSION=604)AND DB_VER=(SELECT DB_VER FROM TAB_COLUMNS WHERE VERSION = 604),

考虑到过多子查询造成SQL性能下降,请针对上述SQL.语句进行优化,提升执行效率(Oracle实现)

UPDATE EMP SET EMP_CAT =(SELECT MAX(CATEGORY)FROM EMP_CATEGORIES),SAL_RANGE=(SELECT MAX(SAL RANGE)FROM EMP_CATEGORIES)WHERE EMP_DEPT = 0020,在含有子查询的SQL语句中,过多对表的查询会造成SQL性能下降,请针对上述SQL.语句进行优化,提升执行效率(Oracle实现)

EMP表数据量很大,user_id存在空值,以下语句会造成数据处理结果存储倾斜,请提供优化策略解决数据倾斜问题。(注:数据倾斜由关联字段空值引起,Hive实现)

SELECT* FROM EXP A  JOIN  DEPT B ON A.USER_ID= B.USER_ID

(2)Hbase 常用基本命令,创建表,添加记录,查看记录,删除记录。

文章来源:尚硅谷大数据培训

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/261907.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android 搜狗地图包名,搜狗地图(免费语音导航)

权限信息 读取您的USB存储设备中的内容 android.permission.REQUEST_INSTALL_PACKAComGES android.permission.RECEIVE_USER_PRESENT 完全的网络访问权限 android.permission.ACCESS_BACKGROUND_LOCATION 大致位置(基于网络) 精确位置(基于GPS和网络) 查看网络连接 修改或删除您…

eclipse定制化配置调优、初始化配置指南、可以解决启动慢等问题

配置eclipse的jvm参数 打开eclipse根目录下的eclipse.ini在最后面加上如下的jvm参数 -Xms400m -Xmx1400m -XX:NewSize128m -XX:MaxNewSize512m -XX:PermSize96m -XX:MaxPermSize128m -server -XX:CompileThreshold100 -XX:UseParNewGC -XX:UseConcMarkSweepGC -XX:CMSInitiatin…

SEC SOC Test Board 在WIN 7下的安装

首先找到“设备和打印机”点击打开 如果你插上了USB线,会看到,安装不成功时会有个“!” 双击它,出现 点击“属性”,出现 点击“改变设置”,出现 点击“更新驱动程序”,出现 点击进去&#xff0c…

ora-00054:resource busy and acquire with nowait specified解决方法

当某个数据库用户在数据库中插入、更新、删除一个表的数据,或者增加一个表的主键时或者表的索引时,常常会出现ora-00054:resource busy and acquire with nowait specified这样的错误。主要是因为有事务正在执行(或者事务已经被锁&#xff09…

吴枫 python小课怎么样_编程中,有哪些好的习惯从一开始就值得坚持?

电影《喜剧之王》里,周星驰饰演的尹天仇,是一个渴望成为真正的演员,却不断沦为落魄跑龙套的小人物。即便如此,他对演戏的态度始终认真而可敬。他每天不但锲而不舍寻找演戏机会,还在街坊福利社开了个戏剧训练班&#xf…

android常用控件实验报告,ui设计实验报告.doc

ui设计实验报告ui设计实验报告篇一:UI设计实验报告实验项目四:UI设计一、 实验目的和要求1、熟练运用Eclipse软件中的swing设计。2、掌握UI编写的软件。3、能都熟练的进行操作,理解每个按钮的含义并懂得修改参数。4、理解其幕后的Java代码。二…

星期三,今天早上上了四节JS课程,下午听健康讲座,晚上装系统

星期三,今天早上上了四节JS课程,下午听健康讲座,晚上装系统。我想说装系统是最浪费时间的,以前大一的时候,有一段时间喜欢上装系统,我去有时候一个系统装了两三天,因为有很多问题。 ~ 后面就不研…

在欲而无欲,居尘不染尘

僧人竺法深在东晋简文帝处作客,刘尹问:「法师是学道之人,为什么要来官宦之门中走动?」竺法深回答说:「你自见这是朱门高第,在贫道眼里,同走在茅屋草舍间并无任何差别。」   法师的境界&#x…

设置width不生效_关于padding被计算在width中问题——box-sizing相关

前一阵子遇到一个小问题,在同样的样式(主要是宽高边距之类的)条件下,DIV在移动端和PC端的宽度不一样,排除了绝大多数样式的问题,但是有个比较陌生,就是box-sizing,其实经常看到&…

C# 遍历List 并删除某个元素

1、我们选择用for循环, for(int i0;i { if(list[i]) { list.RemoveAt(i); } } 如果这样循环,肯定不对, {A B C D E F G H} 假设当前遍历到D(i3),移除,接着遍历i4(F), 此时跳过了E(i3&a…

android studio不能更新代码,解决Android Studio 和 Android SDK Manager 无法在线更新的问题....

升级时提示 Connection failed. Please check your network connection and try again修改安装目录下bin\studio.exe.vmoptions文件,如E:\Android\android-studio\bin\studio.exe.vmoptions添加内容:-Djava.net.preferIPv4Stacktrue-Didea.updates.urlhttp://dl.google.com/and…

我的Python成长之路---第六天---Python基础(19)---2016年2月20日(晴)

shelve模块shelve模块是pickle模块的扩展,可以通过key,value的方式访问pickle持久化保存的数据持久化保存:12345678910111213import shelvesw shelve.open(shelve_test.pkl) # 创建shelve对象name [13, 14, 145, 6] # 创建一个列表dist_tes…

NH3.X与2.X使用上的一些区别

NH用了很长时间一直都是用2.X版本&#xff0c;今天体验了一下3.3。记录一下两者使用上的一些区别。 一、代理 //2.x 写法 <property nameproxyfactory.factory_class>NHibernate.ByteCode.Castle.ProxyFactoryFactory, NHibernate.ByteCode.Castle</property>//3.X…

(转)DirectShow9在VS2005或vc6.0下编译出现问题的解决方法

1。我用的版本是DirectX9.0b &#xff0c;没有安装&#xff0c;直接解压后放到一个文件夹里用 2。我按照以下的步骤操作成功。明天试着做个播放器。 VFW(Video for Windows)是Microsoft推出的关于数字视频的一个软件开发包;DirectShow是微软公司在VFW的基础上推出的新一代基于C…

apache 设置404 页面_SpringBoot自定义错误页面

SpringBoot请求错误如404可能看到如下页面&#xff1a;有时可能需要自定义错误页面针对不同的http.status,如404/400。【1】解决方法① 注册错误页面如下所示&#xff1a;Componentpublic class ErrorPageConfig implements ErrorPageRegistrar { Override public void r…

ios android cpu占用率,iPhone-iOS-从应用程序获取CPU使用率

iPhone-iOS-从应用程序获取CPU使用率有谁知道如何获取应用程序的CPU使用率&#xff1f; 绝对有可能&#xff0c;因为应用商店中有一些可以显示它的应用程序(活动监视器触摸)。3个解决方案74 votes更新。 这段代码为我工作&#xff1a;更新2。thread_list泄漏&#xff0c;因此添…

Java 编程:如何提高性能?(简单总结篇)

2019独角兽企业重金招聘Python工程师标准>>> 开发者在编程中除了要有编程规范&#xff0c;还要注意性能&#xff0c;在 Java 编程中有什么提高性能的好办法呢&#xff1f; 本文转自国内 ITOM 行业领军企业 OneAPM Cloud Insight&#xff08;一款能够优雅监控多种操作…

ActiviteX 服务控件

ActiviteX 控件和ActiviteX 服务(dll ,exe) ActiveX 控件是由软件提供商开发的可重用的软件组件 我们可以使用vb自己编写控件,他们三个都是对过程 ,类,等功能块的封装. 区别就是在vb中使用ActiviteX控件的时候要先实例化..比如画出控件. 而使用ActiviteX时是先注册.然后再引用中…

mysql没有开启binlog能恢复数据吗_神了!一个妹子 rm -rf 把公司整个数据库删没了......

经历了两天不懈努力&#xff0c;终于恢复了一次误操作删除的生产服务器数据。对本次事故过程和解决办法记录在此&#xff0c;警醒自己&#xff0c;也提示别人莫犯此错。也希望遇到问题的朋友能找到一丝灵感解决问题。01事故背景安排一个妹子在一台生产服务器上安装 Oracle&…

PeerJS 0.1.7:一个用于浏览器内P2P的WebRTC封装器

Michelle Bu与Eric Zhang在3月6日发布了PeerJS 0.1.7&#xff0c;它封装了WebRTC。后者是W3C倡议的旨在促进浏览器内P2P通信的一种技术。 尽管WebSocket的作用发展迅速&#xff0c;但PeerJS代表的是之前由服务器组织数据传输的方式有了根本性转变。 Bu说&#xff1a;“WebSocke…