hive(II)--sql考查的高频问题

　　在了解别人hive能力水平的时候，不管是别人问我还是我了解别人，有一些都是必然会问的东西。问的问题也大都大同小异。这里总结一下我遇到的那些hive方面面试可能涉及的问题

　　1、行转列（列转行）

　　　　当我们建设数据仓库时，我们对来自OLAP的数据进行加工以便处理成维度模型。在维度模型设计的时候就需要面对这样的问题（其他时候可能也会用到）

　　　　数据准备

　　　　　　建表：create table shj_cnblogs(customer_id string,trans_year string,trans_amount int,product_name string) row format delimited fields terminated by ',';

　　　　　　导入数据：load data local inpath '/home/www/su*****n/sample/data.csv'  into table shj_cnblogs;

　　　　　　　　　　

　　　　行转列

　　　　　　上表是一个虚拟数据（业务含义：customer_id代表一个客户，其每年购买的产品和金额），希望将展示客户不同年份购买了多少以及产品。呈现的数据希望是这样的。

　　　　　　

　　　　　　这里我们的难点就是如何在行聚合时将产品行转列了，这就说到hive中的函数UDTF（表生成函数）。UDTF函数有：array/explode/collect_set/collect_list等。这里使用了collect_set，脚本为：

select customer_id,trans_year,sum(trans_amount) as total_fund,concat_ws(',',collect_set(product_name)) as all_product  from  shj_cnblogs group by customer_id,trans_year;
--（当遇到不懂得函数可以用命令查看解释：show function [extended] fun_name;）

 　　　　　　上面我们将多行转为一列，也可以转为多列。转多列使用的是collect_set的集合属性，通过调用集合元素实现多行转多列。

　　　　列转行

　　　　　　 假如我们虚拟了这样的数据来描述电影的表，想要将它的列拆分多行，该怎么办呢？

　　　　　　

　　　　　　这里我们使用explode函数，该函数输入的是一个数组，后将数组中的每个元素都作为一行来输出。但有一个明显的限制，不能与其他列共同使用。如果要包含其他列，则需要laterval view来实现。使用lateral view需要指定视图别名和生成的字段别人。

select film_id,actor_id,dd from shj_1 lateral view explode(split(feature_desc,',')) cc as dd ;[这里cc是视图别名，dd是字段别名]

　　　　假如这里需要列分割的不止一列，则使用两次lateral view来实现。比如说这里的actor_id列是多值分布的，则写法如下

select film_id,bb,dd from shj_1 lateral view explode(split(actor_id,',')) aa as bb lateral view explode(split(feature_desc,',')) cc as dd ;

　　　　执行后结果如图

　　　　

 

 　　2、窗口函数

　　　　在做OLAP分析或报表时，常常使用窗口函数能大幅度提升我们的分析效率。在说窗口函数前，请一定要记住：在SQL处理中，窗口函数都是最后一步执行，而且仅位于Order by字句之前.

　　　　窗口函数的关键字：over()，它帮助我们在行记录上实现聚合，我们既可以看到明细数据也可以看到聚合数据（使用中，发现窗口函数可以和聚合函数一起使用的，但注意！窗口函数是仅早于order by步骤。写sql时应注意两者之间是否存在冲突，这点容易出错。）。这里我们从一个样本数据出发（客户买东西场景），探索窗口函数的妙用（数据和内容参考博客：http://blog.csdn.net/qq_26937525/article/details/54925827，这篇博客写的真不错！）

jack,2015-01-01,10
tony,2015-01-02,15
jack,2015-02-03,23
tony,2015-01-04,29
jack,2015-01-05,46
jack,2015-04-06,42
tony,2015-01-07,50
jack,2015-01-08,55
mart,2015-04-08,62
mart,2015-04-09,68
neil,2015-05-10,12
mart,2015-04-11,75
neil,2015-06-12,80
mart,2015-04-13,94

　　　　I、认识窗口函数

　　　　我们先看看下面的三个sql语句的差异。第一个是传统的group by聚合函数，实现以name维度的聚合，展示客户的购买次数；第二个使用窗口函数，展示明细数据并聚合所有的购买次数（这里没有指定分区，则针对全表）；第三个先分组，对分组数据进行聚合，得出聚合的分组数。该sql可以也可写成select distinct name,count(*) over() from shj_2;

脚本1> select name,count(*) from shj_2 group by name order by name;
jack    5
mart    4
neil    2
tony    3
脚本2> select name,count(*) over() from shj_2 order by name;
jack    14
....
jack    14
mart    14
...
tony    14
脚本3> select name,count(*) over() from shj_2 group by name order by name;
jack    4
mart    4
neil    4
tony    4

 　　　　II、partition by下的序列函数

　　　　上面我们说的都是全表的情况，这里我们讨论一下分区的使用。在传统sql中，我们对数据进行除重清洗时会使用到row_number() over(partition by ...order by ...)语句，这其实就是一个窗口函数的应用案例。像row_number()这样的序列函数还有rank() over(partition by ...order by )；dense_rank() over(partiton by ... order by ...)【rank：有空位；dense_rank：没有空位】；ntile() over(partition by ... order by ...)；这些函数的工作机制：先分区（partition by关键字后的字段），再排序（order by后的字段），然后在分区中进行序列赋值（row_number从1开始赋值，ntile是根据指定字段进行切片，不均匀时增加前面的分组数）

　　　　示例：月度的消费排名

select name,orderdate,cost,rank() over(partition by month(orderdate) order by cost desc ) as rank_desc from shj_2;

　　　　

  　　　　III、聚合函数+over

　　　　前面提到的partition by可以将数据表以指定的分式进行分区，类似于row_number()等函数，我们也可以使用聚合函数（类似有sum/count/avg/），在使用聚合函数时，指定order by与否将影响整个聚合的效果。不指定时，聚合整个分区，指定order by时，则是以order by顺序累加聚合。说明：窗口函数之间是互不影响的。

--查看客户月度消费和增加，col1是随着时间增加的累加金额，col2是总金额
select name,orderdate,cost,sum(cost) over(partition by name order by orderdate) as col1,sum(cost) over(partition by name) as col2 
from shj_2 order by name, orderdate;

 　　　　

　　　　然而，分区函数的粒度还可以更加的细分，这里我们说到window子句，指定聚合的作用范围（分区中的范围）。这里我们需要order by来进行排序，否则无序的数据是毫无意义的。指定范围的关键字有：

　　　　PRECEDING：前面行

　　　　FOLLOWING：后面行

　　　　CURRENT ROW：当前行

　　　　UMBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING：表示到后面的终点

 　　　　这里我使用博客中的脚本和结果

select name,orderdate,cost,
sum(cost) over() as sample1,--所有行相加
sum(cost) over(partition by name) as sample2,--按name分组，组内数据相加
sum(cost) over(partition by name order by orderdate) as sample3,--按name分组，组内数据累加
sum(cost) over(partition by name order by orderdate rows between UNBOUNDED PRECEDING and current row )  as sample4 ,--和sample3一样,由起点到当前行的聚合
sum(cost) over(partition by name order by orderdate rows between 1 PRECEDING   and current row) as sample5, --当前行和前面一行做聚合
sum(cost) over(partition by name order by orderdate rows between 1 PRECEDING   AND 1 FOLLOWING  ) as sample6,--当前行和前边一行及后面一行
sum(cost) over(partition by name order by orderdate rows between current row and UNBOUNDED FOLLOWING ) as sample7 --当前行及后面所有行
from shj_2;

　　　　

 　　　　IV、常用的窗口函数

　　　　lag(var,n[defualt_value])：向后取上第n个数据（lag：有落后的意思）

　　　　lead(var,n[defualt_value])：向前取下第n个数据（lead：有领先的意思）

 　　　　first_value(var)：取分组内排序后，截止到当前行，第一个值

 　　　　last_value(var)：取分组内排序后，截止到当前行，最后一个值

select name,orderdate,cost,
lag(cost,1) over(partition by name order by orderdate) as first_lag_cost,    --上一次消费金额
lag(cost,2) over(partition by name order by orderdate) as second_lag_cost,   --上上一次消费金额
lead(cost,1) over(partition by name order by orderdate) as first_next_cost,  --下一次消费金额
lead(cost,2) over(partition by name order by orderdate) as first_next_cost,  --下下一次消费金额
first_value(orderdate) over(partition by name order by orderdate) as month_first_buy,  --客户首次购买的时间
last_value(orderdate)  over(partition by name order by orderdate) as month_last_buy  --分组后截止当前行客户最后购买时间
from shj_2;

 

 　　3、数据倾斜

　　　　倾斜的情况接触不多，总结一下我的理解和别人的看法。数据倾斜简单理解就是sql耗时长或在某一个reduce上半天不出结果。我们知道，hive是基于MR任务，如果在MR阶段数据分配不均衡，就会导致倾斜。数据处理时，首先会进行map阶段，对数据进行拆分并执行map函数，后根据partitioner接口，将数据分配到不同的reduce中进行最后的计算。理想情况下，数据均匀分配不会出现倾斜。但是由于partitioner本身是通过hash对key进行取模的特点存在一定问题，以及数据、脚本等原因，导致倾斜。处理数据倾斜，可以从sql、调整参数进行规避。

 　　　　I、SQL优化

　　　　　　a、Map-Join：在两张表进行关联时，将小表作为驱动表（左边），执行MR时左边的表会被写入缓存中（小表不会出现内存溢出）提升执行效率。方式1/：查询中添加/*+ MAPJOIN(SmallTableNmae)*/进行指定；方式2：设置系统参数自动判断，

set hive.auto.convert.join=true;（自动开户MAPJOIN优化）;set hive.mapjoin.smalltable.filesize=10000000;（设置100M时自动启用）

 

　　　　　　b、进行不适用distinct count；可以替换成group by

　　　　　　c、处理大表时，进行列裁剪（字段选择），fiter操作（where条件限定）来减小任务文件

　　　　2、参数设置

　　　　　　a、hive.map.aggr=true；允许map端进行combiner操作（相当于reduce）

　　　　　　b、hive.groupby.skewindata=true；负载均衡，在使用group by时常用；

　　　　　　c、set hive.exec.parallel=true；set hive.exec.parallel.thread.number=16;允许并发，及最大并发数

　　　　　　d、还有一些不怎么用，如合并小文件、设置bitmap index

　　　　3、数据处理

　　　　　　a、主要对null值进行处理，设置为字符常量加随机数或在filter操作时限定

　　　　　　b、建表时，合理设置分区以及字段类型

 

原创博客，转载请注明出处！欢迎邮件沟通：shj8319@sina.com