Hive 实现查询用户连续三天登录记录

标题：Hive 实现查询用户连续三天登录记录

在数据分析和处理中，经常会遇到需要查询特定条件数据的情况。本文将介绍如何使用 Hive 来查询用户连续三天登录的所有数据记录。

一、问题背景

我们有一个用户登录记录表，其中包含用户的登录日期信息。现在需要找出所有用户连续三天登录的记录。

二、数据准备

我们先创建一个名为user_log的表来存储用户登录记录，表结构如下：

create table user_log(id int,dt string
)
row format delimited
fields terminated by '\t';

然后使用以下命令加载数据：

load data local inpath '/home/hivedata/lianxu.txt' into table user_log;

假设我们的数据如下：

id	dt
1	2024-04-25
1	2024-04-26
1	2024-04-27
1	2024-04-28
1	2024-04-30
1	2024-05-01
1	2024-05-02
1	2024-05-04
1	2024-05-05
2	2024-04-25
2	2024-04-28
2	2024-05-02
2	2024-05-03
2	2024-05-04

三、解决方案

（一）第一步：求解每行日期后面第三行的日期以及真正第三天的日期

使用窗口函数lead()和日期函数date_add()来计算每行日期后面第三行的日期和真正第三天的日期。

select*,lead(dt,2) over(partition by id order by dt) later3dt,date_add(dt,2) true3dtfrom user_log;

（二）第二步：判断是否连续登录三天

在上一步的基础上，通过比较后面第三行的日期和真正第三天的日期是否相等，来判断是否连续登录三天。如果相等，则标记为 1，否则为 0。

with t as (select*,lead(dt,2) over(partition by id order by dt) later3dt,date_add(dt,2) true3dtfrom user_log
) select *,if(later3dt==true3dt,1,0) num from t;

（三）第三步：筛选出连续登录三天的每个起始日期

从第二步的结果中筛选出标记为 1 的记录，即连续登录三天的起始日期。

with t as (select*,lead(dt,2) over(partition by id order by dt) later3dt,date_add(dt,2) true3dtfrom user_log
),t1 as (select *,if(later3dt==true3dt,1,0) num from t
)select * from t1 where num=1;

（四）第四步：表合并求最终结果

通过和一个包含 0、1、2 的列表进行笛卡尔积操作，得到连续三天的登录记录。

with t as (select*,lead(dt,2) over(partition by id order by dt) later3dt,date_add(dt,2) true3dtfrom user_log
),t1 as (select *,if(later3dt==true3dt,1,0) num from t
),t2 as (select * from t1 where num=1
) select id,dt,list,date_add(dt,d.list) dt2  from t2,(select explode(array(0,1,2)) list) d;