Hive集合函数 collect_set 和 collect

Hive集合函数 collect_set 和 collect_list 使用示例

Hive集合函数 collect_set 和 collect_list 使用示例
在Hive中， collect_set 和 collect_list 是用于收集数据并将其存储为集合的聚合
函数。以下是它们的语法：

1. collect_set(expression)-  expression : 要收集的数据表达式。collect_set 函数用于将指定列中的唯一值收集到一个集合中，并去除重复值。
2.  collect_list(expression)-  expression : 要收集的数据表达式。collect_list 函数用于将指定列中的所有值按照顺序收集到一个列表中，保留所有值的顺序。这两个函数通常用于在聚合查询中收集数据，以便在结果集中以集合的形式表示。

1. 创建student_scores表，向student_scores表中插入数据

CREATE TABLE student_scores
(id         INT,name       STRING,score      INT,group_name STRING
);
INSERT OVERWRITE TABLE student_scores
VALUES (1, 'Jack', 96, 'A组'),(2, 'John', 90, 'A组'),(5, 'Lucy', 97, 'A组'),(4, 'Caocao', 96, 'B组'),(3, 'Lvbu', 99, 'B组');

2. 使用collect_set函数收集唯一的组名

SELECT collect_set(group_name) AS unique_groups FROM student_scores;执行结果：
['A组', 'B组']

3. 使用collect_list函数将所有学生姓名收集到列表中

代码如下：

SELECT collect_list(name) AS all_student_names FROM student_scores;执行结果：
['Jack', 'John', 'Lucy', 'Caocao', 'Lvbu']

4. collect_set 和 collect_list 是Hive中用于聚合数据的集合函数，它们在处理数据时有不同的使用场景：

collect_set使用场景：
- 用于获取唯一值： collect_set 函数用于聚合数据并返回唯一值的集合，去除重复的值，适用于需要获取唯一值的场景。
- 数据去重：当需要对数据进行去重操作时，可以使用 collect_set 函数来确保结果中不包含重复的元素。
- 统计不同值的个数：通过对数据集合使用 collect_set 函数，可以快速统计不同值的个数，而不关心具体重复值的数量。
collect_list使用场景：
- 保留所有值： collect_list 函数用于聚合数据并返回包含所有值的列表，保留数据集中的所有元素，适用于需要保留所有值的场景。
- 数据聚合：当需要将数据集中的所有值聚合到一个列表中时，可以使用 collect_list 函数来合并数据，保留所有元素。
- 保留数据顺序： collect_list 保留数据的原始顺序，将数据按照出现顺序聚合到列表中，适用于需要保留数据顺序的情况。