Hive 数据倾斜

1.什么是数据倾斜

数据倾斜:数据分布不均匀,造成数据大量的集中到一点,造成数据热点。主要表现为任务进度长时间维持在 99%或者 100%的附近,查看任务监控页面,发现只有少量 reduce 子任务未完成,因为其处理的数据量和其他的 reduce 差异过大。 单一 reduce 处理的记录数和平均记录数相差太大,通常达到好几倍之多,最长时间远大 于平均时长。

根本原因就是大量相同的key被分配到一个reduce里,造成一个reduce任务累死了,但是其他的reduce任务闲死

2.产生的原因

1,key 分布不均匀。
2,业务数据本身的特性。
3,建表考虑不周全。

4,某些 hsql 语句本身就存在数据倾斜。

就像进行表关联时:

(1)大表join小表:其实小表的key集中,分发到某一个或者几个reduce上的数据远远高于平均值

(2)大表join大表:空值或无意义值:如果缺失的项很多,在做join时这些空值就会非常集中,拖累进度。

(3)group by: group by的时候维度过小,某值的数量过多,处理某值的reduce非常耗时间。

(4)Count distinct:某特殊值过多,处理此特殊值的reduce耗时。

3.具体的数据倾斜以及解决方法:

3.1 空值产生的数据倾斜

使本身为 null 的所有记录替代随机字符串或者先过滤掉空值,而分散到了多个 reduceTask 中了,由于 null 值关联不上,处理后并不影响最终结果。

过滤掉空值的情况

select * from log a join user b on a.user_id is not null and a.user_id = b.user_id
union all
select * from log c where c.user_id is null;

(2)赋予空值新的 key 值

select * from log a left outer join user b on
case when a.user_id is null then concat('hive',rand()) else a.user_id end = b.user_id

3.2,不同数据类型关联产生数据倾斜

在join时,两个表关联字段数据类型不一致造成数据向一个MapReduce倾斜

把数字类型 id 转换成 string 类型的 id

select * from user a 
left outer join log b on b.user_id = cast(a.user_id as string)

3.3 join 倾斜

map join 概念:将其中做连接的小表(全量数据)分发到所有 MapTask 端进行 Join,从 而避免了 reduceTask,前提要求是内存足以装下该全量数据。自动开启 map join 优化,由两个参数控制:set hive.auto.convert.join=true; //设置 MapJoin 优化自动开启
set hive.mapjoin.smalltable.filesize=25000000 //设置小表不超过多大时开启 mapjoin 优化

1)如何join:关于驱动表的选取,选用join key分布最均匀的表作为驱动表,做好列裁剪和filter操作,以达到两表做join的时候,数据量相对变小的效果。

2)大小表join的时候:使用map join 让小的维度表先进内存,在map端完成reduce。效率很高。

3)大表join大表的时候:把空值的key变成一个字符串加上随机数,把倾斜的数据分到不同的reduce上,由于null值关联不上,处理后不影响最终的结果。

3.4,group by 倾斜

group by的维度太少,某个字段的数量太大,从而导致处理某个值数据的reduce处理非常耗时。

group by 维度过小的时候:采用sum() group by 的方法来替换count(distinct)完成计算。

参数调整:

hive.map.aggr = true    // Map 端部分聚合,相当于Combiner;
hive.groupby.skewindata=true    //有数据倾斜的时候进行负载均衡,
当选项设定为 true,生成的查询计划会有两个 MR Job。
第一个 MR Job 中,Map 的输出结果集合会随机分布到 Reduce 中,
每个 Reduce 做部分聚合操作,并输出结果,
这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中,
从而达到负载均衡的目的;
第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 
中(这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中),
最后完成最终的聚合操作。

3.5,count distinct 倾斜

count distinct 大量相同特殊值,将这些值为空的情况单独处理,如果是计算count distinct,可以不用处理,直接过滤,在最后结果中加1即可。如果还有其他的计算,需要进行group by,可以先将那些值为空的记录单独处理,再和其他计算结果进行 union。

4.数据倾斜解决方法总结

4.1重新分区(Repartitioning)
 重新分区(Repartitioning):重新将表分区,使数据更均匀地分布在各个分区中。可以使用Hive的`INSERT OVERWRITE`语句和`DISTRIBUTE BY`子句来实现。

4.2. 聚合转换(Aggregation Conversion)
聚合转换(Aggregation Conversion):将一些大的聚合操作拆分成多个小的聚合操作,然后将结果再聚合起来。这样可以减少单个任务要处理的数据量,从而减轻数据倾斜的影响。可以使用Hive的`UNION ALL`语句和子查询来实现。

4.3. 随机分桶(Randomized Bucketing)
随机分桶(Randomized Bucketing):表分成多个桶(Bucket),并在插入数据时将数据随机分配到这些桶中。这样可以使数据更均匀地分布在各个桶中,从而减轻数据倾斜的影响。可以使用Hive的`CLUSTER BY`子句和`SORT BY`子句来实现。

4.4. 布隆过滤器(Bloom Filter)
布隆过滤器(Bloom Filter):使用布隆过滤器来过滤掉一些不需要处理的数据,从而减少单个任务要处理的数据量,从而减轻数据倾斜的影响。可以使用Hive的`MAP JOIN`和`STREAMTABLE`功能来实现。

4.5. 动态分区(Dynamic Partitioning)
布隆过滤器(Bloom Filter):Hive的动态分区功能来动态生成分区。这样可以避免一些特定的分区数据过大而导致的数据倾斜问题。

总之,处理Hive数据倾斜需要根据具体情况采取不同的方法。上述方法仅是一些常见的处理方法,具体选择哪种方法需要根据实际情况进行判断。

其他方法

1,参数调节:hive.map.aggr = true 在map端部分聚合。
2,参数调节:hive.groupby.skewindata=true 数据倾斜时负载均衡。
3,sql语句调节:join时选择key值分布较均匀的表作为驱动表,同时做好列裁剪和分区裁剪,以减少数据量。
4,sql语句调节:大小表join时,小表先进内存。
5,sql语句调节:大表join大表时,把key值为空的key变成一个字符串加上随机数,把倾斜的数据分到不同的reduce上,由于null值关联不上,因此处理后不影响最终结果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/4344.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python赋值运算符

目录 赋值运算符 将值赋给变量: 做加法运算之后完成赋值: 做减法运算之后完成赋值:- 做乘法运算之后完成赋值:* 做除法运算之后完成赋值:/ 做整除运算之后完成赋值:// 做幂次运算之后完成赋值:*…

Java常见排序

1、冒泡排序(从小到大排序) 相邻的元素两两比较,小的放左边,大的放右边 第一轮比较完毕之后,最大值就已经确定了,第二轮比第一轮少循环一次,后面以此类推 如果数据中有n个数据,我…

Pytorch 计算深度模型的大小

计算模型大小的方法 卷积 时间复杂度 与 空间复杂度 的计算方式: C 通道的个数,K卷积核大小,M特征图大小,C_l-1是输入通道的个数,C_l是输出通道的个数 1 模型大小 MB 计算模型的大小的原理就是计算保存模型所需要…

每天学习一个Linux命令之grpck

每天学习一个Linux命令之grpck 简介 在Linux系统中,grpck是一个非常有用的命令,它的主要功能是检查和修复组文件(/etc/group)的完整性和一致性。本篇博客将详细介绍grpck命令及其所有可用选项的用法。 命令语法 grpck [选项] …

在MySQL中isnull()函数不能作为替代null值!

在MySQL中isnull()函数不能作为替代null值! 如下: 首先有个名字为business的表: SELECT ISNULL(business_name,no business_name) AS bus_isnull FROM business WHERE id2 直接运行就会报错: 错误代码: 1582 Incor…

cuDNN-Graph API

Graph API 为了适应越来越重要的算子融合需求,cuDNN8.0版本引入了Graph API,以提供更灵活的API接口。Graph API提供一个声明式的编程模型,此模型将计算操作描述为计算图。 用户首先需要构建操作图。从高层面来说,用户其实是在描…

Swift - Playground

文章目录 Swift - Playground1. 新建Playground2. View3. 图片4. ViewController5. Playground - 多Page6. 注释6.1 Playground的注释支持markup语法(与markdown相似)6.1.1 语法 Swift - Playground Playground可以快速预览代码效果,是学习语…

设计模式(九):组合模式

设计模式(九):组合模式 1. 组合模式的介绍2. 组合模式的类图3. 组合模式的实现 1. 组合模式的介绍 组合模式(Composite Pattern)属于结构型模式,是用于把一组相似的对象当作一个单一的对象。 组合模式依据…

基于SpringBoot+Vue校园二手交易系统的设计与实现

系统介绍 自从新冠疫情爆发以来,各个线下实体越来越难做,线下购物的人也越来越少,随之带来的是一些不必要的浪费,尤其是即将毕业的大学生,各种用品不方便携带走导致被遗弃,造成大量的浪费。本系统目的就是让…

基于Spring Boot的旅游管理系统设计与实现

基于Spring Boot的旅游管理系统设计与实现 开发语言:Java框架:springbootJDK版本:JDK1.8数据库工具:Navicat11开发软件:eclipse/myeclipse/idea 系统部分展示 前台浏览管理界面图,通过内容列表可以获取网…

PotatoPie 4.0 实验教程(41) —— FPGA实现RISC-V 扩展 GPIO UART Timer功能

TD工程介绍 我们提供的TD工程里的RISC-V核默认就开启了GPIO UART扩展,可以看到还有SPI和I2C扩展。因此后面的实验中TD的工程我们基本不怎么修改TD的内容,只需要修改TD工具中Soc_Top.v文件中的TCM0_INITFILE为FD生成的固件名称即可,主要修我以…

智慧校园-自动化办公管理系统要素

在如今,一个学校的自动化办公系统的完成程度已经成为衡量这个学校的信息化管理标准之一了。自友智慧校园所研发的自动化办公管理系统能使学校内部的人员能够方便、快捷的共享信息,从而高校的协同工作。这样就改变了过去那种复杂、低效的手工办公方式&…

【mysql】mysql命令使用大全,你想要的都在这里

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

推荐算法顶会论文合集

SIGIR SIGIR 2022 | 推荐系统相关论文分类整理:8.74 https://mp.weixin.qq.com/s/vH0qJ-jGHL7s5wSn7Oy_Nw SIGIR2021推荐系统论文集锦 https://mp.weixin.qq.com/s/N7V_9iqLmVI9_W65IQpOtg SIGIR2020推荐系统论文聚焦: https://mp.weixin.qq.com/s…

go设计模式之工厂方法模式

工厂方法模式 什么是工厂方法模式 工厂方法模式是一种创建型设计模式,它定义了一个用于创建对象的接口,让子类决定实例化哪一个类。工厂方法使一个类的实例化推迟到其子类。 这个接口就是工厂接口,子类就是具体工厂类,而需要创…

设计模式-命令模式(Command Pattern)结构|原理|优缺点|场景|示例

命令模式(Command Pattern)是一种行为设计模式,它将请求封装为一个对象,使得请求的发送者和接收者之间解耦。命令对象可以携带参数,支持撤销操作,并且可以被存储、记录、序列化、排队、日志等,从…

《QT实用小工具·四十三》历史编辑器(支持历史搜索 关键字匹配)

1、概述 源码放在文章末尾 该项目实现了在输入框中输入部分信息能全部展现之前的历史输入信息&#xff0c;支持历史搜索和关键词匹配&#xff0c;项目demo演示如下所示&#xff1a; 项目部分代码如下所示&#xff1a; #include "historymodel.h" #include <QM…

实时通讯技术 WebRTC 介绍

WebRTC WebRTC&#xff08;Web Real-Time Communication&#xff09;是一个支持网页浏览器进行实时语音对话或视频对话的技术。 历史 2010年5月&#xff0c;Google以6820万美元收购VoIP软件开发商Global IP Solutions的GIPS引擎&#xff0c;并改为名为“WebRTC”。WebRTC使用…

大语言模型Ollama

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl Ollama简介 Ollama是一个开源的大语言模型平台&#xff0c;它允许用户在本地环境中运行、创建和共享大型语言模型。Ollama提供了丰富的功能和特性&#xff0c;使得用户可以…

解决 Tomcat 跨域问题 - Tomcat 配置静态文件和 Java Web 服务(Spring MVC Springboot)同时允许跨域

解决 Tomcat 跨域问题 - Tomcat 配置静态文件和 Java Web 服务&#xff08;Spring MVC Springboot&#xff09;同时允许跨域 Tomcat 配置允许跨域Web 项目配置允许跨域Tomcat 同时允许静态文件和 Web 服务跨域 偶尔遇到一个 Tomcat 部署项目跨域问题&#xff0c;因为已经处理过…