关于hive sql进行调优的理解

        这是一个面试经常面的问题，很不幸，在没有准备的时候，我面到了这个题目，反思了下，将这部分的内容进行总结，给大家一点分享。

        hive其实是基于hadoop的数据库管理工具，底层是基于MapReduce实现的，用户写的hivesql最终转换成MapReduce的任务运行在hadoop上，不过MapReduce会因为磁盘IO的问题会运行较慢，因此在Hive sql进行优化，就需要考虑到MapReduce的生命周期，在各个时间节点上进行调优，从而实现Hive sql的整体优化。

        如果要从MapReduce角度来分析，就需要从Map，Reduce，join，参数设置的角度来分析。

Map阶段

  • 尽早使用where条件：提前把不需要计算的数据过滤掉，而不是在进行复杂操作后再集中过滤。
  • 使用分区裁剪：Hive不同分区是按照不同目录存放的，指定分区可以访问特定的目录，减少数据量。
  • 使用列裁剪：尽量不要使用select * from ...，指定特定列会只扫描特定列而不扫描全表，提高执行速度，同时select * 会让优化器无法完成索引覆盖扫描这类优化，会影响优化器对执行计划的选择，也会增加网络带宽消耗，更会带来额外的 I/O，内存和 CPU 消耗。
  • 相似任务尽量使用多路输出：相同的计算只需要计算一次，减少重复计算，同时也能减少reduce task
  • 减少case when中的when：表中的文件都需要走一遍when流程，when越多效率就越低，而且在reduce阶段最好做一遍合并压缩操作，否则可能会产生很多文件。

reduce 阶段

  • 使用 group by 代替 distinct：因为distinct会把所有任务都分配到一个reduce task中。
  • 使用 sort by + distribute by代替 order by：order by 和 distinct 类似，在reduce阶段都会把所有的任务集中到一个reduce task中计算，使用 sort by 和 distribute by 后MR会根据情况启动多个reduce来排序，不过记得一定要加distribute by，否则map后的数据会随机分配到reducer中，不能保证全局有序。
  • 尽量使用union all代替union：union去重，有shuffle，union all不去重，无shuffle，shuffle会造成数据在集群中传输，并且伴随着读和写，很影响任务的执行性能。如果要去重，可以最后用group by。

join task过程优化        

  • 避免使用笛卡尔积：尽量有关联键，hive本身不支持笛卡尔积，需要先用set hive.mapred.mode=nonstrict设为非strict模式。
  • 多表join查询时，小表在前，大表在后，Hive在解析带join的SQL语句时，会默认将最后一个表作为probe table（大表），将前面的表作为build table（小表）并试图将它们读进内存（是否读入内存可以配置）。如果表顺序写反，probe table在前面，有引发OOM的风险。
  • 小表超出内存限制，采用多次join：build table没有小到可以直接读如内存，但是相比probe table又很小，可以将build table拆成几个表，分别join。
  • 小表join大表，尽量使用map join：将build table和probe table在map端直接完成join过程，没有了reduce，效率高很多。
  • 多表join时如果允许尽量使用相同的key：这样会将多个join合并为一个MR job来处理。
  • join时保证关联键类型相同：如果不同时也适用cast进行转换，否者会导致另外一个类型的key分配到一个reducer上。
  • join的时候如果关联健某一类值较多先过滤：比如空值、0等，因为这会导致某一个reducer的计算量变得很大，可以单独处理倾斜key。
  • left semi join 代替join判断in和exists：hive0.13前不支持在where 中使用in嵌套查询是否exists，使用left semi join代替join。

参数配置上的优化

        小表join时尽量开启map join

set hive.auto.convert.join=true;  -- 版本0.11.0之后，默认是开启状态的，但时不时会把这个配置关闭，所以最好还是手动配置一下
set hive.mapjoin.smalltable.filesize=25000000;  -- 默认是25Mb开启mapjoin，对于稍微超过这大小的，可以适当调大，但不能太大

调整map数

        如果输入文件是少量大文件，就减少mapper数；如果输入文件是大量大文件，就增大mapper数；如果是大量的小文件就先合并小文件。

set mapred.min.split.size=10000;  -- 最小分片大小
set mapred.max.split.size=10000000;  -- 最大分片大小
set mapred.map.tasks=100;  -- 设置map task任务数
map任务数计算规则：map_num = MIN(split_num, MAX(default_num, mapred.map.tasks))，

合并小文件        

set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  -- 输入阶段合并小文件
set hive.merge.mapredfiles=true;  -- 输出阶段小文件合并
set hive.merge.mapfiles=true;  -- 开启map端合并小文件，默认开启
set hive.merge.mapredfiles=true;  -- 开启reduce端合并小文件
set hive.merge.smallfiles.avgsize=16000000;  -- 平均文件大小，默认16M，满足条件则自动合并，只有在开启merge.mapfiles和merge.mapredfiles两个开关才有效

启用压缩

set hive.exec.compress.intermediate=true;  -- 开启输入压缩
set hive.exec.compress.output=true;  -- 开启输出压缩
set sethive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;  -- 使用Snappy压缩
set mapred.output.compreession.codec=org.apache.hadoop.io.compress.GzipCodec;  -- 使用Gzip压缩
set hive.intermediate.compression.type=BLOCK;  -- 配置压缩对象 快或者记录

分桶设置

set hive.enforce.bucketing=true;
set hive.enforce.sorting=true;

设置合适的数据存储格式

hive默认的存储格式是TextFile,但是这种文件格式不使用压缩，会占用比较大空间，目前支持的存储格式有SequenceFile、RCFile、Avro、ORC、Parquet，这些存储格式基本都会采用压缩方式，而且是列式存储，如果指定存储orc模式；

ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
并行化执行

并行化执行

每个查询被hive转化成多个阶段，有些阶段关联性不大，则可以并行化执行，减少执行时间，主要针对uoion 操作

set hive.exec.parallel=true;  -- 开启并行模式
set hive.exec.parallel.thread.numbe=8;  -- 设置并行执行的线程数

本地化执行

本地模式主要针对数据量小，操作不复杂的SQL。

set hive.exec.mode.local.auto;  -- 开启本地执行模模式
需要满足的条件：
job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)
job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)
job的reduce数必须为0或者1

使用严格模式

严格模式主要是防范用户的不规范操作造成集群压力过大，甚至是不可用的情况，只对三种情况起左右，分别是查询分区表是不指定分区；两表join时产生笛卡尔积；使用了order by 排序但是没有limit关键字。

set hive.mapred.mode=strict;  -- 开启严格模式

map端预聚合

预聚合的配置项是
set hive.map.aggr=true;  -- group by时，如果先起一个combiner在map端做部分预聚合，使用这个配置项可以有效减少shuffle数据量，默认值true
set hive.groupby.mapaggr.checkinterval=100000;  -- 也可以设置map端预聚合的行数阈值，超过该值就会分拆job，默认值100000

倾斜均衡配置项

set hive.groupby.skewindata=false;  -- group by时如果某些key对应的数据量过大，就会发生数据倾斜。Hive自带了一个均衡数据倾斜的配置项，默认值false

动态分区配置

set hive.exec.dynamic.partition=false;  -- 是否开启动态分区功能，默认false关闭
set hive.exec.dynamic.partition.mode=strict;  -- 动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区
set hive.exec.max.dynamic.partitions.pernode=100;  -- 在每个执行MR的节点上，最大可以创建多少个动态分区,根据实际的数据来设定，比如hour必须大于等于24，day必须大于365
set hive.exec.max.dynamic.partitions=1000;  -- 在所有执行MR的节点上，最大一共可以创建多少个动态分区
set hive.exec.max.created.files=100000;  -- 整个MR Job中，最大可以创建多少个HDFS文件
set hive.error.on.empty.partition=false;  -- 当有空分区生成时，是否抛出异常

JVM重用

set mapred.job.reuse.jvm.num.tasks=10;  -- 在MR job中，默认是每执行一个task就启动一个JVM。如果task非常小而碎，那么JVM启动和关闭的耗时就会很长。可以通过调节参数这个参数来重用。例如将这个参数设成5，就代表同一个MR job中顺序执行的10个task可以重复使用一个JVM，减少启动和关闭的开销。但它对不同MR job中的task无效。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/54264.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

date_range()函数--Pandas

date_range()函数--Pandas

1. 函数功能 生成连续的日期时间序列 2. 函数语法 pandas.date_range(startNone, endNone, periodsNone, freqNone, tzNone, normalizeFalse, nameNone, inclusiveboth, *, unitNone, **kwargs)3. 函数参数 参数含义start可选参数，起始日期end可选参数&#xff…
阅读更多...
01-Flask-简介及环境准备

01-Flask-简介及环境准备

Flask-简介及环境准备 前言简介特点Flask 与 Django 的比较环境准备 前言 本篇来介绍下Python的web框架–Flask。 简介 Flask 是一个轻量级的 Web 框架，使用 Python 语言编写，较其他同类型框架更为灵活、轻便且容易上手，小型团队在短时间内…
阅读更多...
QtCreator指定Windows Kits版本

QtCreator指定Windows Kits版本

先说下事件起因：之前一直在用Qt5.12.6＋vs2017在写程序，后面调研了一个开源库Qaterial，但是翻来覆去的编译都有问题，后面升级到了Qt5.15.2＋vs2019来进行cmake的编译，搞定了Qaterial，但…
阅读更多...
深入了解Webpack：特性、特点和结合JS混淆加密的实例

深入了解Webpack：特性、特点和结合JS混淆加密的实例

Webpack是现代前端开发中最受欢迎的构建工具之一，其强大的特性和灵活性使得开发者能够更有效地管理和优化项目资源。在本文中，我们将深入探讨Webpack的特性和特点，并结合实例演示如何使用Webpack与JS混淆加密相结合。Webpack的特性和特点 1.…
阅读更多...
Go的Gorm数据库操作错误WHERE conditions required

Go的Gorm数据库操作错误WHERE conditions required

这是我在写这个代码处出现的问题 result : db.Save(&emergency) 这个错误是由于在提交保存数据时，GORM 需要指定 WHERE 条件，确保能够正确执行数据库操作。要解决这个问题，可以尝试使用 Create 方法替换 Save 方法，同时将创…
阅读更多...
软考A计划-系统集成项目管理工程师-小抄手册(共25章节)-下

软考A计划-系统集成项目管理工程师-小抄手册(共25章节)-下

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例点击跳转>软考全系列点击跳转>蓝桥系列 👉关于作者 专注于Android/Unity和各种游…
阅读更多...
深度学习经典检测方法的概述

深度学习经典检测方法的概述

深度学习经典的检测方法 two-stage（两阶段）：Faster-rcnn Mask-Rcnn系列 两阶段（two-stage）是指先通过一个区域提取网络（region proposal network，RPN）生成候选框，再通过…
阅读更多...
C++中运算符的重载以及静态成员和类的继承及多继承

C++中运算符的重载以及静态成员和类的继承及多继承

运算符重载 赋值运算符重载 种类：、、-、*、/、%表达式：L # R （L：左操作数 #运算符 R：右操作数）左操作数：只能是左值右操作数：可以是左值，也可以是右值，在运…
阅读更多...
远程Linux/ubuntu服务器后台不间断运行py文件/sh脚本

远程Linux/ubuntu服务器后台不间断运行py文件/sh脚本

通常我们在生产环境中运行一些项目时需要将程序不间断的运行在服务器上，并且将日志文件打印到某个文件中，直到程序运行结束，下面介绍了在Linux服务器上不间断运行py文件的方式，以及如何保存相应的日志信息。 对于 .py 文件&#x…
阅读更多...
SLAM十四讲学习笔记 第二期：部分课后实践代码

SLAM十四讲学习笔记 第二期：部分课后实践代码

持续更新.... 前期准备第二讲实验一：简单输出 第五讲任务一：imageBasics（Ubuntu配置opencv）任务二：双目匹配点云（Ubuntu配置pangolin）检验部分我认为可以加深对CMake的理解 任务三：r…
阅读更多...
pandas数据分析——groupby得到分组后的数据

pandas数据分析——groupby得到分组后的数据

groupbyagg分组聚合对数据字段进行合并拼接 Pandas怎样实现groupby聚合后字符串列的合并（四十） groupby得到分组后的数据 pandas—groupby如何得到分组里的数据 date_range补齐缺失日期 在处理时间序列的数据中，有时候会遇到有些日期的数…
阅读更多...
springboot源码编译问题

springboot源码编译问题

问题一 Could not find artifact org.springframework.boot:spring-boot-starter-parent:pom:2.2.5.RELEASE in nexus-aliyun (http://maven.aliyun.com/nexus/content/groups/public/) 意思是无法在阿里云的镜像仓库中找到资源 解决：将配置的镜像删除即可&#…
阅读更多...
iOS开发Swift-函数

iOS开发Swift-函数

1.函数的定义和调用 func greet(person: String) -> String { // 函数名 传入值 传入值类型 返回值类型let greeting "Hello" personreturn greeting } print( greet(person: "Anna") ) //调用2.函数的参数与返回值 (1)无参函数 func sayHe…
阅读更多...
STM32 CAN 波特率计算分析

STM32 CAN 波特率计算分析

这里写目录标题 前言时钟分析时钟元到BIT 前言 CubeMX中配置CAN波特率的这个界面刚用的时候觉得非常难用，怎么都配置不到想要的波特率。接下来为大家做一下简单的分析。 时钟分析 STM32F4的CAN时钟来自APB1 在如下界面配置，最好配置为1个整一点的数。…
阅读更多...
cpolar做一个内网穿透

cpolar做一个内网穿透

因为不在公司，需要访问公司的数据库，所以做一个内网穿透 下载安装 下载地址： https://dashboard.cpolar.com/get-started 下载后是个压缩包，解压后傻瓜式安装 操作隧道 安装后打开Cpolar Web UI 登录账号，查看隧…
阅读更多...
如何评估分类模型的好坏

如何评估分类模型的好坏

如何评估分类模型的好坏 评估分类预测模型的质量，常用一个矩阵、三条曲线和六个指标。 一个矩阵：混淆矩阵；三条曲线：ROC曲线、PR曲线、KS曲线；六个指标：正确率Acc、查全率R、查准率P、F值、AUC、BEP值、KS…
阅读更多...
【设计模式--原型模式（Prototype Pattern）

【设计模式--原型模式（Prototype Pattern）

一、什么是原型模式 原型模式（Prototype Pattern）是一种创建型设计模式，它的主要目的是通过复制现有对象来创建新的对象，而无需显式地使用构造函数或工厂方法。这种模式允许我们创建一个可定制的原型对象，然后通过复制…
阅读更多...
SVM详解

SVM详解

公式太多了，就用图片用笔记呈现，SVM虽然算法本质一目了然，但其中用到的数学推导还是挺多的，其中拉格朗日约束关于α>0这块证明我看了很长时间，到底是因为悟性不够。对偶问题也是，用了一个简单的例子才明…
阅读更多...
软考A计划-系统集成项目管理工程师-小抄手册(共25章节)-上

软考A计划-系统集成项目管理工程师-小抄手册(共25章节)-上

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例点击跳转>软考全系列点击跳转>蓝桥系列 👉关于作者 专注于Android/Unity和各种游…
阅读更多...
求生之路2私人服务器开服搭建教程centos

求生之路2私人服务器开服搭建教程centos

求生之路2私人服务器开服搭建教程centos 大家好我是艾西，朋友想玩求生之路2(left4dead2)重回经典。Steam玩起来有时候没有那么得劲，于是问我有没有可能自己搭建一个玩玩。今天跟大家分享的就是求生之路2的自己用服务器搭建的一个心路历程。 &#xff0…
阅读更多...
最新文章

Copyright @ 2022~2023