检查HIVE分区是否连续

检查HIVE分区是否连续

  • 场景描述
  • 分区连续性检查语句

我们经常可能会有这样的诉求,需要对一张目标表进行分区检查,查看是否存在不连续的情况,该诉求频繁且重要,因此以下语句可以实现我们的诉求

场景描述

我们有一张表,表名 t_user_info,分区字段 ds,分区字段数据类型 String,分区数据格式 yyyyMMdd

分区连续性检查语句

SELECT  ds,rn,date_sub(ds_format, rn)
FROM
(-- 对分区数据进行类型转换SELECT  ds,from_unixtime(unix_timestamp(ds, 'yyyyMMdd'), 'yyyy-MM-dd') as ds_format,row_number() over(order by ds asc) rn -- 排序分区,按照ds升序FROM(-- 获取表中的所有分区数据 SELECT  dsFROM t_user_info-- 指定分区检查的时间段WHERE ds between '20221231' and '20230924'group by ds) ds_info
) diff_ds_info
limit 1000
;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/29142.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

精准营销是一种利用大数据和人工智能技术来定位目标客户的方法

精准营销是一种利用大数据和人工智能技术来定位目标客户的方法。下面是涉及到的用户类型和业务流程,以及开发难度评估: 用户类型: 活跃用户:经常使用产品或服务的用户。潜在用户:尚未使用产品或服务,但可能对其感兴趣的用户。流失用户:曾经使用过产品或服务,但已经停止使用或…

在Gradle中优雅地统一管理依赖

前言 不知大家在使用 Gradle 的时候是如何统一管理整个项目所需依赖的版本呢?尤其是在有多个模块的情况下。 曾经我写过 一篇文章 来介绍如何在 buildSrc 中使用常量来管理版本,但是实际上那种做法并不怎么优雅,甚至有些邪道。 当然&#…

记录一下 Chrome浏览器打印时崩溃问题

问题描述: 为了查看页面内存占用情况,按F2,打开Memory chrome浏览器点击“打印”按钮,或Ctrl P 时出现如下页面 一直以为是页面问题,每次打印的时候遇到这种 崩溃现象 就是重新刷新页面 但今天刚开一个页面,内存 …

【2024最新精简版】RabbitMQ面试篇

文章目录 Kafka和RabbitMQ什么区别惰性队列(Lazy Queues)是怎么实现的?RabbitMQ工作模式有哪些 ?你们项目中哪里用到了RabbitMQ ?为什么会选择使用RabbitMQ ? 有什么好处 ?使用RabbitMQ如何保证消息不丢失 ?消息的重复消费问题如何解决的…

Unity中使用UI组件实现场景切换——6.18山大软院项目实训

设置场景切换 在Unity项目中,首先需要准备几个场景,并在项目的“Build Settings”中添加这些场景,以确保SceneManager可以加载它们。本例中,我们假设已有几个场景编号依次为1到5。 脚本概述 我们创建了一个SwitchScene类&#…

在IDEA 2024.1.3 (Community Edition)中创建Maven项目

本篇博客承继自博客Windows系统Maven下载安装-CSDN博客 Maven版本:maven-3.9.5 修改设置: 首先先对Idea的Maven依赖进行设置;打开Idea,选择“Costomize”,选择最下边的"All settings" 之后找到Maven选项&…

利用LabVIEW项目管理和组织LabVIEW应用程序

如何利用LabVIEW项目管理和组织LabVIEW应用程序,提供了关于文件定义、磁盘上的文件组织、LabVIEW项目浏览器、交叉链接和相关资源的建议。这些推荐在开发前就应建立,以确保应用程序能扩展到大量VIs并适应多开发者环境。 目录 定义和识别应用程序文件 磁…

黑龙江等保测评与企业安全:携手共筑数字时代坚固防线

在数字化转型的浪潮中,黑龙江的企业正以前所未有的速度拥抱新技术,推动业务创新与增长。然而,随着信息技术的深入应用,网络安全风险也随之增加,尤其是对个人信息与敏感数据的保护成为企业不容忽视的重大课题。信息安全…

【运维项目经历|032】Hadoop大数据处理与分析平台构建项目

🍁博主简介: 🏅云计算领域优质创作者 🏅2022年CSDN新星计划python赛道第一名 🏅2022年CSDN原力计划优质作者 🏅阿里云ACE认证高级工程师 🏅阿里云开发者社区专家博主 💊交流社区:CSDN云计算交流社区欢迎您的加入! 目…

List, Set, Map, Queue介绍

Java集合框架是一组接口和实现这些接口的类的集合,它提供了对数据集合的高效率存储和操作。以下是Java集合框架中一些核心接口的介绍: 1.List: List是一个有序的集合,允许包含重复的元素。它提供了按插入顺序访问元素的方法&…

leetcode56 合并区间

题目 以数组 intervals 表示若干个区间的集合,其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间,并返回 一个不重叠的区间数组,该数组需恰好覆盖输入中的所有区间 。 示例 输入:intervals [[1,3],[2,6]…

6、 垃圾回收 浏览器事件循环

垃圾回收 & 浏览器事件循环 垃圾回收引用计数算法标记清除(mark-sweep)算法标记整理(Mark-Compact)算法 内存管理浏览器事件循环宏任务微任务整体流程 垃圾回收 垃圾回收,又称为:GC(garbag…

华火新能源集成灶评测:创新与品质的融合

在厨房电器的不断推陈出新中,华火新能源集成灶以其独特的魅力进入了人们的视野。今天,我们就来深入评测这款备受关注的产品——华火新能源集成灶 一、华火新能源集成灶的创新与环保 首先,我们先来探讨新能源集成灶的整体表现。华火新能源集成…

【面试干货】Hashtable 与 HashMap 的区别

【面试干货】Hashtable 与 HashMap 的区别 1、线程安全性2、对null值的处理3、遍历方式4、遍历示例5、总结 💖The Begin💖点点关注,收藏不迷路💖 在Java中,Hashtable和HashMap都是基于哈希表实现的Map接口。然而&#…

ERP、CRM、SRM、PLM、HRM、OA……都是啥意思?

经常会听说一些奇怪的系统或平台名称,例如ERP、CRM、SRM、PLM、HRM、OA等。 这些系统,都是干啥用的? █ ERP(企业资源计划) 英文全称:Enterprise Resource Planning 定义:由美国Gartner Gro…

网络安全复习笔记

概述 要素 CIA:可用性;完整性;保密性。 可控性;不可否认性;可审查性。 攻击 被动:窃听 - 保密性;监听 - 保密性主动:假冒 - 完整性;重放 - 完整性;改写 -…

11、Spring之Bean生命周期~依赖注入(2)

11、Spring之Bean生命周期~依赖注入(2) 依赖注入查找注入点对注入点进行赋值InjectionMetadata.inject()方法AutowiredFieldElement.inject()方法resolveFieldValue()方法resolveDependency方法createOptionalDependency()方法doResolveDependency()方法…

Java 面试题:Java 的文件拷贝方式有几种?哪一种最高效?

在Java编程中,文件操作是常见且重要的任务之一,其中文件拷贝(File Copy)是一种基本操作。Java提供了多种方式来实现文件拷贝,每种方式在性能、易用性和灵活性上各有优劣。了解并选择最适合的文件拷贝方法,对…

SQL Server数据库安装

原文:https://blog.c12th.cn/archives/26.html SQL Server数据库安装 测试:笔记本原装操作系统:Windows 10 家庭中文版 资源分享链接:提取码:qbt2 注意事项: 请严格按照步骤安装,SQL软件安装较…

el-table

el-table实现滚动效果 表格数据是websocket通信获取的数据,首次获取20条数据,以后新增订阅获取一条,新增一条则向上滑动显示最新数据。 const scroll (tableBody: any) > {// 先清除后设置cancelAnimationFrame(scrollTimer.value);let…