druid删除数据_Apache druid 删除数据流程 0.13

34d890be67d15bfd0972a1d65b019bd1.png

背景

由于前端时间数据导入出现问题,导致druid 中的数据需要重新导入,但又要防止数据重复,需要把数据彻底清理。

问题

由于druid 属于时间序列数据库,删除的时候只能时间范围删除

删除流程

2fbf2192b21e80baf0a9d06d3ec16cac.png
  • 根据时间范围查询segements 标识(在coordinator节点查询)
e4908525dbb3beb6bcf7f582eac3c0e0.png

查询例子:查找 datasource 为uservalid_1d,时间范围是 2019-09-29至2019-10-08 间的范围数据,返回值为数组。

1a4abc1be49ba4d51769ea3903d3634e.png
  • 查看segements 信息
af1179c97abcda3579e86a15f81c510f.png

通过segements详情,可以看出interval,唯一标示,当前在哪个节点上存储。

  • 标记segments 为 unused(unused 不是删除,而是加载对应的segements)(0.13版本)
2116f15bf863547e20f58f384de8606f.png

上面实例就是 把数据库uservalid_1d,中的uservalid_1d_2019-10-06T00:00:00.000Z_2019-10-07T00:00:00.000Z_2019-10-08T07:10:17.073Z_1标记为unused 。

标记unused ?

在元数据存储中,表名:druid_segments,字段属性:dataSource 值:uservalid_1d 属性:used 设置为 ‘0’,在coordinator节点,分配segements时,used 为 ‘0',segements不进行加载。

查看系统中未加载的segments sql语句

SELECT * FROM `druid_segments` WHERE dataSource = 'uservalid_1d' AND used = '0'
  • 清理深度存储数据。提交Kill 任务

只有标记为unused segements才能被清理掉。

594c8c2423e3962b2d06e0a0a16a8bd2.png
  • 验证

查看hdfs中是否还存在对应的 目录 hadoop -fs -ls /druid/segements/uservalid_1d

总结

druid 彻底清理数据时,分为三步,查询删除的segements,标记为unused,清理元数据及深度存储数据。

注意

以上删除方式,适用于0.13版本,其他版本,未进行过测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/465505.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用C语言扩展Python(四)

上一篇里的LAME项目已经展示了python如何与C语言交互,但程序仍不够理想,在python这一端仅仅是传递源文件和目标文件的路径,再调用C模块的encode方法来进行编码,但问题在于你无法控制encode函数,比如你想编码的源文件如…

案例 github_2019年12月Github上最热门的Java开源项目,速来围观!

转眼之间,已经进入了2020年,2019年发生的一切仿佛就在昨天。那么,刚过去不久的12月份GitHub上最热门的Java开源项目排行已经出炉啦。下面我带大家一起来看看上榜详情:1、Alinkhttps://github.com/alibaba/Alink Star 1695Alink 是…

实战CRC校验 | 固件如何校验自身完整性?

来源:公众号【鱼鹰谈单片机】作者:鱼鹰Osprey在一些比较严格的行业里面,不是说你的程序能完成必要功能就可以,还需要添加一些额外的功能,比如最常见的看门狗功能,它可以在程序死机时完成重启,但…

我的职场故事(四)

我高高兴兴到了C公司,第一次发现自己老了。在A公司的时候刚刚毕业,青春无敌。到了B公司,公司都招有经验的,我还算比较年轻。到了C公司,我的小弟们都是后80.我就变的是部门的老同事了。叫我姐的人真的不少,I…

想一个颠覆性技术方向建议,你能想到什么?

如上图,是这次文章的主题。我对这个问题是有想法的,我现在是做音频研究,但是我觉得未来核心的方向一定是能源。试想一下,现在的手机功能越来越多,移动设备将会占领我们未来很长一段时间,那么手机的电池要如…

centos 安装idea 非可视化_太厉害了!目前 Redis 可视化工具最全的横向评测

转自:一入码坑深似海链接:www.jianshu.com/p/cb9f4dcb3b921. 命令行不知道大家在日常操作redis时用什么可视化工具呢?以前总觉得没有什么太好的可视化工具,于是问了一个业内朋友。对方回:你还用可视化工具?…

解决克隆clone github 仓库速度过慢的问题

解决克隆clone GitHub 仓库速度过慢的问题 由于大家都懂的原因,我们访问GitHub的速度确实有点慢,特别是克隆比较大的仓库的时候,那速度简直无法直视。 今天我就给大家带来一个邪门歪道,不通过FQ来解决速度问题。 先说结论吧&#…

ibator1.2.2

编译完了,接下来怎么用?怎么生成的东西还是老样子?别急,看document: Version 1.2.2 iBATIS 3.x Support Ibator now includes support for iBATIS version 3, as well as maintinaing the existing support for iBATIS version 2.…

聊聊身边的嵌入式,自拍神器自拍杆

曾几何时,自拍杆风靡世界,火当然是有原因的,这么一个小装备,极大的满足了人们爱拍照的需求,方便好用、经济实惠。恰巧我手上也有一个,收起来时很小、不占地方打开后可随意调节拍照同时它有个隐藏式三脚架功…

大恶人吉日嘎拉之走火入魔闭门造车之.NET疯狂架构经验分享系列之(十二)多语言支持...

虽然平时很少接触老外的项目、也很少碰到老外,但往往赚大钱的人是经常跟老外做买卖的人居多,他们大多需要网站是全英文的,我们往往上手有一个成熟的中文的网站或者软件,例如成熟的B2C网上购物系统,但是没办法也没精力再…

lisp用entmake生产圆柱体_德BBG公司开发用于CFRP储罐模块生产过程的自闭合HPRTM模具...

自主概念、足以批量生产、可以降低投资成本。每次操作最多可同时生产15个气瓶。照片来源:BBG机械制造商BBG GmbH&Co.KG(德国明德尔海姆)于9月16日提出了一种自动闭合高压树脂传递模塑(HP-RTM)模具的概念,该模具能够快速、重复地制造各种车辆用的紧凑…

【深度剖析】小米CyberDog四足机器人的AI运动系统的实现

2021年8月10日,雷军进行继宣布造车之后的第二次演讲。在这场以“我的梦想,我的选择”为主题的演讲上,雷军详细讲述了创业后的故事,发布了一系列全新产品。其中,给人最大惊喜同时也给人带来诸多疑问的就是我们这篇推文的…

变更控制管理流程图_制度是最好的老板,流程就是最好的管理!流程建立法则(附案例)...

为什么很多企业制定了战略,一线执行却没有到位?为什么员工办事拖拉,执行力不到位?为什么总有下属在等待老板分配任务,不能主动地去工作?为什么一些企业的老板处于很忙碌的的糟糕状态?上述这样问…

NetBeans 6.9 发布后选版 1 已经可用

NetBeans 团队荣幸地宣布 NetBeans 6.9 的第一个发布后选版已经可用。 下载 NetBeans 6.9 发布后选版 1 了解 更多关于 NetBeans 6.9 NetBeans 6.9 教程 &视频 更多信息请参看: NetBeans IDE 6.9 里程碑 1 发布 NetBeans IDE 6.9 Beta 发布 转载于:https://www…

第二节:Css重写样式

一丶 进入浏览器---->F12----->找到要修改的区域的Style 进行重写Css样式 二丶打开新页面 window.open("/Persitent/OtherIndex?connectionId" connectionId,"_blank"); 转载于:https://www.cnblogs.com/chenze-Index/p/9309775.html

我的Linux内核学习笔记

在开始今天的内容之前,其实有一些题外话可以和大家分享一下。自从工作以来,我个人一直都有一个观点。那就是怎么样利用简单的代码来说明开发中的问题,或者是解释软件中的原理,这是一个很高的学问。有些道理看上去云里雾里说不清楚…

10 文件无效_新手必看!10个CAD常见问题解决技巧

对于很多刚接触CAD的萌新来说,学习过程遇到的问题总是很多。如果没有老师解答的话,上百度搜索也常常不得要领,所以今天为大家做了大概的问题总结,主要是以下几个问题:1多线段合并A.输入命令“PE”B&#xf…

TurboMail手机客户端—强大的附件文档阅读能力

2019独角兽企业重金招聘Python工程师标准>>> 对于频繁使用邮件的用户而言,收发附件已是家常便饭,但对于手机查看附件,用户却遇到了很多问题。稍微低端的手机,除了txt格式的文本,基本上其他格式的文档&#…

连不上机器判断机器状态_如何准确估计机器人的状态,增强机器人控制的精度及稳定性...

在机器人学中,状态估计和控制一样,是无法避开的问题。 任何传感器的精度都是有限的,如何利用传感器信息,尽可能准确地估计一组完整描述机器人随时间运动的物理量,如位置、速度、加速度、角度、角速度等,是状…

汇编_指令_FLAGS

标志名 标志 1 标志 0 OF (溢出标志) OV NV DF (方向标志) UP DN IF (中断标志&a…