数睿通2.0版本升级:探索数据血缘的奥秘

引言

数睿通 2.0 迎来了 4 月份的更新,该版本更新了许多用户期望的数据血缘模块,把原来外链跳转 neo4j 页面改为自研页面,方便后期的二次开发完善,此外,新版本摒弃了 neo4j 的血缘数据存储方案,一来是因为免费版只能单节点部署,数据量大了会受限,二来是因为很多用户对 neo4j 并不熟悉,上手需要学习其独特的 sql 语法,有一定的学习成本,所以新版采用了 mysql 的存储方案,通过合理的表结构把血缘数据存储到 mysql 中,简单且容易理解,更加利于维护拓展。下面我们一起来看一下本次更新的内容(想要获取源码,部署文档等资料的朋友见文末)。

数据血缘

数据血缘用来描述数据的来源和去向,可以帮我们更好地把控数据的流转和转换情况,新版数睿通 2.0 可以支持字段级别的血缘,帮助用户更好的掌控数据。

目前数据血缘只做了外部数据源到中台库 ODS 层的血缘流转,后续会添加数据开发的血缘流转,通过 SQL 解析 + 人为干预的方式更好地构建血缘关系,新版的数据血缘有两种展示模式,一种是血缘关系图的模式,看起来更加直观,一种是列表模式,可以更加灵活得查询,如图所示。
血缘关系图
血缘列表
字段血缘

问题修复优化

新版对以下问题进行了处理修复:

  • 未启动 flink 相关服务,数据生产调用 sql 任务报错问题
  • 数据生产 flinkSql 任务调用类型转换异常问题
  • 数据接入任务非 mysql 数据库增量同步报错问题
  • 数据接入任务 sql 接入任务失败后的日志显示问题
  • 部分细节优化

结语

本次更新内容就是这些了,主要就是数据血缘,整个重新设计重写了一遍,逻辑比之前更清晰了,背后的代码量还不少,不过应该不难看懂,大家二开的话应该不会有太大问题。下个版本会对数据标签进行完善,数据质量应该会重构一版,除了优化原有逻辑,还会添加错误数据修复,预警通知等功能,此外,API,EXCEL 等非结构化数据的接入,BI 数据可视化也会陆续提上日程,大家耐心等待即可,好事多磨。

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/2772.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

哪些软件可以监控电脑屏幕?值得推荐的六款电脑屏幕监控软件

在当今科技日新月异的时代,电脑屏幕监控软件逐渐成为了企业和个人用户必备的工具。 这些软件可以帮助我们实时监控电脑屏幕,保护数据安全,提高工作效率。 以下是一些值得推荐的电脑屏幕监控软件及其功能和优点: 1,域智…

开源贡献代码之​探索一下Cython

探索一下Cython 本篇文章将会围绕最近给Apache提的一个feature为背景,展开讲讲Cython遇到的问题,以及尝试自己从0写一个库出来,代码也已经放星球了,感兴趣的同学可以去下载学习。 0.背景 最近在给apache arrow提的一个feature因为…

以生命健康为中心的物联网旅居养老运营平台

随着科技的飞速发展和人口老龄化的日益加剧,养老问题逐渐成为社会关注的焦点。传统的养老模式已经难以满足现代老年人的多元化需求,因此,构建一个以生命健康为中心的物联网旅居养老运营平台显得尤为重要。 以生命健康为中心的物联网旅居养老运…

线上旧衣回收小程序,隐藏的蓝海回收市场

随着生活水平的提高,人们对衣服的要求逐渐增加,衣服的更新也越来越快,成为了一个消耗品,这时旧衣服便成为了一个新的商业发展模式。旧衣回收门槛低、投入少,适合普通人进行创业,因此,旧衣回收行…

推荐收藏的五款上网行为管理软件

在选择上网行为监控软件的时候需要考虑这几个因素:市场占有率、价格、是否试用、服务商实力等,以下介绍的这几个软件就是从这几个方面出发,为大家总结的优秀软件。 安企神: 国内企业级信息安全解决方案提供商,其上网行…

MAC用户福利:一站式电商客服工具下载地址大全揭秘!

列举和比较拼多多商家版,阿里卖家MAC版本,京麦工作台,聊天宝MAC版,千牛MAC版,抖店MAC版各种适用于MAC系统的电商客服工具,提供平台MAC版本的下载地址,帮助用户提高客服效率、改善客户体验,从而提…

大数据第六天

这里写目录标题 问题解决问题查询插入(时间慢)练习sql数据清理 问题 FAILED: ParseException line 1:16 mismatched input ‘input’ expecting INPATH near ‘local’ in load statement MismatchedTokenException(24!155) 加载数据的时候出现了这个错误,我们解释…

【spring】springProperty 使用

springProperty 是一个在 Spring 框架中使用的SpEL(Spring Expression Language)表达式,它允许你在应用程序的配置中引用 Spring 应用程序上下文中的属性值。这个表达式通常用于从 Spring 的 Environment 对象中获取配置属性的值,…

STM32 HAL库 利用CH376进行USB文件读写

STM32 其实可以进行读取USB文件,但仅限于F4以上芯片才可以进行SUB文件读写,但在项目开发中,往往用不到此芯片,那么只能通过外挂的USB芯片进行USB文件读写,本文则是采用STM32F103的SPI与CH376进行通信,通过CH376操作指令进行操作。 1、CH376介绍 CH376芯片 是沁恒的一款文…

Web前端-前端工程化

黑马程序员JavaWeb开发教程 文章目录 一、前后端分离开发1、介绍(1)前后端混合开发(2)、前后端分离开发 2、YAPI(1)介绍 二、前端工程化-环境准备1、Vue-cli(1)NodeJS安装教程 三、前…

客服话术分享:客服如何挖掘需求?

电商客服主动挖掘询问顾客需求是非常重要的,这就需要我们具备一定的沟通技巧。今天这篇客服话术分享,很适合想提升业绩的你们哦! 一、打招呼式询问需求: 1.欢迎光临,本店竭诚为您服务~请问您有什么具体想了解的问题吗&…

力扣数据库题库学习(4.24日)

1068. 产品销售分析 I 问题链接 思路分析 编写解决方案,以获取 Sales 表中所有 sale_id 对应的 product_name 以及该产品的所有 year 和 price 。返回结果表 无顺序要求 。 这个问题很简单,查询两张表内的指定字段。这个考的其实就是数据库的连接&am…

架构师系列-MYSQL调优(六)- 排序优化

MySQL中的两种排序方式 索引排序: 通过有序索引顺序扫描直接返回有序数据额外排序: 对返回的数据进行文件排序ORDER BY优化的核心原则: 尽量减少额外的排序,通过索引直接返回有序数据。 索引排序 因为索引的结构是B树,索引中的数据是按照一定顺序进行…

janus架构学习

基础介绍 Janus 是由Meetecho设计和开发的开源、通用的基于SFU架构的WebRTC流媒体服务器,它支持在Linux的服务器或MacOS上的机器进行编译和安装。Janus 是使用C语言进行编写的,它的性能十分优秀。 架构 janus为sfu架构 模块结构图 模块说明 core模…

VR全景创业项目应该如何开展?未来有市场吗?

伴随着5G网络的发展,VR全景得到了众多的关注和提升。与此同时,各行各业都开始关注自身产业在互联网的展示效果,因为年轻一代的生活已经离不开互联网,而VR全景在互联网上的3D展示效果能给商家带来流量,提升营业额。 随着…

【Qt】.ui文件转.h文件

1、打开qt命令行 2、转换 uic -o ui.h mainwindow.ui

前端补充17(JS)

一、JS组成成分 JS的组成成分,由三部分组成 第一、ECMAScript:语法规则,如何定义变量,数据类型有哪些,如何转换数据类型,if判断 if-else while for for-in forEach do-while switch 数组 函数 对…

欧美助听器市场热门品牌盘点,国产爱可声备受青睐

近年来,随着中国技术的不断进步和品质的提升,国产助听器品牌爱可声在欧美市场备受瞩目。在欧美国家助听器市场,有许多热门品牌分别为:峰力、斯达克、瑞声达、爱可声等。这些品牌凭借其悠久的历史、先进的技术和高品质的产品&#…

monorepo搭建记录

最终文件效果 1、准备环境 npm pnpm 2、创建文件夹npm init vite // 名字可以为main(自定义) 创建主应用main npm init vite // 名字可以为main monorepo下创建文件夹web 创建辅助应用 例:react-demo,具体步骤:1、 cd…