数睿通2.0版本升级:探索数据血缘的奥秘

引言

数睿通 2.0 迎来了 4 月份的更新,该版本更新了许多用户期望的数据血缘模块,把原来外链跳转 neo4j 页面改为自研页面,方便后期的二次开发完善,此外,新版本摒弃了 neo4j 的血缘数据存储方案,一来是因为免费版只能单节点部署,数据量大了会受限,二来是因为很多用户对 neo4j 并不熟悉,上手需要学习其独特的 sql 语法,有一定的学习成本,所以新版采用了 mysql 的存储方案,通过合理的表结构把血缘数据存储到 mysql 中,简单且容易理解,更加利于维护拓展。下面我们一起来看一下本次更新的内容(想要获取源码,部署文档等资料的朋友见文末)。

数据血缘

数据血缘用来描述数据的来源和去向,可以帮我们更好地把控数据的流转和转换情况,新版数睿通 2.0 可以支持字段级别的血缘,帮助用户更好的掌控数据。

目前数据血缘只做了外部数据源到中台库 ODS 层的血缘流转,后续会添加数据开发的血缘流转,通过 SQL 解析 + 人为干预的方式更好地构建血缘关系,新版的数据血缘有两种展示模式,一种是血缘关系图的模式,看起来更加直观,一种是列表模式,可以更加灵活得查询,如图所示。
血缘关系图
血缘列表
字段血缘

问题修复优化

新版对以下问题进行了处理修复:

  • 未启动 flink 相关服务,数据生产调用 sql 任务报错问题
  • 数据生产 flinkSql 任务调用类型转换异常问题
  • 数据接入任务非 mysql 数据库增量同步报错问题
  • 数据接入任务 sql 接入任务失败后的日志显示问题
  • 部分细节优化

结语

本次更新内容就是这些了,主要就是数据血缘,整个重新设计重写了一遍,逻辑比之前更清晰了,背后的代码量还不少,不过应该不难看懂,大家二开的话应该不会有太大问题。下个版本会对数据标签进行完善,数据质量应该会重构一版,除了优化原有逻辑,还会添加错误数据修复,预警通知等功能,此外,API,EXCEL 等非结构化数据的接入,BI 数据可视化也会陆续提上日程,大家耐心等待即可,好事多磨。

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/2772.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

哪些软件可以监控电脑屏幕?值得推荐的六款电脑屏幕监控软件

在当今科技日新月异的时代,电脑屏幕监控软件逐渐成为了企业和个人用户必备的工具。 这些软件可以帮助我们实时监控电脑屏幕,保护数据安全,提高工作效率。 以下是一些值得推荐的电脑屏幕监控软件及其功能和优点: 1,域智…

开源贡献代码之​探索一下Cython

探索一下Cython 本篇文章将会围绕最近给Apache提的一个feature为背景,展开讲讲Cython遇到的问题,以及尝试自己从0写一个库出来,代码也已经放星球了,感兴趣的同学可以去下载学习。 0.背景 最近在给apache arrow提的一个feature因为…

裸机开发调试

裸机开发的基本特点 没有操作系统(Linux) 不使用带有系统调用的标准C库 大量使用物理内存地址进行数据操作 如果要用到库函数,需要自己去实现 将编译和链接分步骤完成,实现对可执行程序的指定链接,并指定链接地址 Linux操作系统一般支持可执行文件格式elf,在裸机环境…

以生命健康为中心的物联网旅居养老运营平台

随着科技的飞速发展和人口老龄化的日益加剧,养老问题逐渐成为社会关注的焦点。传统的养老模式已经难以满足现代老年人的多元化需求,因此,构建一个以生命健康为中心的物联网旅居养老运营平台显得尤为重要。 以生命健康为中心的物联网旅居养老运…

线上旧衣回收小程序,隐藏的蓝海回收市场

随着生活水平的提高,人们对衣服的要求逐渐增加,衣服的更新也越来越快,成为了一个消耗品,这时旧衣服便成为了一个新的商业发展模式。旧衣回收门槛低、投入少,适合普通人进行创业,因此,旧衣回收行…

LeetCode 42. 接雨水 - PHP

给定 n 个非负整数表示每个宽度为 1 的柱子的高度图,计算按此排列的柱子,下雨之后能接多少雨水。 左右两边是漏的,就是第一个柱子和最后一个柱子不接雨水。 暴力递归 class Solution {/*** param Integer[] $height* return Integer*/functi…

office的文件(word、excel、ppt)图标变白

之前用过WPS,后来卸载了,之后图标就变成白的了,但是word、Excel、PPT等都可以正常使用,说明不是打开方式的问题,然后就找问题所在。 看b站视频得知有可能是卸载wps之后,注册表里的图标路径仍然是之前的WPS…

[python3] 读取一个正在更新的日志文件

要读取一个正在更新的日志文件(即实时写入的日志文件),你可以使用 Python 的 open() 函数打开文件,并使用 tail -F 或 f.seek(0, os.SEEK_END) 的技巧来实现实时读取。下面是两种方法的示例: 使用 tail -F 的方法&…

webpack的简单使用

webpack的简单使用 项目初始化 npm init npm install --save-dev webpack npm install --save-dev webpack-cli –save表示非全局下载;–global表示全局下载 (不同项目可能需要不同的依赖版本,故用–save更好) -dev表示开发环境…

推荐收藏的五款上网行为管理软件

在选择上网行为监控软件的时候需要考虑这几个因素:市场占有率、价格、是否试用、服务商实力等,以下介绍的这几个软件就是从这几个方面出发,为大家总结的优秀软件。 安企神: 国内企业级信息安全解决方案提供商,其上网行…

MAC用户福利:一站式电商客服工具下载地址大全揭秘!

列举和比较拼多多商家版,阿里卖家MAC版本,京麦工作台,聊天宝MAC版,千牛MAC版,抖店MAC版各种适用于MAC系统的电商客服工具,提供平台MAC版本的下载地址,帮助用户提高客服效率、改善客户体验,从而提…

大数据第六天

这里写目录标题 问题解决问题查询插入(时间慢)练习sql数据清理 问题 FAILED: ParseException line 1:16 mismatched input ‘input’ expecting INPATH near ‘local’ in load statement MismatchedTokenException(24!155) 加载数据的时候出现了这个错误,我们解释…

【spring】springProperty 使用

springProperty 是一个在 Spring 框架中使用的SpEL(Spring Expression Language)表达式,它允许你在应用程序的配置中引用 Spring 应用程序上下文中的属性值。这个表达式通常用于从 Spring 的 Environment 对象中获取配置属性的值,…

(36)4.20 数据结构(线性表)初始化,输入,删除,查找

#include<stdio.h> #include<stdlib.h> #include<errno.h> #define InitSize 10 #define Max_Size 10 //1.顺序表上基本操作的实现//顺序表的初始化 typedef struct { int* data; //指示动态分配数组指针 int MaxSize;//顺序表的最大容量 int …

Linux基础 - libc.so调试版本编译

技术文档记录 问题&#xff1a;使用自编译的libc.so库进行动态链接报错 步骤&#xff1a; 获取源码&#xff1a;下载libc源码 https://ftp.gnu.org/gnu/glibc/glibc-2.29.tar.gz调试模式&#xff1a;使用 export CFLAGS" -g3 -Og" 来编译 libc.so测试编译&#xf…

STM32 HAL库 利用CH376进行USB文件读写

STM32 其实可以进行读取USB文件,但仅限于F4以上芯片才可以进行SUB文件读写,但在项目开发中,往往用不到此芯片,那么只能通过外挂的USB芯片进行USB文件读写,本文则是采用STM32F103的SPI与CH376进行通信,通过CH376操作指令进行操作。 1、CH376介绍 CH376芯片 是沁恒的一款文…

Web前端-前端工程化

黑马程序员JavaWeb开发教程 文章目录 一、前后端分离开发1、介绍&#xff08;1&#xff09;前后端混合开发&#xff08;2&#xff09;、前后端分离开发 2、YAPI&#xff08;1&#xff09;介绍 二、前端工程化-环境准备1、Vue-cli&#xff08;1&#xff09;NodeJS安装教程 三、前…

【软件工程中的增量模型】

文章目录 前言什么是增量模型&#xff1f;增量模型的优点1. 风险控制2. 增量交付3. 可变性4. 提高可维护性 增量模型的缺点1. 需求变更的管理2. 集成测试的复杂性3. 可能的性能问题 前言 增量模型是一种迭代式的软件开发模型&#xff0c;注重将系统划分为多个子系统或模块&…

客服话术分享:客服如何挖掘需求?

电商客服主动挖掘询问顾客需求是非常重要的&#xff0c;这就需要我们具备一定的沟通技巧。今天这篇客服话术分享&#xff0c;很适合想提升业绩的你们哦&#xff01; 一、打招呼式询问需求&#xff1a; 1.欢迎光临&#xff0c;本店竭诚为您服务~请问您有什么具体想了解的问题吗&…

【PHP】PHP7中的引用计数

目录 一、环境二、前言三、字符串类型四、数组类型问题1:不变数组的作用是什么?问题2:为什么非空的不变数组的refcount初始值是2?五、引用类型六、参阅一、环境 PHP 7.4 二、前言 PHP的变量在底层有一个引用计数(refcount)属性,这个引用计数是为垃圾回收(GC)服务的…