「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.8最新功能作了介绍方便大家对比:(产品更新详情:4.1.8最新功能体验)

更新功能数据源

神通数据库支持定时读写、管道实时写入和数据服务

定时任务和数据服务适配更高版本lmpala

数据开发

数据开发支持版本管理和版本比对

支持直接向FineBl的公共数据中建表和写入数据

定时任务支持全局动态参数

数据管道管道任务支持多对一同步

一、数据源

1、神通数据库支持定时读写、管道实时写入和数据服务

神通数据库(Shentong Database)是国产高性能关系数据库,支持SQL查询和事务处理,具有高可用性、高安全性和高扩展性,适用于数据仓库、实时处理和大规模并行处理。

从4.1.8版本起,数据开发任务、实时数据管道和数据服务支持神通数据库,从而满足企业的数据集成、治理和分享需求。

数据连接-神通数据库

💠详情:配置神通数据源

2、定时任务和数据服务适配更高版本Impala

Impala是一个分布式、大规模并行处理(MPP)的查询引擎,提供对HDFS和HBase数据的高性能、低延迟的交互式SQL查询功能。它利用内存进行计算,兼顾数据仓库、实时处理、批处理和高并发等优点。

在FineDataLink4.1.8及以上版本中,Impala数据源在4.0.1版本支持2.X版本的基础上,新增支持Impala 3.4、Impala 4.1。

数据连接-Impala配置

💠详情:

二、数据开发

1、数据开发支持版本管理和版本比对

在FDL4.1.8及以上版本中对于定时任务可以进行版本节点信息、任务参数、任务控制的详情查看、版本对比以及回滚。

版本管理

版本比对:各个版本之间、开发环境的任务在发布时可以和生产环境内容进行版本比对,比对内容包括:参数列表、任务控制、画布节点,帮助快速定位版本差异,进行任务调试。

版本比对

💠详情:定时任务版本管理

2、支持直接向FineBI的公共数据中建表和写入数据

在FineDataLink 4.1.8及以后的版本中,经过数据开发ETL处理后的结果,可直接对接FineBI公共数据集自动建表和写入数据,当数据开发的任务调度执行时,触发公共数据集的数据自动更新。

数据开发-输出FineBI公共数据集

💠详情:数据集输出

3、定时任务支持全局动态参数

在数据开发过程中,会存在部分参数例如时间或者是API的token需要被多个任务多次引用的场景,同时当参数发生变化时需要全局同步变化。

在FineDataLink 4.1.8及以上版本中支持全局赋值参数配置,动态参数可来源于数据表、API、文件等。

全局赋值参数配置

💠详情:全局参数-赋值参数

三、数据管道

1、管道任务支持多对一同步

在数据集成时,把相同格式的多个表的数据实时同步到数仓的ODS的一张表中,是数仓搭建的常见场景。在FineDataLink 4.1.8及以上版本中,支持对同一个数据连接下同种、不同模式下的数据表,直接进行合并同步到同一个目标表里,简化了多表实时同步的操作。

数据管道多对一同步分组表检测

💠详情:配置管道任务-选择数据来源

💠产品更新详情:4.1.8更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值!

更新详情:4.1.8更新日志

功能体验链接

技术文档参考:FineDataLink文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/862401.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

企业出海的浪潮下,如何利用亚马逊云(AWS)更好地应对?

在全球化的浪潮下,越来越多的企业开始将目光投向国际市场。在这个数字化时代,云计算技术成为企业出海的必备利器之一。AWS云作为全球领先的云服务提供商,凭借其卓越的性能和完善的服务体系,成为众多企业出海的首选。 一、出海为什…

CDN入门

在腾讯云上使用CDN 1、参考 内容分发网络 CDN 从零开始配置 CDN-快速入门-文档中心-腾讯云 2、验证 访问: 登录 - 腾讯云 Window10本地电脑使用命令验证 nslookup -qt-cname hmblogs.com.cn Ubuntu下验证 dig hmblogs.com.cn

SpringBoot整合Solr进行搜索(简单)

SpringBoot整合Solr进行搜索 创建SpringBoot项目pom中加入Solr依赖配置 Solr创建实体编写一个简单的ID查询打印结果 参考文章 创建SpringBoot项目 这里基于aliyun提供的快速构建一个项目。我们这主要是整合Solr。 pom中加入Solr依赖 maven下载地址 pom中加入以下内容&#x…

「ETL趋势」FDL定时任务区分开发/生产模式、API输入输出支持自定义响应解析

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.7最新功能作了介绍,方便大家对比:(产品更新详情:…

鸿蒙开发设备管理:【@ohos.brightness (屏幕亮度)】

屏幕亮度 该模块提供屏幕亮度的设置接口。 说明: 本模块首批接口从API version 7开始支持。后续版本的新增接口,采用上角标单独标记接口的起始版本。 导入模块 import brightness from ohos.brightness;brightness.setValue setValue(value: number):…

【ai】ubuntu18.04 找不到 nvcc --version问题

nvcc --version显示command not found问题 这个是cuda 库: windows安装了12.5 : 参考大神:解决nvcc --version显示command not found问题 原文链接:https://blog.csdn.net/Flying_sfeng/article/details/103343813 /usr/local/cuda/lib64 与 /usr/local/cuda-11.3/lib64 完…

数据挖掘常见算法(聚类)

划分方法 K-均值算法(K-means算法) 方法: 首先选择K个随机的点,称为聚类中心.对于数据集中的,每一个数据,按照距离K个中心点的距离,将其与距离最近的中心点关联起来,与同一个中心点关联的所有点聚成一类.计算每一个组的平均值,将改组所关联的中心点移动到平均值的位置重复2~…

《昇思25天学习打卡营第7天 | 昇思MindSpore模型训练》

第七天 之前学习了模型训练的构建数据集,定义神经网络模型。本节学习了定义超参、损失函数及优化器,输入数据集进行训练与评估。 模型训练的步骤 1.构建数据集 2.定义神经网络模型 3.定义超参、损失函数及优化器 4.输入数据集进行训练与评估

关于IDEA启动报错 【JAVA_HOME does not point to a valid JM installation】

希望文章能给到你启发和灵感~ 感谢支持和关注~ 阅读指南 一、基础环境说明1.1 硬件环境1.2 软件环境 二、起因 一、基础环境说明 考虑环境因素不同,大家适当的对比自己的软硬件环境情况分析~ 1.1 硬件环境 MacOS Monterey 版本 1…

海外仓一件代发业务优化指南:成本构成分析及优化策略

一件代发是大部分海外仓的核心业务,不过随着海外仓市场竞争的加剧,仓库经营成本上涨成了普遍现象。 今天我们会结合众多海外仓的实际情况,综合分析海外仓一件代发业务成本的构成,成本激增的原因以及对应的优化策略,希…

SmartEDA电路仿真教学VS传统教学:谁将颠覆未来教育战场?

在科技飞速发展的今天,教育领域也迎来了前所未有的变革。传统的教学方式正面临着在线教学工具的强劲挑战,特别是在电路仿真教学领域,SmartEDA这样的在线工具正逐渐崭露头角。那么,SmartEDA电路仿真教学与传统教学之间,…

没有兴趣爱好的我,怎么填报高考志愿选专业?

这是我从知乎看来的一个问题,也在知乎做了回复,顺便摘录下来做个记录。 原文是:以为考完了就走向人生巅峰了,谁知道会这么down。我爸这两天一直追着问我有什么理想,搞得我很难受。过去的十几年里,我对人生都…

[BUUCTF从零单排] Web方向 02.Web入门篇之『常见的搜集』解题思路(dirsearch工具详解)

这是作者新开的一个专栏《BUUCTF从零单排》,旨在从零学习CTF知识,方便更多初学者了解各种类型的安全题目,后续分享一定程度会对不同类型的题目进行总结,并结合CTF书籍和真实案例实践,希望对您有所帮助。当然&#xff0…

windows系统【文件共享】局域网共享本地电脑文件夹以及密码和访问权限设置

windows系统【文件共享】局域网共享本地电脑文件夹以及密码和访问权限设置 介绍操作创建文件夹和文件设置文件夹的共享高级权限的设置密码保护设置密码和访客的设置 测试进入账号安全总结 介绍 身为职场的打工人,可能最常用的功能就是公司内跟同事的文件共享吧这样…

智能网络构建:探索大模型在网络领域的应用

网络领域以其高度复杂性和快速迭代为特点,完成从网络设计、配置、诊断到安全的网络任务需要广泛的专业知识。这些任务的固有复杂性,加上网络技术和协议不断变化的格局,为传统基于机器学习的方法带来了显著的障碍。这些方法在泛化和自动化网络…

Java学习 - Redis-Sentinel

主从复制存在的问题与解决 问题 发生故障时,需要手动进行故障转移写能力和存储能力受限 解决 redis官方推出redis-sentinel可以自动实现主从复制的故障恢复用于实现redis的高可用 redis-sentinel简介 sentinel是特殊的redis,不存储数据,支…

微信小程序根据蓝牙RSSI信号强度测试设备距离

背景 在做小程序连接蓝牙设备的时候,有需求表明在搜索到0.5米之内的设备时自动连接 问题: 蓝牙模组只提供了RSSI信号强度,那又该如何计算蓝牙设备距离小程序的距离呢? 解决方案 通过以下公式做大量测试:求 A、n 的平均…

​​Linux(CentOS)​​同步服务器时间之~​​chrony​​

Chrony 是一款开源的网络时间协议(NTP)客户端和服务端软件,旨在提供高精度的时间同步功能。相较于传统的 NTP 实现如 ntpd,Chrony 提供了一些改进和优势,包括更快的同步速度、低延迟、低CPU占用和低内存消耗。以下是 Chrony 的几个关键特性和…

DIY:在您的 PC 上本地使用 Stable Diffusion AI 模型生成图像

前言 随着DALL-E-2和Midjourney的发布,您可能听说过最近 AI 生成艺术的繁荣。这些人工智能模型如何在几秒钟内创造性地生成逼真的图像,这绝对是令人兴奋的。您可以在这里查看其中的一些:DALL-E-2 gallery和Midjourney gallery 但是这些模型…