「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.8最新功能作了介绍方便大家对比:(产品更新详情:4.1.8最新功能体验)

更新功能数据源

神通数据库支持定时读写、管道实时写入和数据服务

定时任务和数据服务适配更高版本lmpala

数据开发

数据开发支持版本管理和版本比对

支持直接向FineBl的公共数据中建表和写入数据

定时任务支持全局动态参数

数据管道管道任务支持多对一同步

一、数据源

1、神通数据库支持定时读写、管道实时写入和数据服务

神通数据库(Shentong Database)是国产高性能关系数据库,支持SQL查询和事务处理,具有高可用性、高安全性和高扩展性,适用于数据仓库、实时处理和大规模并行处理。

从4.1.8版本起,数据开发任务、实时数据管道和数据服务支持神通数据库,从而满足企业的数据集成、治理和分享需求。

数据连接-神通数据库

💠详情:配置神通数据源

2、定时任务和数据服务适配更高版本Impala

Impala是一个分布式、大规模并行处理(MPP)的查询引擎,提供对HDFS和HBase数据的高性能、低延迟的交互式SQL查询功能。它利用内存进行计算,兼顾数据仓库、实时处理、批处理和高并发等优点。

在FineDataLink4.1.8及以上版本中,Impala数据源在4.0.1版本支持2.X版本的基础上,新增支持Impala 3.4、Impala 4.1。

数据连接-Impala配置

💠详情:

二、数据开发

1、数据开发支持版本管理和版本比对

在FDL4.1.8及以上版本中对于定时任务可以进行版本节点信息、任务参数、任务控制的详情查看、版本对比以及回滚。

版本管理

版本比对:各个版本之间、开发环境的任务在发布时可以和生产环境内容进行版本比对,比对内容包括:参数列表、任务控制、画布节点,帮助快速定位版本差异,进行任务调试。

版本比对

💠详情:定时任务版本管理

2、支持直接向FineBI的公共数据中建表和写入数据

在FineDataLink 4.1.8及以后的版本中,经过数据开发ETL处理后的结果,可直接对接FineBI公共数据集自动建表和写入数据,当数据开发的任务调度执行时,触发公共数据集的数据自动更新。

数据开发-输出FineBI公共数据集

💠详情:数据集输出

3、定时任务支持全局动态参数

在数据开发过程中,会存在部分参数例如时间或者是API的token需要被多个任务多次引用的场景,同时当参数发生变化时需要全局同步变化。

在FineDataLink 4.1.8及以上版本中支持全局赋值参数配置,动态参数可来源于数据表、API、文件等。

全局赋值参数配置

💠详情:全局参数-赋值参数

三、数据管道

1、管道任务支持多对一同步

在数据集成时,把相同格式的多个表的数据实时同步到数仓的ODS的一张表中,是数仓搭建的常见场景。在FineDataLink 4.1.8及以上版本中,支持对同一个数据连接下同种、不同模式下的数据表,直接进行合并同步到同一个目标表里,简化了多表实时同步的操作。

数据管道多对一同步分组表检测

💠详情:配置管道任务-选择数据来源

💠产品更新详情:4.1.8更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值!

更新详情:4.1.8更新日志

功能体验链接

技术文档参考:FineDataLink文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/862401.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

企业出海的浪潮下,如何利用亚马逊云(AWS)更好地应对?

在全球化的浪潮下,越来越多的企业开始将目光投向国际市场。在这个数字化时代,云计算技术成为企业出海的必备利器之一。AWS云作为全球领先的云服务提供商,凭借其卓越的性能和完善的服务体系,成为众多企业出海的首选。 一、出海为什…

CDN入门

在腾讯云上使用CDN 1、参考 内容分发网络 CDN 从零开始配置 CDN-快速入门-文档中心-腾讯云 2、验证 访问: 登录 - 腾讯云 Window10本地电脑使用命令验证 nslookup -qt-cname hmblogs.com.cn Ubuntu下验证 dig hmblogs.com.cn

SpringBoot整合Solr进行搜索(简单)

SpringBoot整合Solr进行搜索 创建SpringBoot项目pom中加入Solr依赖配置 Solr创建实体编写一个简单的ID查询打印结果 参考文章 创建SpringBoot项目 这里基于aliyun提供的快速构建一个项目。我们这主要是整合Solr。 pom中加入Solr依赖 maven下载地址 pom中加入以下内容&#x…

「ETL趋势」FDL定时任务区分开发/生产模式、API输入输出支持自定义响应解析

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.7最新功能作了介绍,方便大家对比:(产品更新详情:…

鸿蒙开发设备管理:【@ohos.brightness (屏幕亮度)】

屏幕亮度 该模块提供屏幕亮度的设置接口。 说明: 本模块首批接口从API version 7开始支持。后续版本的新增接口,采用上角标单独标记接口的起始版本。 导入模块 import brightness from ohos.brightness;brightness.setValue setValue(value: number):…

binder问题分析总结

经常遇到binder泄露的问题,要怎么分析呢 一 加log 1: binder 驱动log :要先其他log锁定时间点,因为他的进程号一直是0 所以不建议这里加log。 可以直接打印对应的文件信息:/dev/binderfs/binder_logs/state 2: writ…

【ai】ubuntu18.04 找不到 nvcc --version问题

nvcc --version显示command not found问题 这个是cuda 库: windows安装了12.5 : 参考大神:解决nvcc --version显示command not found问题 原文链接:https://blog.csdn.net/Flying_sfeng/article/details/103343813 /usr/local/cuda/lib64 与 /usr/local/cuda-11.3/lib64 完…

Spring boot中的@RestController和@Controller区别

RestController 和 Controller 都是 Spring Framework 中用于定义控制器(Controller)的注解,但它们之间有一些关键的区别。 用途和返回类型: Controller:这是一个基础的注解,用于标记一个类作为 Spring MVC…

gbase8s的基于ontape或者onbar做表级别抽取还原的工具archecker-1.概述内容和一个简单示例

1. 概述 数据复原 可以使用archecker程序恢复之前已使用onbar或者ontape备份的数据中的一部分可以恢复数据库的一部分、一张表、表的一部分或一组表可以复原到特定的时间点 复制数据 起始以文本形式抽取数据,可以在不同平台或者服务器之间抽取数据可以把表从生产…

数据挖掘常见算法(聚类)

划分方法 K-均值算法(K-means算法) 方法: 首先选择K个随机的点,称为聚类中心.对于数据集中的,每一个数据,按照距离K个中心点的距离,将其与距离最近的中心点关联起来,与同一个中心点关联的所有点聚成一类.计算每一个组的平均值,将改组所关联的中心点移动到平均值的位置重复2~…

《昇思25天学习打卡营第7天 | 昇思MindSpore模型训练》

第七天 之前学习了模型训练的构建数据集,定义神经网络模型。本节学习了定义超参、损失函数及优化器,输入数据集进行训练与评估。 模型训练的步骤 1.构建数据集 2.定义神经网络模型 3.定义超参、损失函数及优化器 4.输入数据集进行训练与评估

关于IDEA启动报错 【JAVA_HOME does not point to a valid JM installation】

希望文章能给到你启发和灵感~ 感谢支持和关注~ 阅读指南 一、基础环境说明1.1 硬件环境1.2 软件环境 二、起因 一、基础环境说明 考虑环境因素不同,大家适当的对比自己的软硬件环境情况分析~ 1.1 硬件环境 MacOS Monterey 版本 1…

海外仓一件代发业务优化指南:成本构成分析及优化策略

一件代发是大部分海外仓的核心业务,不过随着海外仓市场竞争的加剧,仓库经营成本上涨成了普遍现象。 今天我们会结合众多海外仓的实际情况,综合分析海外仓一件代发业务成本的构成,成本激增的原因以及对应的优化策略,希…

SmartEDA电路仿真教学VS传统教学:谁将颠覆未来教育战场?

在科技飞速发展的今天,教育领域也迎来了前所未有的变革。传统的教学方式正面临着在线教学工具的强劲挑战,特别是在电路仿真教学领域,SmartEDA这样的在线工具正逐渐崭露头角。那么,SmartEDA电路仿真教学与传统教学之间,…

没有兴趣爱好的我,怎么填报高考志愿选专业?

这是我从知乎看来的一个问题,也在知乎做了回复,顺便摘录下来做个记录。 原文是:以为考完了就走向人生巅峰了,谁知道会这么down。我爸这两天一直追着问我有什么理想,搞得我很难受。过去的十几年里,我对人生都…

[BUUCTF从零单排] Web方向 02.Web入门篇之『常见的搜集』解题思路(dirsearch工具详解)

这是作者新开的一个专栏《BUUCTF从零单排》,旨在从零学习CTF知识,方便更多初学者了解各种类型的安全题目,后续分享一定程度会对不同类型的题目进行总结,并结合CTF书籍和真实案例实践,希望对您有所帮助。当然&#xff0…

windows系统【文件共享】局域网共享本地电脑文件夹以及密码和访问权限设置

windows系统【文件共享】局域网共享本地电脑文件夹以及密码和访问权限设置 介绍操作创建文件夹和文件设置文件夹的共享高级权限的设置密码保护设置密码和访客的设置 测试进入账号安全总结 介绍 身为职场的打工人,可能最常用的功能就是公司内跟同事的文件共享吧这样…

【React学习】JSX本质

一、JSX介绍 JSX(JavaScript XML)是React框架中的一种语法扩展,它允许你在JavaScript代码中编写类似HTML的代码。JSX使得编写React组件的结构更加直观和简洁。JSX的结构类似HTML,但其实他是JavaScript的语法糖,通过Ba…

Java面试题:讨论Spring框架的核心组件,如IoC容器、AOP、事务管理等

Spring框架是一个功能强大且灵活的Java企业级应用开发框架,其核心组件包括以下几个主要部分: 1. IoC容器(Inversion of Control Container) IoC容器是Spring框架的核心部分,用于管理应用程序的依赖注入(D…

微信小程序常用的传值

1.通过 URL 传参 在页面跳转时,可以在 URL 中携带参数进行传递,然后在目标页面的 onLoad 生命周期中获取参数。 // 在页面 A 中跳转到页面 B 并传递参数 wx.navigateTo({url: /pages/detail/index?id123 });// 在页面 B 的 onLoad 生命周期中获取参数…