国产化ETL产品必备的特性(非开源包装)

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行抽取、清洗(净化)、转换、装载、标准、集成(汇总)...... 最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

       如果数据转换的频率或者要求不高可以手动实现ETL的功能;反之,如果对数据转换的要求比较高的话,就需要专门的ETL工具.



  1. 功能特性
    1. 开放性

支持各种类型业务系统数据源,包括不仅限于oracle、sqlserver、access等各类国内外关系型数据库,甚至pdf、word、excel、xml、txt等类型数据文件,支持多达30+数据源同时采集提取。国产信创数据库等即刻开放接口。 

1.2 扩展性 

集成Bee脚本开发环境(自研),图形设计可转换成后台bee脚本,可个性化定制开发,满足国内特殊信息现状。满足复杂业务逻辑数据处理需求。

提取的数据结构、数据内容、数据标准、数据处理流程都是可扩展和灵活配置的。

1.3简化性

简化了用户的操作。专用ETL通常通过图形化的配置方式,简单,灵活,使得用户无需过分关心数据库的各种内部细节,而专注于其功能实现。

1.4集成性

 集成数据标准转换和数据清洗功能。可对实际系统业务中复杂数据标准和代码转换,且配置简单、方便。数据抽取、清洗工作保证了数据质量。从而做到统一接口、统一数据文件格式、统一运行和维护方法。

1.5创新性 

独有的工作流调度、内置独有的脚本解释器功能组件(bee 脚本函数)处理清洗、过滤、转换。

1.6先进性 

核心自研可控,源自2004年 非开源包装技术。

1.7易安装维护 

系统本身是绿色免安装软件,拷贝就能用。基本不需要其他系统维护工作。

2非功能特点

 2.1 工具界面 

可以通过可视化操作方式进行设计,将大大降低开发门槛,使开发人员得到补充,避免人员流动性造成的运维困难。

 2.2 可用性 

改善数据运维的方式,运维人员经过基本培训后,简单操作即可满足ETL作业上线、部署等需求。

 2.3 安全性 

用户创建的作业文件采用加密方式存储,密钥采用与机器相关的硬件信息,当作业文件拷贝到其它机器时,由于对应密钥的硬件信息 发生改变,所以作业文件是无法读取的。这样可以杜绝非法用户将作业文件复制后、通过在其它机器创建同名用户从而窃取、破坏数 据信息的行为发生。

 为了防止程序开启后的非法访问(如用户在打开作业文件后离开机器,非法用户可借此窃取、破环数据信息),程序提供界面锁定功能。界面锁定后,必须提供锁定用户的密码才可重新进入程序。

2.4 易用性

 良好的易用性,逻辑清晰便于用户理解;系统操作简单,人机交互界面友好。系统操作界面一目了然,用户能够直观的找到自己使用的功能菜单,很方便的完成所需操作。

2.5设计约束 

所构建系统的所有设计约束。设计约束代表经过批准的、必须遵从的设计决定。示例包括软件语言、软件流程管理需求、规定使用的开发工具、体系结构和设计约束、购买的组件、类库等等。

3.部署要求

3.1.平台支持:

支持主流平台Linux, Windows以及国产操作系统,不同平台间具备可移植性(包含不同平台间移植以及从相同平台开发环境到生产环境间的移植);提供独立的运行框架,不依赖特定的数据库产品。同时支持各种硬件平台,如x86,龙芯等等。

3.2.满足信创要求

工具所依赖的操作系统、数据库、中间件符合信创改造要求。主要为:统信UOS操作系统、中科方德操作系统、中标麒麟、国产化数据库(人大金仓、达梦等)。

3.3.跨平台移植和向下兼容

工具跨平台或版本升级不影响原有作业设计及使用。或能提供作业升级脚本。

详见功能组件,如下图:


灵蜂ETL产品 BeeDI 之转换界面 配置
灵蜂ETL产品 BeeDI 之转换界面 配置

灵蜂ETL产品BeeDI之 数据联邦 配置

灵蜂ETL产品 BeeDI之 工作流 配置
灵蜂ETL产品 BeeDI之 工作流 配置
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== 编辑

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/31366.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

代码生成器技术乱弹五十三,人工智能和通用代码生成器的共同点:Token

代码生成器技术乱弹五十三,人工智能和通用代码生成器的共同点:Token 现在,随着人工智能的快速发展,特别是生成式人工智能的爆火,大家逐渐熟悉了一个概念,Token。我称之为字牌。在生成式人工智能的语境下&a…

OpenAI 联合创始人 Ilya Sutskever 的新初创公司致力于“安全超级智能”

OpenAI 前首席科学家伊利亚-苏茨克沃尔(Ilya Sutskever)在今年 5 月离开了他共同创立的人工智能研究公司后,透露了他的下一个重要项目。 相关阅读:GPT-4o通过整合文本、音频和视觉实现人性化的AI交互,OpenAI推出了其新…

大电流与小电流在检测原理上有区别吗

1 常用电流检测原理 1.1 分流器原理 被测量的电流在输入端电阻上Rshunt形成电压正比于测量电流,通过同相比例电路进行放大输出。 缺点: 输入电流减小时,需要更大的Rshunt;输入电阻Rshunt串入检测回路内将引起被测电流减小&a…

山西青年杂志山西青年杂志社山西青年编辑部2024年第10期目录

本刊专稿 共融共创、校企共建BIM创新创业中心的探索与实践 黄强;马福贵;贾晓敏;苏艳贞;魏艳卿; 1-3 财务管理课程专创融合教学改革与实践 宋衍程; 4-7 数字化赋能国际贸易实务课程建设研究 吴珍彩; 8-11《山西青年》投稿:cn7kantougao163.com 青年教育研…

GD32F303 低功耗模式要点

我们都知道,MCU有低功耗模式,比如GD32F303芯片,就有Sleep、Deepsleep和Standby三种模式。关于这三种模式的具体使用方法,小伙伴们可以参考《GD32F30x系列用户手册》。 今天我们来聊下几个低功耗模式要点。 1、进入低功耗模式后I…

perfect-scrollbar缩小浏览器窗口滚动条无线滚动的bug

https://github.com/mdbootstrap/perfect-scrollbar/issues/153

Sa-token基本使用教程(全网最详细!!!)

1.概述 1.1 Sa-Token介绍 功能简单示例 1.2 Sa-Token 功能一览 2. 使用 2.1 导入依赖 2.2 springBoot的简单集成 2.2.1 配置文件 2.2.2 controller 2.2.3 简单登录页面 2.3 功能详解 2.3.1 登录认证 2.3.1.1 登录与注销 NotLoginException 登录分析 先校验账号和…

Python3,10行代码,从数据库获取各个维度的数据统计,并把结果输出在Excel中。

10行代码自动统计数据 1、引言2、代码实例3、总结 1、引言 小屌丝:鱼哥帮个忙 小鱼:稍等会哦, 小屌丝:好嘞。 小屌丝: 鱼哥, 还没忙完嘛? 小鱼:快了快了, 再耐心等一等…

Springboot拓展之整合邮件 JavaMail的使用与实操

邮件 电子邮件仍然是我们企业间交往的一种非常常见的方式 发送简单邮件 第一步首先导入坐标 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId><version>2.6.13</version&…

win11家庭版使用自带的Linux子系统并安装docker【全网整合版】

1. 电脑配置项 开发者选项 设置->系统->开发者选项 启用或关闭windows功能 控制面板->卸载程序->启用或关闭windows功能 勾选适用于Linux的Windows子系统和虚拟机平台并重启电脑(首次勾选选项时电脑提示重启) Hyper-V 关键点&#xff1a;win11家庭版在启动…

不知道怎么下载原版系统,这几个原版系统下载网站可以帮你

电脑是我们日常办公生活中必备不可少的设备&#xff0c;无论是个人使用还是企业部署&#xff0c;拥有一个稳定、安全且纯净的操作系统对于保障数据安全和提升使用体验至关重要。然而&#xff0c;网络上充斥着各种二次打包的系统版本&#xff0c;这些版本往往携带了第三方软件或…

C++ 矩阵的最小路径和解法

描述 给定一个 n * m 的矩阵 a&#xff0c;从左上角开始每次只能向右或者向下走&#xff0c;最后到达右下角的位置&#xff0c;路径上所有的数字累加起来就是路径和&#xff0c;输出所有的路径中最小的路径和。 数据范围: 1≤&#x1d45b;,&#x1d45a;≤5001≤n,m≤500&…

【总线】AXI4第四课时:信号描述

大家好,欢迎来到今天的总线学习时间!如果你对电子设计、特别是FPGA和SoC设计感兴趣&#xff0c;那你绝对不能错过我们今天的主角——AXI4总线。作为ARM公司AMBA总线家族中的佼佼者&#xff0c;AXI4以其高性能和高度可扩展性&#xff0c;成为了现代电子系统中不可或缺的通信桥梁…

Cancer Discovery | 非小细胞肺癌的空间蛋白组学研究再添新篇章

非小细胞肺癌&#xff08;NSCLC&#xff09;作为最常见的肺癌亚型&#xff0c;其治疗和预后的改善一直是医学研究的重点。由肿瘤细胞、免疫细胞、成纤维细胞等多种细胞类型组成的肿瘤微环境&#xff08;TME&#xff09;已被证实在肺癌的进展、转移和治疗响应中扮演着重要的角色…

如何开发一套基于C#和.NET 6.0手术麻醉系统? 手术麻醉系统源码

如何开发一套基于C#和.NET 6.0手术麻醉系统&#xff1f; 手术麻醉系统源码 基于C#和.NET 6.0开发的手术麻醉系统是一个涉及多个层面的复杂项目。 以下是一个概述性的步骤&#xff0c;帮助你开始这个项目&#xff1a; 一、项目规划和需求分析 1、确定项目目标&#xff1a;明确…

如何使用 ArcGIS Pro 和 Landsat 8 影像计算叶绿素指数和全球环境监测指数

GIS 工具和技术的出现极大地帮助了识别、量化和解决问题。GIS 还通过研究可能的情况并实施预防方案提供了一种主动的解决方案。多年来&#xff0c;GIS 通过电信和网络服务、事故/事件分析、城市规划、交通规划、环境影响评估、洪水损失估计、自然资源管理、环境健康和安全、植被…

TikTok API接口——获取TikTok用户QRcode二维码

一、引言 在数字化时代&#xff0c;QRcode二维码已经成为连接线上线下的重要桥梁。在社交媒体领域&#xff0c;TikTok作为短视频领域的佼佼者&#xff0c;用户量庞大且活跃度高。为了满足用户之间更便捷的互动需求&#xff0c;我们特别开发了一款针对TikTok平台的接口&#xf…

聊聊最近比较火的AI产品做互联网算法备案

今年AI&#x1f525;了&#xff0c;而且是大火&#xff0c;导致监管部门相继出台相关政策&#xff0c;需要管控下&#xff0c;所以互联网算法备案就自然而然重新被提出来。其实这个互联网算法备案去年就已经开始实施了&#xff0c;去年只有几个大厂比如BAT等互联网巨头等会去弄…

【系统设计】如何权衡范式与反范式设计

一、什么是范式设计与反范式设计 1.1、范式设计&#xff08;Normalization&#xff09; 定义&#xff1a; 范式设计是数据库设计中最基础的设计原则之一&#xff0c;它主要通过规范化数据模型&#xff0c;减少数据冗余和数据不一致的问题。 常用的范式&#xff1a; 第一范式…

Linux连接工具MobaXterm详细使用教程

目录 一、MobaXterm的下载 1、访问官网 2、下载便携版 3、启动MobaXterm 二、MobaXterm基本使用设置 1、新建会话 2、使用ssh连接第一个会话 3、设置主密码 4、主界面 5、sftp文件上传下载 6、文件拖拽的上传下载 7.右键粘贴 8、查看服务器监测信息​编辑 9、个…