【数据中台】开源项目(3)-DataSphere Studio

       DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。

       基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。

       在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。

       DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件,或新增功能组件。

       借助于 Linkis 计算中间件的连接、复用与简化能力,DSS 天生便具备了金融级高并发、高可用、多租户隔离和资源管控等执行与调度能力。

核心特点

       DSS 主要特点:

一、一站式、全流程的应用开发管理界面

       DSS 集成度极高,目前已集成的系统有(DSS 对以上组件的版本兼容性,请访问:已集成组件的兼容性列表):

       1、数据开发IDE工具——Scriptis

       2、数据可视化工具——Visualis(基于宜信 Davinci 二次开发)

       3、数据质量管理工具——Qualitis

       4、工作流调度工具——Schedulis

       5、数据交换工具——Exchangis

       6、数据Api服务——DataApiService

       7、流式应用开发管理工具——Streamis

       8、一站式机器学习平台——Prophecis

       9、工作流任务调度平台——DolphinScheduler 

      10、数据模型中心——DataModelCenter(社区联合共建中)

       DSS 对以上组件的版本兼容性,请访问:已集成组件的兼容性列表。

       DSS 插拔式的框架设计模式,允许用户快速替换DSS已集成的各个 Web 系统。如:将 Scriptis 替换成 Zeppelin,将 Schedulis 替换成 DolphinScheduler。

二、基于Linkis计算中间件,打造独有的AppConn设计理念

       AppConn,是 DSS 可以简单快速集成各种上层 Web 系统的核心概念。

       AppConn ——应用连接器,定义了一套统一的前后台接入协议,总共分为三级规范,可让外部数据应用系统快速简单地接入,成为 DSS 数据应用开发中的一环。

       AppConn 的三级规范即:一级 SSO 规范,二级组织结构规范,三级开发流程规范;

       DSS 通过串联多个 AppConn,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。

       由于 AppConn 对接了 Linkis,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。

三、Workspace级管理单元

       以 Workspace 为管理单元,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的工作空间协同开发通用标准,并提供了用户角色管理能力。

四、已集成的数据应用组件

       DSS 通过实现多个 AppConn,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。

       如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富 DSS 的数据应用开发流程。 点我了解如何快速集成新的应用系统

应用工具

描述

DSS0.X 兼容版本(推荐 DSS0.9.1)

DSS1.0 兼容版本(推荐 DSS1.1.0)

Linkis

计算中间件 Apache Linkis,通过提供 REST/WebSocket/JDBC/SDK 等标准接口,上层应用可以方便地连接访问 MySQL/Spark/Hive/Presto/Flink 等底层引擎.

推荐 Linkis0.11.0(已发布)

>= Linkis1.1.1(已发布)

DataApiService

(DSS已内置的第三方应用工具)数据API服务。可快速将SQL脚本发布为一个 Restful 接口,对外提供 Rest 访问能力。

不支持

推荐 DSS1.1.0(已发布)

Scriptis

(DSS 已内置的第三方应用工具)支持在线写 SQL、Pyspark、HiveQL 等脚本,提交给 Linkis 执行的数据分析 Web 工具。

推荐 DSS0.9.1(已发布)

推荐 DSS1.1.0(已发布)

Schedulis

基于 Azkaban 二次开发的工作流任务调度系统,具备高性能,高可用和多租户资源隔离等金融级特性。

推荐 Schedulis0.6.1(已发布)

>= Schedulis0.7.0(已发布)

EventCheck

(DSS 已内置的第三方应用工具)提供跨业务、跨工程和跨工作流的信号通信能力。

推荐 DSS0.9.1(已发布)

推荐 DSS1.1.0(已发布)

SendEmail

(DSS 已内置的第三方应用工具)提供数据发送能力,所有其他工作流节点的结果集,都可以通过邮件进行发送

推荐 DSS0.9.1(已发布)

推荐 DSS1.1.0(已发布)

Qualitis

数据质量校验工具,提供数据完整性、正确性等数据校验能力

推荐 Qualitis0.8.0(已发布)

>= Qualitis0.9.2(已发布)

Streamis

流式应用开发管理工具。支持发布 Flink Jar 和 Flink SQL ,提供流式应用的开发调试和生产管理能力,如:启停、状态监控、checkpoint 等。

不支持

>= Streamis0.2.0(已发布)

Prophecis

一站式机器学习平台,集成多种开源机器学习框架。Prophecis 的 MLFlow 通过 AppConn 可以接入到 DSS 工作流中。

不支持

>= Prophecis 0.3.2(已发布)

Exchangis

支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台,即将发布的 Exchangis1.0,将与 DSS 工作流打通

不支持

= Exchangis1.0.0(已发布)

Visualis

基于宜信开源项目 Davinci 二次开发的数据可视化 BI 工具,为用户在数据安全方面提供金融级数据可视化能力。

推荐 Visualis0.5.0

= Visualis1.0.0(已发布)

DolphinScheduler

Apache DolphinScheduler,分布式易扩展的可视化工作流任务调度平台,支持一键将DSS工作流发布到 DolphinScheduler。

不支持

DolphinScheduler1.3.X(已发布)

UserGuide

(DSS 将内置的第三方应用工具)包含帮助文档、新手指引、Dark模式换肤等。

不支持

>= DSS1.1.0(已发布)

DataModelCenter

(DSS 将内置的第三方应用工具)主要提供数仓规划、数据模型开发和数据资产管理的能力。数仓规划包含主题域、数仓分层、修饰词等;数据模型开发包含指标、维度、度量、向导式建表等;数据资产打通 Apache Atlas,提供数据血缘能力。

不支持

规划在 DSS1.2.0(开发中)

UserManager

(DSS 已内置的第三方应用工具)自动初始化一个 DSS 新用户所必须的所有用户环境,包含:创建 Linux 用户、各种用户路径、目录授权等。

推荐 DSS0.9.1(已发布)

规划中

Airflow

支持将 DSS 工作流发布到 Apache Airflow 进行定时调度。

PR 尚未合并

不支持

Demo试用环境

       由于 DataSphereStudio 支持执行脚本风险较高,WeDataSphere Demo 环境的隔离没有做完,考虑到大家都在咨询 Demo 环境,决定向社区先定向发放邀请码,接受企业和组织的试用申请。

       DataSphereStudio Demo 环境用户注册页面:点我进入

       DataSphereStudio Demo 环境登录页面:点我进入

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/191486.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

无线物理层安全学习

文章目录 3.17到3.203.85到3.88 3.17到3.20 3.85到3.88

论文阅读——Img2LLM(cvpr2023)

arxiv:[2212.10846] From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models (arxiv.org) 一、介绍 使用大语言模解决VQA任务的方法大概两种:multi-modal pretraining and language-mediated VQA,即多模态预训练…

进程的创建:fork()

引入 创建进程的方式我们已经学习了一个!在我们运行指令(或者运行我们自己写的可执行程序)的时候不就是创建了一个进程嘛?那个创建进程的方式称为指令级别的创建子进程! 那如果我们想要在代码中创建进程该怎么办呢? fork() for…

【Win和Linux更换Java版本自动化脚本】

Windows版 要将Windows中的Java环境变量从Java 8更改为Java 9,并确保更改在重启计算机后仍然生效,请按照以下步骤操作: 首先,确保已经安装了Java 9。如果没有,请从Oracle官方网站下载并安装Java 9:https:/…

【算法通关村】链表基础经典问题解析

【算法通关村】链表基础&经典问题解析 一.什么是链表 链表是一种通过指针将多个节点串联在一起的线性结构,每一个节点(结点)都由两部分组成,一个是数据域(用来存储数据),一个是指针域&…

第一百八十六回 DropdownMenu组件

文章目录 1. 概念介绍2. 使用方法2.1 DropdownMenu2.1 DropdownMenuEntry 3. 示例代码4. 内容总结 我们在上一章回中介绍了"如何禁止页面跟随手机自动旋转"相关的内容,本章回中将介 绍DropdownMenu组件.闲话休提,让我们一起Talk Flutter吧。 …

python+pytest接口自动化(6)-请求参数格式的确定

我们在做接口测试之前,先需要根据接口文档或抓包接口数据,搞清楚被测接口的详细内容,其中就包含请求参数的编码格式,从而使用对应的参数格式发送请求。例如某个接口规定的请求主体的编码方式为 application/json,那么在…

node的proxy-server使用

代理服务器是一种常见的网络工具,可以用来隐藏客户端的真实IP地址,保护客户端的隐私,也可以用来绕过一些网络限制,访问被封锁的网站。在这篇博客文章中,我们将讲解代理服务器的API基本使用流程和思路,以及代…

Redis面试题:redis做为缓存,数据的持久化是怎么做的?两种持久化方式有什么区别呢?这两种方式,哪种恢复的比较快呢?

目录 面试官:redis做为缓存,数据的持久化是怎么做的? 面试官:这两种持久化方式有什么区别呢? 面试官:这两种方式,哪种恢复的比较快呢? 面试官:redis做为缓存&#xff…

基于YOLOv8深度学习的钢材表面缺陷检测系统【python源码+Pyqt5界面+数据集+训练代码】目标检测、深度学习实战

《博主简介》 小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~ 👍感谢小伙伴们点赞、关注! 《------往期经典推…

JVM虚拟机:JVM参数之标配参数

本文重点 本文我们将学习JVM中的标配参数 标配参数 从jdk刚开始就有的参数,比如: -version -help -showversion

Vivado版本控制

Vivado版本控制 如果您有幸进入FPGA领域,那么会遇到版本控制问题,本文讲解的是如何用git进行Vivado进行版本控制。 搭建Git环境 一 首先需要一个git环境,并选择一个托管平台(github,gitlab,gitee) Git下载地址&…

23、DS1302时钟可调时钟

DS1302时钟 main.c #include <REGX52.H> #include "LCD1602.h" #include "DS1302.h"void main() {LCD_Init();DS1302_Init();LCD_ShowString(1,1," - - ");//静态字符初始化显示LCD_ShowString(2,1," : : ");DS1302_Set…

JavaSE自定义验证码图片生成器

设计项目的时候打算在原有的功能上补充验证码功能&#xff0c;在实现了邮箱验证码之后想着顺便把一个简单的图片验证码生成器也实现一下&#xff0c;用作分享。 注意&#xff0c;实际开发中验证码往往采用各种组件&#xff0c;通过导入依赖来在后端开发时使用相关功能&#xf…

9.ROS的TF坐标变换(三):坐标系关系查看与一个案例

1 查看目前的坐标系变化 我们先安装功能包&#xff1a; sudo apt install ros-melodic-tf2-tools安装成功&#xff01; 我们先启动上次的发布坐标变换的节点&#xff1a; liuhongweiliuhongwei-Legion-Y9000P-IRX8H:~/Desktop/final/my_catkin$ source devel/setup.bash liuho…

亚马逊云科技re:Invent大会,助力安全构建规模化生成式AI应用

2023亚马逊云科技re:Invent全球大会进入第三天&#xff0c;亚马逊云科技数据和人工智能副总裁Swami Sivasubramanian博士在周三的主题演讲中&#xff0c;为大家带来了关于亚马逊云科技生成式AI的最新能力、面向生成式AI时代的数据战略以及借助生成式AI应用提高生产效率的精彩分…

MMseqs2蛋白质序列快速高效比对工具

先看仓库&#xff1a;soedinglab/MMseqs2: MMseqs2: ultra fast and sensitive search and clustering suite (github.com) 无论哪个工具软件&#xff0c;无论你是否熟悉&#xff0c;都推荐你看一下作者原文&#xff0c;这样后面的步骤以及怎么使用头脑里会更清晰。 Fast an…

C语言-预处理与库

预处理、动态库、静态库 1. 声明与定义分离 一个源文件对应一个头文件 注意&#xff1a; 头文件名以 .h 作为后缀头文件名要与对应的原文件名 一致 例&#xff1a; 源文件&#xff1a;01_code.c #include <stdio.h> int num01 10; int num02 20; void add(int a, in…

ES6箭头函数的特性

箭头函数的特性有什么&#xff1f;让我为大家介绍一下吧&#xff01; 1.不绑定arguments&#xff0c;用rest参数…解决 let fun ()>{console.log(arguments) //报错 arguments is not defined}fun()可以使用剩余参数 let fun (...a)>{console.log(a) //[1, 2, 3]}fun(1…

国标GBT 27930关键点梳理

1、充电总流程 整个充电过程包括六个阶段:物理连接完成、低压辅助上电、充电握手阶段、充电参数配置阶段、充电阶段和充电结束阶段。 在各个阶段,充电机和 BMS 如果在规定的时间内没有收到对方报文或没有收到正确报文,即判定为超时(超时指在规定时间内没有收到对方的完整数据包…