偶数科技发布实时湖仓数据平台Skylab 5.3版本

近日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品,分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava,在本次的新版本升级中以上全线产品都进行了更新。

在已经具备完整生态组件的基础上,Skylab 本次升级进一步提升了生态扩展能力,在数据的开放存储格式、应用分析的多数据源接入等方面都做了优化,比如新增对 Hudi 开放存储格式的原生支持,以及接入更多数据库类型作为数据分析和应用的数据源。

接下来让我们一起了解下 Skylab 5.3 各组件的更新情况。

云原生分布式数据库 OushuDB 5.2更新

继上一个版本可以原生使用 Hive 存储在 HDFS 的数据,OushuDB 5.2 实现了原生支持 Hudi 存储格式,提供了更多开放的数据格式,实现了“一数多擎”,即多个引擎共享同一份数据,也为客户在落地湖仓一体提供了更多可选方案。

存算分离的数据库架构必然需要在计算节点做数据缓存,OushuDB 5.2 的 Magma 表实现了计算节点数据缓存,极大提升查询速度。

OushuDB 的客户端 Worksheet 在本次升级中对性能、功能和交互体验都做了优化。功能方面,Worksheet 支持同时展示多条 SQL 查询结果,支持在创建对象时选择表空间、表压缩及压缩比;支持数十万表的查询与展示,客户端性能进一步提升;Worksheet 在导入导出数据及脚本、SQL 语法提示、历史版本搜索、报错方式等方面都进行了交互优化。

OushuDB 5.2 还完善了数据库审计功能,此外还支持自动统计信息收集,用户可以不再通过 Analyze 来发数据统计信息。

数据工厂 Wasp 5.3 更新

新版本的 Wasp 在产品易用性上进行了大幅提升,用户可以仅配置一次任务就将整个库的数十万张表进行同步,极大的提升效率,同时,Wasp 还支持可视化数据清洗与流计算的配置,提升了产品易用性。

除了已经支持的Oracle、MySQL、DB2、PostgreSQL等数据源,还新增支持 Sybase、KingBase等数据源。CDC 支持无主键源表同步场景,规避了数据同步可能面临的数据冲突和重复问题。




数据资产管理平台 Orbit 2.2 更新

Orbit 新增主数据管理模块。主数据管理模块是一种关键的企业管理工具,通过主数据模型和主数据服务,集中管理和维护企业中的主数据,提高数据一致性、准确性和可用性,帮助组织整合不同的业务流程和系统,各个部门和系统可以基于相同的数据进行工作,从而提高业务流程的协同效率。

此外,相较上一个版本,Orbit 在元数据采集、数据资产发布及撤销、元数据删除等方面做了进一步优化,大幅提升处理性能和操作体验。

数据资产目录和元数据目录“主页”展示可视化的统计信息




数据分析与应用平台 Kepler 4.0 更新
 

新版本 Kepler 在多数据源接入、血缘详情展示和报表开发几个方面做了大幅优化。

支持 MySQL 和 OushuDB 等多种数据源,为用户提供了更多的接入方式,并根据不同数据源对指标、标签、报表、数据可视化、数据工厂等功能进行优化。血缘节点增加指标、事实、维度、数据库表等详情展示,让用户迅速了解血缘信息。

报表开发方面,新增单元格批量设置、字段生成表头、表级节点拖入。

数据可视化模块添加水球图、数据文字云类型图表



自动化机器学习平台 LittleBoy 5.0 更新
 

新版本 LittleBoy 在现有的丰富算子的基础上,形成了特殊算子的定制能力,如对数据字段进行加密算子和解密算子,这也意味着 LittleBoy 对不同行业和场景的生态扩展能力逐步增强。




数据开发与调度平台 Flow 5.3 更新
 

提供批次相关功能,支持追批、自定义批次标签。用户可以通过批次来管理任务的周期执行(如以天、周为周期),更好的应对业务分批执行需求的支持,为作业调度的开发提供便利。




系统管理软件 Lava 5.3 更新
 

Lava 提供了升级框架,用户可以通过升级脚本一键升级 Wasp、Flow、Worksheet。新版本增加了 OushuDB 监控页面,展示集群拓扑结构、执行中的SQL、会话和锁信息等。

偶数 Skylab 是一个拥有海量数据存储、计算、分析、应用和 AI 能力的实时湖仓数据平台,提供完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/113300.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

鸿蒙HarmonyOS应用开发:扫描仪文件扫描

华为鸿蒙HarmonyOS已经发展到4.0,使用ArkTS作为开发语言。这篇文章结合Dynamsoft Service开发一个简单的鸿蒙应用,用来获取办公室里连接PC的扫描仪(惠普,富士通,爱普生,等),把文档扫描到手机里。 准备工作…

DevExpress WPF Pivot Grid组件,可轻松实现多维数据分析!(二)

在上文中(点击这里回顾>>)我们主要为大家介绍了DevExpress WPF Pivot Grid组件的超快速枢轴分析功能、Microsoft分析服务等,本文将继续介绍图表透视数据的处理、MVVM支持等。欢迎持续关注我们,探索更多新功能哦~ P.S&#…

【异步爬虫】requests和aiohttp中代理IP的使用

前言 在进行爬虫开发时,我们常常需要使用代理IP来隐藏自己的真实IP地址,以避免被一些网站限制或封禁。requests和aiohttp是两个非常常用的工具,本文将分别介绍如何在它们中使用代理IP,希望可以帮助大家更好地进行异步爬虫开发。 …

电容屏物体识别手工制作

电容屏识别物体效果2 电容屏识别物体效果1 电容屏识别物体效果3 电容屏识别物体效果4 电容识别物理效果5 我们感兴趣的是找到让我们的平面屏幕与物理三维物体和表面交互的方法。 触摸屏无处不在,成千上万的应用程序中有多种设备和屏幕格式,但我们只找到…

STM32的hex文件格式的分析

前言 最近研究Bootloader,通过串口实现STM32程序的更新。需要学习了解STM32的Hex文件格式。在这进行一下总结。 HEX文件格式 我们通过文本形式打开hex文件,可以看到: 这一行就是一条指令数据,这里对数据帧格式进行说明&#xff…

elementui select组件下拉框底部增加自定义按钮

elementui select组件下拉框底部增加自定义按钮 el-select组件的visible-change 事件&#xff08;下拉框出现/隐藏时触发&#xff09; <el-selectref"select":value"value"placeholder"请选择"visible-change"visibleChange">&…

Kotlin笔记(六):泛型的高级特性

前面学习了Kotlin中的泛型的基本用法,跟Java中的泛型大致相同&#xff0c;Kotlin在泛型方面还提供了不少特有的功能&#xff0c;掌握了这些功能&#xff0c;你将可以更好玩转Kotlin&#xff0c;同时还能实现一些不可思议的语法特性&#xff0c;那么我们自然不能错过这部分内容了…

2023-10-19 LeetCode每日一题(同积元组)

2023-10-19每日一题 一、题目编号 1726. 同积元组二、题目链接 点击跳转到题目位置 三、题目描述 给你一个由 不同 正整数组成的数组 nums &#xff0c;请你返回满足 a * b c * d 的元组 (a, b, c, d) 的数量。其中 a、b、c 和 d 都是 nums 中的元素&#xff0c;且 a ! b…

LiveGBS流媒体平台GB/T28181常见问题-安全控制HTTP接口鉴权勾选流地址鉴权后401Unauthorized如何播放调用接口

LiveGBS流媒体平台GB/T28181常见问题-安全控制HTTP接口鉴权勾选流地址鉴权后401 Unauthorized如何播放调用接口&#xff1f; 1、安全控制1.1、HTTP接口鉴权1.2、流地址鉴权 2、401 Unauthorized2.1、携带token调用接口2.1.1、获取鉴权token2.1.2、调用其它接口2.1.2.1、携带 Co…

DNS压测工具-dnsperf的安装和使用(centos)

系统调优 系统调优脚本&#xff0c;保存为sh文件&#xff0c;chmod提权后执行即可 #!/bin/sh #系统全局允许分配的最大文件句柄数&#xff1a; sysctl -w fs.file-max2097152 sysctl -w fs.nr_open2097152 echo 2097152 > /proc/sys/fs/nr_open #允许当前会话 / 进程打开文…

【论文笔记】Far3D: Expanding the Horizon for Surround-view 3D Object Detection

原文链接&#xff1a;https://arxiv.org/pdf/2308.09616.pdf 1. 引言 目前的环视图图像3D目标检测方法分为基于密集BEV的方法和基于稀疏查询的方法。前者需要较高的计算量&#xff0c;难以扩展到长距离检测。后者全局固定的查询不能适应动态场景&#xff0c;通常会丢失远距离…

竞赛选题 深度学习YOLO抽烟行为检测 - python opencv

文章目录 1 前言1 课题背景2 实现效果3 Yolov5算法3.1 简介3.2 相关技术 4 数据集处理及实验5 部分核心代码6 最后 1 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 基于深度学习YOLO抽烟行为检测 该项目较为新颖&#xff0c;适合作为竞赛课…

LeetCode13——罗马数字转整数

解题思想&#xff1a; 前后指针 左边比右边小 做减法 左边比右边大 做加法 最后一个数字直接加。 package keepcoding.leetcode.leetcode13;public class Result02 {public static void main(String[] args) {int result romanToInt("XIV");System.out.println(re…

最近又火了!吴恩达《生成式 AI》重磅发布!

吴恩达教授可能是许多人接触 AI 的启蒙课导师吧&#xff0c;在过去的十多年中&#xff0c;他的《Machine Learning》课程已经对数百万的学习者产生了积极影响。 而随着 ChatGPT 的推出&#xff0c;大模型和各类生成式人工智能&#xff08;GenAI&#xff09;技术在行业内外备受…

数据结构:排序

文章目录 1. 预备知识2. 插入排序2.1 直接插入排序2.2 折半插入排序 3. 希尔排序4. 交换排序4.1 冒泡排序4.2 快速排序4.2.1 选取基准值4.2.2 分割策略4.2.3 小数组4.2.4 基于Hoare版本 最后优化 递归版本 快速排序4.2.5 快速排序的非递归版本4.2.6 快速排序的分析 5. 选择排序…

[云原生1.]Docker数据管理与Cgroups资源控制管理

文章目录 1. Docker的数据管理1.1 数据卷1.1.1 示例 1.2 数据卷容器 2. 容器互联3. Cgroups资源控制管理3.1 简介3.2 cgroups的主要功能3.3 cpu时间片的简单介绍3.4 对CPU使用的限制3.4.1 对CPU使用的限制&#xff08;基于单个容器&#xff09;3.4.2 对CPU使用的限制&#xff0…

Linux CentOS 8(网卡的配置与管理)

Linux CentOS 8&#xff08;网卡的配置与管理&#xff09; 目录 一、项目介绍二、命令行三、配置文件四、图形画界面的网卡IP配置4.1 方法一4.2 方法二 一、项目介绍 Linux服务器的网络配置是Linux系统管理的底层建筑&#xff0c;没有网络配置&#xff0c;服务器之间就不能相互…

个微多账号聚合聊天管理如何实现?

在日常工作中&#xff0c;我经常遇到以下问题&#xff1a; 1. 微信号众多&#xff0c;需要频繁切换设备和账号&#xff0c;导致工作效率低下。 2. 无法及时回复客户消息&#xff0c;客户体验不尽如人意。 3. 难以随时掌握员工与客户的沟通情况&#xff0c;导致员工沟通质量难…

利用Python计算彭于晏的BMI

1 问题 彭于晏是众多男生女生心中的男神&#xff0c;那么他的BMI为多少&#xff0c;身体状况如何呢&#xff1f; 2 方法 运用python中数据类型转换&#xff0c;while 循环语句&#xff0c;if/elif/else 条件语句等方法计算彭于晏的BMI&#xff0c;判断他的身体状况。 计算公式…

烘焙蛋糕外卖小程序商城的作用是什么

随着经营成本上升及电商业态的冲击&#xff0c;传统烘焙蛋糕门店商家经营止步不前&#xff0c;加之口罩原因更是雪上加霜&#xff0c;引流拓客、经营转化复购大幅度降低&#xff0c;而线上又因外卖平台间的激烈竞争&#xff0c;导致中小烘焙蛋糕商家进退两难。 烘焙蛋糕店经营…