TDC 5.0:多集群统一纳管,构建一体化大数据云平台

图片

近期,星环科技数据云平台Transwarp Data Cloud(简称TDC)5.0版本正式发布,TDC5.0架构屏蔽底层多个TDH集群的差异,采用统一操作模式,新增一个多集群抽象与管理层,能够实现多集群网络互通、跨集群资源调度。

TDC 是基于云原生技术的数据云平台,星环科技对它的调度、存储、网络全部进行了优化,使用星环科技自己的调度系统、本地存储系统、虚拟网络;操作系统上一层是多集群管理;第三层是数据云管理平台,实现了多租户、多用户,包括统一的应用生命周期管理;再上一层是星环科技提供的各类大数据产品目录,包括各种数据库、数据科技平台、开发平台,以及TKH企业级知识平台;图中左和右分别是面向企业数据应用的开发和数据应用的部署托管,做到了面向企业的数据以及数据应用在一个平台上提供,因此,TDC是企业级面向数据全生命周期管理的云原生PaaS平台。

图片

TDC 5.0 版本新增多集群抽象与管理层,可在一个控制台上对所有的集群应用做生命周期的管理、统一的运维、运营和配置。TDC5.0 在多个TDH集群之上实现了多租户的功能,能在多TDH集群上建立租户,把租户和集群进行解耦。举个例子,租户1可以使用集群1、2、3、4的资源,在线查询业务本身大部分运行在集群3上,在白天忙的时候,如果集群1有资源,可以把负载调度在集群1上进行部署。

TDC 5.0 版本满足用户四大需求

第一,集群能统一管理,实现多个集群统一管理,用户只需登录一个控制台就可以看到多个集群情况,应用的运行情况、版本情况,以实现多集群应用的统一管理等。

第二,资源能统一调度,能够跨多个集群复用资源,实现多个集群的资源更均衡地使用。

第三,数据能统一管理,实现跨集群的数据灵活共享,比如Nocopy的数据共享,保证数据的新鲜性。

第四,面向新业务上线时,可提供多租户方式,快速地启动一个虚拟集群部署业务。

图片

举了个例子来说明,比如有TCOS1和TCOS2两个集群,要实现的第一个目标是在集群1负载比较重的时候,不管是存储资源还是计算资源不足都要扩容。此时,如果TCOS集群是一个新建的,甚至是一个异构的,比如满足新上的ARM集群,可以把存储资源TDDMS Tabletserver在这上面增加三个副本,HDFS可以把DataNode增加副本,对应的把Executor也在这个节点上部署起来,就好像为这个集群增加扩容一样,这样就实现了计算类的组件和存储类的组件都在资源富足的集群上进行跨集群的扩容,达到这个目的之后,TDC 能在跨集群对已有的组件进行扩容,提升集群整体使用率,也均衡了不同集群之间使用率的差别。

另外一种情况,我们希望资源的扩展是自动的,以适应不可预见的负载变化。例如,TDH集群2用于在线查询,而TDH集群3则服务于金融行业的客户案例,这些案例需要全天候24小时不间断的服务,并且对响应时间非常敏感。在白天,批处理集群的负载通常较低,而其他集群可能负载较高。在常规部署中,存储和计算资源是预设的固定数量。当某集群的负载增加时,如果其他集群的资源仍有剩余,我们可以通过设置弹性伸缩策略来优化资源分配。第一,我期望对计算执行引擎增加多少副本;第二,增加到哪个集群之上。

配置好策略后,我们可以采用两种策略来实现资源的自动扩展。第一种是基于时间的策略,例如,从早上8点开始,如果在线查询活动增多,我们可以为系统自动增加三个计算执行引擎。第二种是基于负载的策略,这会考虑整个服务器的计算引擎负载情况,包括任务队列的长度、排队情况、等待时间,以及CPU和内存的利用率。通过综合这些因素,系统可以决定是否需要增加计算资源。

根据这些策略,系统可能会在资源有空闲的集群上增加计算执行引擎。例如,如果Quark Server2和Quark Server3在特定时间点有可用资源,系统就会分别为它们增加一组计算执行引擎。这样,我们就实现了资源的弹性伸缩,能够根据实际需求动态调整计算能力。

举了个例子来说明,比如有TCOS1和TCOS2两个集群,当TCOS1集群负载过重时,需要扩容,则可以使用TCOS2集群的资源,通过增加TDDMS Tabletserver副本、HDFS DataNode和Executor来实现跨集群扩容,从而提升整体使用率,并平衡不同集群的使用。

另外一种情况,我们希望资源扩展能够自动进行,以适应不可预见的负载变化。比如,在线查询服务,需要全天候服务且对响应时间敏感,可以通过弹性伸缩策略,在其他集群资源有剩余时,自动调整资源分配。

我们有两种策略来实现资源的自动扩展:基于时间的策略,在查询活动增多的时间段,如早上8点,自动增加计算执行引擎;基于负载的策略:根据服务器的计算引擎负载、任务队列、CPU和内存利用率等因素,决定是否增加计算资源。

TDC数据云平台,一方面可承载星环科技已有的大数据产品,现在已经扩展到了数据流通交易,包括数据应用的开发,另外可以托管企业已有的开源组件。截至目前,星环科技数据云平台 TDC 已经在数十家大型企业落地,覆盖金融、政府、交通、能源,运营商等多个行业。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/47747.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

QT纯代码实现滑动开关控件

开关按钮大家应该很熟悉,在设置里面经常遇到,切换时候的滑动效果比较帅气。通常说的开关按钮,有两个状态:on、off。大部分的开关按钮控件,基本上有两大类,第一类是纯代码绘制,这种对代码的掌控度…

dhtmlx-gantt甘特图数据展示

官网文档&#xff1a;甘特图文档 实现效果&#xff1a; 首先需要下载 dhtmlx-gantt组件 npm i dhtmlx-gantt //我项目中使用的是"dhtmlx-gantt": "^8.0.6" 这个版本&#xff0c;不同的版本api或是文档中存在的方法稍有差异 界面引用 <template>&l…

目标检测算法与应用算法 DS集成 接口相关_v0.1

目录 文章目录 目录0. 目标GPS信息、速度、加速度、航向角信息的输出1. 目标检测算法接口1.1 模型相关1.2 检测结果相关 2. 应用算法接口2.1 bool cross_line; //跨线&#xff08;变道压线检测&#xff09;2.2 bool break_in; //闯入&#xff08;目标闯入&#xff09;2.3 bool …

Linux HOOK机制与Netfilter HOOK

一. 什么是HOOK&#xff08;钩子&#xff09; 在计算机中&#xff0c;基本所有的软件程序都可以通过hook方式进行行为拦截&#xff0c;hook方式就是改变原始的执行流。 二. Linux常见的HOOK方式 1、修改函数指针。 2、用户态动态库拦截。 ①利用环境变量LD_PRELOAD和预装载机…

STM32自己从零开始实操:PCB全过程

一、PCB总体分布 以下只能让大家看到各个模块大致分布在板子的哪一块&#xff0c;只能说每个人画都有自己的理由&#xff1a; 电源&#xff1a;从外部接入电源&#xff0c;5V接到中间&#xff0c;向上变成4V供给无线&#xff0c;向下变成3V供给下面的接口&#xff08;也刻意放…

每日一练 - BGP 路由表中的团体属性

01 真题题目 下面一台路由器的输出信息&#xff0c;关于这段信息描述正确的是? A.目的网段 1.1.1.0/24 所携带的团体属性值是 NO-EXPORT&#xff0c; 表明该路由条目不能通告给任何 BGP 邻居 B.目的网段 1.1.1.0/24 所携带的图体属性值是 NO-EXPORT&#xff0c; 表明试路由…

Three.JS 使用RGBELoader和CubeTextureLoader 添加环境贴图

导入RGBELoader模块&#xff1a; import { RGBELoader } from "three/examples/jsm/loaders/RGBELoader.js"; 使用 addRGBEMappingk(environment, background,url) {rgbeLoader new RGBELoader();rgbeLoader.loadAsync(url).then((texture) > {//贴图模式 经纬…

git使用-命令行+VS Code结合使用

一、Git常用命令 // 显示当分支的状态。它会列出已修改、已暂存和未跟踪的文件 git status// 列出本地仓库中所有的分支&#xff0c;其中会特殊显示当前所在分支 git branch// 在当前分支的基础上创建一个新的分支&#xff0c;并切换到这个新的分支上 git checkout -b 新分支…

问题:向上对齐对象的快捷键是: #学习方法#笔记

问题&#xff1a;向上对齐对象的快捷键是: A、T B、L C、R D、W 参考答案如图所示

Leetcode 1302.层数最深子叶结点的和

大家好&#xff0c;今天我给大家分享一下我关于这个题的想法&#xff0c;我这个题过程比较复杂&#xff0c;但大家如果觉得好的话&#xff0c;就请给个免费的赞吧&#xff0c;谢谢了^ _ ^ 1.题目要求: 给你一棵二叉树的根节点 root &#xff0c;请你返回 层数最深的叶子节点的…

Go语言并发编程-Context上下文

Context上下文 Context概述 Go 1.7 标准库引入 context&#xff0c;译作“上下文”&#xff0c;准确说它是 goroutine 的上下文&#xff0c;包含 goroutine 的运行状态、环境、现场等信息。 context 主要用来在 goroutine 之间传递上下文信息&#xff0c;包括&#xff1a;取…

python爬虫实现简单的代理ip池

python爬虫实现简单的代理ip池 我们在普通的爬虫过程中经常遇到一些网站对ip进行封锁的 下面演示一下普通的爬虫程序 使用requests.get爬取数据 这段代码是爬取豆瓣排行榜的数据&#xff0c;使用f12来查看请求的url和数据格式 代码 def requestData():# 爬取数据的urlur…

数学基础【俗说矩阵】:矩阵相乘

矩阵乘法 矩阵乘法推导过程 一、两个线性方程复合代入 二、X1和X2合并同类项 三、复合后方程组结果 四、线性方程组矩阵表示 五、线性方程组矩阵映射表示 复合映射表示 六、矩阵乘法导出 矩阵乘法法则 1、规则一推导过程 左取行&#xff0c;右取列&#xff0c;对应相乘后…

【中项】系统集成项目管理工程师-第2章 信息技术发展-2.1信息技术及其发展-2.1.4信息安全

前言&#xff1a;系统集成项目管理工程师专业&#xff0c;现分享一些教材知识点。觉得文章还不错的喜欢点赞收藏的同时帮忙点点关注。 软考同样是国家人社部和工信部组织的国家级考试&#xff0c;全称为“全国计算机与软件专业技术资格&#xff08;水平&#xff09;考试”&…

「Vue组件化」封装i18n国际化

前言 在Vue应用中实现国际化(i18n),通常需要使用一些专门的库,比如vue-i18n。本文主要介绍自定义封装i18n,支持Vue、uniapp等版本。 设计思路 一、预期效果 二、核心代码 2.1 i18n.xlsx文件准备 2.2 脚本执行 根目录main.js根目录locali18n.xlsxnode main.jsmain.js 文件…

【ARM】MDK-解决CMSIS_DAP.DLL missing报错

【更多软件使用问题请点击亿道电子官方网站】 1、 文档目标 记录解决CMSIS_DAP.DLL missing的报错情况&#xff0c;对应相关报错信息&#xff0c;供后续客户参考&#xff0c;快速解决客户问题。 2、 问题场景 客户进行硬件调试时&#xff0c;发现Target设置内有CMSIS_DAP.DL…

全时守护,无死角监测:重点海域渔港视频AI智能监管方案

一、方案背景 随着海洋经济的快速发展和海洋资源的日益紧缺&#xff0c;对重点海域渔港进行有效监控和管理显得尤为重要。视频监控作为一种高效、实时的管理手段&#xff0c;已成为渔港管理中不可或缺的一部分。当前&#xff0c;我国海域面积广阔&#xff0c;渔港众多&#xf…

uni-app学习HBuilderX学习-微信开发者工具配置

HBuilderX官网&#xff1a;简介 - HBuilderX 文档 (dcloud.net.cn)https://hx.dcloud.net.cn/ uni-app官网&#xff1a; uni-app官网 (dcloud.net.cn)https://uniapp.dcloud.net.cn/quickstart-hx.htmlHBuilder下载安装&#xff1a;打开官网 uni-app项目的微信开发者工具配置…

41 QOS技术(服务质量)

1 QOS 产生背景 对于网络业务&#xff0c;影响服务质量的因素包括传输的带宽、传送的时延、数据的丢包率等。网络资源总是有限的&#xff0c;只要存在抢夺网络资源的情况&#xff0c;就会出现服务质量的要求网络总带宽固定的情况下&#xff0c;如果某类业务占用的带宽越多&am…

Mysql-错误处理: Found option without preceding group in config file

1、问题描述 安装MYSQL时&#xff0c;在cmd中“初始化”数据库时&#xff0c;输入命令&#xff1a; mysqld --initialize --consolecmd报错&#xff1a; D:\mysql-5.7.36-winx64\bin>mysql --initialize --console mysql: [ERROR] Found option without preceding group …