2023Q4 私有化版本发布,和鲸 ModelWhale 持续赋能大科研、高校教改的 AI for Science

作为数据科学多人协同平台,和鲸 ModelWhale 从一而终地为各级用户提供完备而周全的解决方案,覆盖数据研究、算法探索、模型调优、Python 案例教学等多个场景。特别地,如果对研究分析平台有更高的安全合规要求、希望兼容原有业务系统(比如已有的服务器资源、数据平台等)、或者有其他定制化需求我们建议采买 ModelWhale 私有化独立部署服务:支持定制化解决方案设计、独立产品功能开发、专属的客户成功系列服务等。

2023Q4 私有化部署版本,已顺利通过公测并将于近期部署到客户环境中。本季度主要进行了以下迭代:

  • 硬件分析环境:新增 算力节点池,支持算力独享、按需跨部门共享的调度策略
  • 软件分析环境:新增 使用 API 接入数据、常用分析软件及模板接入
  • 科研:AI4S 大科研探索分析能力拓展,包括:大模型开发训练、复杂任务编排、算法封装交付
  • 高校:Python 案例实训教学(OBE)能力拓展,新增 分组作业、老师-学生视角切换、优化结课存档
  • 更规范的资产管理:优化 元数据及 DOI 管理(FAIR 原则),新增 门户内容公开申请、优化 资产搜索查询
  • 更便捷的账号迁移(已有第三方用户系统打通、免登录)、更丰富的开放接口支持国际化多语言(中/英)切换

一、硬件分析环境管理:新增 算力节点池,支持算力独享、按需跨部门共享的调度策略

组织内顺畅的开放协同、合力研究,需要统一的分析平台进行资源及成果共享。而算力方面,在更开放的协作场景,部门间的算力“相互支援、按需调度”,可以实现更充分的算力利用、释放研发效能。平台现已支持将不同部门的机器构成不同的节点池(资源池);用户启用算力时,平台会依据优先级策略调度算力:独立(非共享)节点池 > 共享节点池。

而在不同节点池下,平台支持接入超算集群(HPC)、GPU 集群、普通 GPU 及 CPU,实现比本地更细颗粒的算力分配使用、监控管理、伸缩调度。

算力节点池监控

超算集群(HPC)使用

二、软件分析环境:新增 API 数据接入、常用分析软件及模板接入

1、新增 API 数据连接,继承原有第三方系统权限管控

平台支持多种数据源的接入和使用,包括:关键数据成果(数据集)、研究源数据(NAS 数据源、Vertica 及其他常用数据库、对象存储)、其他第三方存储数据(服务接口调用、API 数据连接)、大模型 Common Data(超算自有存储)。

如果数据存储在“第三方系统”并已有一套严格的数据使用权限设计,平台支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。只需填写由该第三方系统提供的 API 配置,即可在平台实现对这些数据产品的调用分析

2、新增 常用分析软件、研究框架丝滑迁移

本地常用的分析软件、分析框架、团队内标准的 SOP 工作流,均已支持迁移到平台使用。

  • 新增 软件仓库:支持在平台 Notebook 在线调用本地常用的 Python 库、可执行程序及其他软件
  • 新增 预注入代码、脚本:支持在数据分析前预加载某些工具库、分析代码、文件,或者提前注入环境变量、shell 指令,快捷构建所需研究环境。
  • 优化 分析模板复用:团队内标准的 SOP 工作流(如分析框架模板、研究报告模板、数据处理模板),可以在团队内分发共享,避免重复造轮,提高生产效率

三、科研:AI4S 大科研探索分析能力拓展

1、“模型开发 - 训练 - 部署 - 运维”能力提升

大模型(如 LLM)的开发训练对算力、存储、分析工具、多人协作工具均提出了较高要求,平台拥有适用于模型“开发 - 训练 - 部署 - 运维”的全流程基础设施,可帮助工程师、科学家们更好地进行大模型开发训练、多人协同研究以及其他 AI for Science 分析探索

模型开发训练阶段,平台提供训练过程记录(Tracking)及可视化比对分析,同时兼容 MLFlow,全面协力模型参数的尝试与调整、最优结果记录及部署;服务调用环节,支持灵活的同步/异步请求以及精细的算力扩容管理;平台的模型运维监控系统,提供你详细的模型调用记录、算力使用追踪,以便调整运行策略(扩容/回收)、二次调优模型

平台也支持开源预训练模型的快捷部署(如 Github 上的 gradio 项目),供大家便捷体验模型使用效果。

2、“复杂任务的编排、运行”能力提升(新模块 ✓)

大小模型结合或多节点复杂任务,建议使用平台 Workflow 进行任务编排、并行计算。Workflow 任务节点支持 Notebook、Bash 脚本Python 脚本、R 脚本多种类型;同时支持使用超算集群、GPU集群、GPU、CPU 组合运算,以及配置定时运行策略、结果重试策略

3、“多人算法开发 - 成果封装复用”能力提升

平台 Canvas 拥有 “算法封装”+“算法快捷使用” 能力,组织内算法工程师可以【自研 Canvas 组件】封装代码,【分发 Canvas 分析模板】供组织成员直接使用、快速搭建研究框架、低代码完成数据分析工作。本季度我们对“Canvas 多人自研开发流程”进行了升级迭代:开发流程更规范、开发权限更清爽、组件使用更便捷。

四、高校:Python 案例实训教学(OBE)能力拓展

为促进高校教改,依据 OBE 成果导向的教育模式,平台帮助学生真实 Coding、快速理解数据科学方法、逐步形成数据科学思维。老师可以调用平台丰富的案例教材、教学工具,设计实践作业、分组作业、自动评审作业等,构建案例实训教学课程。教学平台本季度新增:

  • 分组作业:支持区分小组得分/个人得分、批量设置/管理小组、作业在线预览评审、作业导出留存。
  • “老师-学生”视角切换:老师可以随时检查课程展示是否符合预期,及时调整教学策略。
  • 测验题批量上传至课程题库:更方便“课题组”迁移教学内容和“老师”复用调整。
  • 也优化了结课存档相关设施,如:分作业权重配置及总成绩计算导出、课程归档、课程复用等。

分组作业

“老师-学生”视角切换

测验题批量上传(至课程题库)

结课存档

五、更规范的资产管理

为实现科学数据更规范的管理、展示、使用,平台已应用 FAIR 原则:通过“元数据体系”,保证数据资产的可发现(Findable)、可访问(Accessible)、可互操作(Interoperable)、可重用(Reusable)。我们也提供了规范的 DOI 和数据引用格式,以便数据使用者可以更便捷、更规范地标记数据来源。

此外,平台还提供“独立门户”,作为内容分享窗口,连接外部伙伴。为促进生态共建、内容共享的积极氛围,现已支持由组织成员自主申请公开其工作成果,比如再分析数据、研究代码报告、机器学习算法、大模型探索实践、模型服务应用等。

优化 元数据及 DOI 管理

新增 门户内容公开申请

优化 资产搜索查询

六、更便捷的账号迁移、更丰富的开放接口、支持多语言(中/英)切换

平台支持与客户已有的第三方用户系统打通:直接使用已有第三方账号(如 Authing, User-OneID, 其他 OA 账号)即可完成平台的注册、登录/免登录。我们也提供丰富的数据接口,可灵活对接其他平台系统;以及数据埋点相关设施,帮助进行业务分析、监控。

此外,为助力国际化业务发展,我们进行了语言版本的全面升级,新增 支持多语言(中/英)双语切换,让多语言人才的沟通协作更流畅。

以上,就是本季度 ModelWhale 私有化版本更新的全部内容。

进入 Modelwhale 官网,免费试用 Modelwhale 专业版(个人研究)或团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎点击【联系产品顾问】,MoMo 很高兴为你服务、与你交流(咨询备注“私有化产品咨询”)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/197497.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

不懂编程,如何获取全面海量的重要数据?

在大数据和人工智能时代,数据的重要性变得更加突出。以下是数据在这个时代的重要性所体现的几个方面: 决策依据 模型训练 个性化服务 创新驱动 智能决策支持 本文,将介绍两个获取数据的方法 1、利用爬虫框架写采集程序 在前面&#xff…

JIRA 重建索引

JIRA为了增快搜索速度,为所有的问题的字段生成一个索引文件。这个索引文件存在磁盘的一个文件里面, 并且会实时更新。但是有时候某些操作后(例如增加自定义字段),需要重新建索引。 详情请见 Re-indexing after major c…

pg_stat_replication.state 含义

在PostgreSQL中,pg_stat_replication视图提供了有关连接到主服务器的流式复制进程(备用服务器)的信息。该视图中的一个列是state,它指示复制进程的当前状态。 state列可以具有各种值: startup: This WAL sender 刚开始运行 catc…

(华为)网络工程师教程笔记(网工教程)网工入门——3、静态路由路由表的配置

参考文章:【全236集】网络工程师从基础入门到进阶必学教程!通俗易懂,2023最新版,学完即可就业!网工入门_华为认证_HCIA_HCIP_数据通信_网工学习路线 文章目录 13. 网工入门10-静态路由(路由表的配置&#x…

spark3.x 写入hudi报错

报错信息如下: Exception in thread "main" org.apache.hudi.exception.HoodieUpsertException: Failed to upsert for commit time 20231201202516518 at org.apache.hudi.table.action.commit.BaseWriteHelper.write(BaseWriteHelper.java:64) at org.apa…

GORM 多对多many2many 自定义连接表

文章目录 多对多 many2many表结构搭建多对多添加多对多查询多对多的删除、更新 自定义连接表生成表结构操作案例添加文章并添加标签,并自动关联添加文章,关联已有标签给已有文章关联标签替换已有文章的标签查询文章列表,显示标签 自定义连接…

在 Mac 上使用浅色或深色外观

在 Mac 上,选取苹果菜单 >“系统设置”,然后点按边栏中的“外观” 。(你可能需要向下滚动。)选择右侧的“浅色”、“深色”或“自动”。 “浅色”表示不会发生变化的浅色外观。 “深色”表示不会发生变化的深色外观。“深色模式…

JVM中 Minor GC 和 Full GC 的区别

Java中的垃圾回收(Garbage Collection, GC)是自动内存管理的一部分,其主要职责是识别并清除程序中不再使用的对象来释放内存。Java虚拟机(JVM)在运行时进行垃圾回收,主要分为两种类型:Minor GC和…

uniapp 之 短信验证码登录

一、需求 输入手机号码&#xff0c;可以获取验证码。 二、实现效果 点击前&#xff1a; 点击后&#xff1a; 三、代码实现 <template><view class"login"><view class"infobox"><view class"item"><input type…

跟着GPT学习shell脚本,理论与实践相结合的学习计划。(二)

第9周&#xff1a;项目实战 - 实现一个完整的Shell脚本项目 学习目标 应用所学的Shell脚本知识来实现一个实际项目。从规划到实现&#xff0c;经历完整的项目开发流程。 项目建议&#xff1a;自动化服务器健康检查脚本 项目描述&#xff1a; 开发一个Shell脚本&#xff0c;…

使用Java语言判断一个数据类型是奇数还是偶数

判断一个数字类型是奇数&#xff0c;还是偶数&#xff0c;只需要引入Scanner类&#xff0c;然后按照数据类型的定义方式进行定义&#xff0c;比较是按照与2进行整除后的结果&#xff1b;如果余数为零&#xff0c;则代表为偶数&#xff0c;否则为奇数。 import java.util.Scann…

一起学习云计算

目录 前言 一、云计算是什么&#xff1f; 二、云计算的组成 三、交付模型 四、 云部署模式 前言 随着经济社会的迅速发展&#xff0c;人们对于网络资源的要求量也越来越高&#xff0c;随之出现的一系列网络平台及服务也越来越多&#xff0c;对于云计算的出现提供了必…

★136. 只出现一次的数字(位运算)

136. 只出现一次的数字 这个题主要考察的知识点是位运算&#xff08;这里是异或&#xff09; 如果不要求空间复杂度为O&#xff08;1&#xff09;&#xff0c;那有很多方法。但是这里有这样的要求。 可以通过位运算 的方法来实现。 异或运算 ⊕有以下三个性质&#xff1a; 任…

Mysql中的正经行锁、间隙锁和临键锁

行锁、间隙锁和临键锁是数据库中的三种不同类型的锁&#xff0c;三者都属于行锁&#xff0c;第一个一般叫他正经的行锁&#xff08;《Mysql是怎样运行的》一书中的说法&#xff09;。 行锁&#xff08;Row Lock&#xff09;&#xff1a;行锁是指对数据表中的某一行进行的锁定操…

数据分析师的学习之路-pandas篇(6)

接上篇&#xff0c;画图告一段落&#xff0c;现在学习表格的各种操作。 3.8 表格操作 3.8.1 表的校验 表里有些列的数据是有一定的要求的&#xff0c;比如说下面这个表&#xff0c;Score分数列&#xff0c;要求成绩只能是0到100&#xff0c;那如果有出现错误的数据&#xff0…

Swift 常用关键字

目录 一、数据类型 1. 流程控制 2. 访问控制 3. 功能修饰词 4. 错误处理 5. 泛型和类型 6. 其它关键字 二、部分关键字说明 1. guard 2. class 和 struct struct&#xff08;结构体&#xff09; class&#xff08;类&#xff09; 使用场景 3. mutating 4. proto…

【算法专题】前缀和

前缀和 前缀和1. 前缀和【模板】2. 二维前缀和【模板】3. 寻找数组的中心下标4. 除自身以外数组的乘积5. 和为K的子数组6. 和可被K整除的子数组7. 连续数组8. 矩阵区域和 前缀和 1. 前缀和【模板】 题目链接 -> Nowcoder -DP34.前缀和【模板】 Nowcoder -DP34.前缀和【模…

nodejs微信小程序+python+PHP天天网站书城管理系统的设计与实现-计算机毕业设计推荐

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性&#xff1a;…

matlab实践(九):分段线性插值与三次样条插值

题目 用matlab对572所在区间分别进行分段线性插值、三次样条插值&#xff0c;计算出151&#xff0c;159&#xff0c;984&#xff0c;995的对数值&#xff0c;画出图形并在图形上用红色圆圈标记151&#xff0c;159&#xff0c;984&#xff0c;995所在的点,同时在图形中显示这些…

Java Socket编程之基于TCP协议通信

1.说明 Socket&#xff08;套接字&#xff09;是计算机网络编程中用于实现网络通信的一种编程接口或抽象概念。 它提供了一种标准的接口&#xff0c;使应用程序能够通过网络与其他计算机进行通信。 Socket可以看作是应用程序与网络之间的一个通信端点&#xff0c;类似于电话中…