当前,数据已成为重要的生产要素,大数据产业作为以数据生成、采集、存储、加工、分析、服务为主的战略性新兴产业,是激活数据要素潜能的关键支撑,是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。
泰迪大数据实验室建设方案,紧密对接国家发展战略部署,紧贴高校专业建设、人才培养特点,整合优势资源,致力于搭建产教深度融合的高水平专业化大数据实践实训基地,助力高校培养大数据技术扎实、工程实践能力强的复合型大数据人才。
其中大数据实验室里面涉及就有多款大数据实训平台,包括:
一、云计算资源管理平台
云计算资源管理平台,以Docker、Kubernetes为核心引擎的容器化应用部署、运行环境。平台为多节点高可用集群,可避免单点故障;采用分布式文件存储系统提供存储能力,支持跨节点、跨应用访问,支持多副本存储卷,避免数据丢失;基于弹性vIP对外提供统一的访问入口,避免节点异常导致服务中断;基于GPU切片技术对外提供GPU计算能力,可按需为应用分配部分、整个甚至多个GPU计算资源;提供图形化管理界面,便于使用和维护,在图形管理界面中可快递配置容器化应用部署,支持对容器化应用进行扩容、缩容、调整计算资源、滚动更新/回滚、查看日志等操作;提供图形化资源监控页面,可查看集群整体、单个组件、单个应用等的资源使用情况。
云计算资源管理平台特色功能:
(1)多K8s集群管理:
提供多K8s集群的中央管理面板,支持导入外部集群。
在多K8s集群中提供统一的身份认证和拓展 Kubernetes 原生 RBAC 能力实现访问控制。
通过 WebConsole、CloudShell 快速管理集群资源。
(2)集群自治:当管理集群停机维护时,各业务集群可保持自治,保持正常的访问控制,业务 Pod 无感知。
(3)可观测性:支持监控告警和日志采集能力,提供丰富的工作负载监控指标界面,提供集群维度的监控界面,提供灵活的日志查询能力。
二、大数据实训管理平台
大数据实训管理平台是面向高校大数据相关专业课程教学与实训的管理系统。平台以实训为核心,提供在线学习+实训的教学模式。平台课程资源包含课件、视频、实训指导书、数据和代码等资源,由浅至深引导学生学习并掌握大数据知识体系。
大数据实训管理平台功能特色:
1.学情概览模块展示教师授课班级的学习结果,图表直观易懂,便于教师快速掌握学情、及时调整教学计划。模块主要包含课程整体情况、作业分析结果、考试分析结果、班级学习活跃度和班级实训强度等数据指标,并且支持学生查看本人的学情分析结果。
2.支持两种实训场景,教师可根据教学实际情况,创建课程实训环境或者创建独立于课程外的快速实训环境,快速实训环境可供学生自由训练。
3.实训数据模块,给教师和学生提供一个自由的数据共享空间,教师可将用于教学的数据集在平台上存储与传输,无须额外使用其他文件传输方式,并且部分实训环境支持直接挂载该模块中的数据,方便快捷。
4.资源中心包含视频库、课件库、实训库、工具库,提供教师之间的教学资源共享空间,提高优质教材的利用率。
三、Python编程实训平台
Python编程实训平台是面向我校实训课和课后训练的编程实训平台。平台底层基于Docker技术,采用容器云部署方案,并与实训管理平台集成。支持从实训管理平台直接访问Python编程实训平台。
Python编程实训平台功能特色:
1.提供3种实训界面显示模式,支持灵活根据实际训练场景,一键切换为隐藏实训界面、左右同屏和全屏实训界面。
2.支持将实训环境的文件导出至本地,并支持将本地文件导入至实训环境。
3.支持实训作业在线提交,并支持提交作业附件,作业提交方便快捷,无须借助其他工具。
4.支持学生请求教师远程协助。
5.支持在本地与实训环境之间粘贴文本。
四、大数据开发实训平台
大数据开发实训平台是面向我校实训课和课后训练的编程实训平台。平台底层基于Docker技术,采用容器云部署方案,并与实训管理平台集成。支持从实训管理平台直接访问大数据开发编程实训平台。
大数据开发实训平台功能特色:
(1)提供3种实训界面显示模式,支持灵活根据实际训练场景,一键切换为隐藏实训界面、左右同屏和全屏实训界面。
(2)支持将实训环境的文件导出至本地,并支持将本地文件导入至实训环境,实现本地与实训环境的资源无障碍传输。
(3)支持实训作业在线提交,并支持提交作业附件,作业提交方便快捷,无须借助其他工具。
(4)支持学生请求教师远程协助,快速寻求帮助,减少沟通成本。
(5)支持在本地与实训环境之间粘贴文本,学生可以快速记录实训环境中的文本至本地文档或平台的实训报告中。