最近几年,业界对数据中台的追捧度像坐过山车从高点走低,但在数字化和业务创新驱动下,对数据管理与分析的热度在今年不降反升。
以往搭建一套 Hadoop 大数据平台,技术团队重点要搞定数据的采集、存储、处理和数仓的设计搭建等复杂动作,而更进一步对数据的应用、分析,到交付到内部和外部数据使用者,却缺少体系化的管理。针对这个问题,CSDN 在多次对 Gartner 的采访中,均看到了 Gartner 建议企业要增强数据应用的组装式,以及数据系统自动化的能力。
另外,在 Hadoop 之后,云原生中 Kubernetes 近两年快速发展,现在 K8s 对无状态应用的支持逐渐成熟,更多数据层的系统纷纷开始适配 K8s(例如 Spark 和 Kafka 都已经官方支持 K8s),容器化几乎成为数据在内的 IT 基础设施设计的必选项,新开发的数据组件也几乎都是基于云原生的。而在利用云原生对数据更高效、平台化、甚至一站式的管理应用中,DataOps 的作用正在逐步显现,成为数据应用技术发展中的新方向。
在这样的趋势下,最近智领云重磅发布了基于云原生的纯 K8s 大数据开发平台-- BDOS Online,借助 BDOS Online 开发者可以去除对 Hadoop 的依赖,以及众多数据组件的繁琐部署运维动作,直接在 K8s 运行现有 WorkLoad,统一资源管理,提升资源使用率,便于多租户计费管理,大幅降低运维成本。
据智领云 CEO 彭锋介绍,BDOS Online 是智领云自主研发的云原生 Data Platform as A Service (DPaSS)产品,其研发初衷是希望为需要高效快速实现多源异构数据应用开发、发布,运维的企业级用户,提供一个在线协同数据应用开发及运营平台。
BDOS Online 整体架构
从上面的架构图中我们能够直观的看出,BDOS Online 平台上集成了数据应用会用到的主流和热门的组件,如 Hive、Spark、TensorFlow、Kafka、MongoDB、HDFS。使用 BDOS Online 平台,数据开发团队可以实现数据采集、治理、分析,以及机器学习、BI 报表、数据服务、数据应用发布等数据应用必需能力组件,并以数据工程的方式实现工程管理、应用共享、质量管理、代码复用等 DataOps 核心功能。借助云原生的灵活和弹性,BDOS Online 可以实现即开即用,按需付费,以最低成本高效实现和共享数据价值,另外 BDOS Online 基于 Kubernetes 运行所有大数据及应用组件,同时支持公有云及私有云发布,并可无缝迁移。
据介绍,智领云针对 BDOS Online 上各组件之间的集成、改造和调优,投入了大量的研发精力,并且希望比以往的大数据平台更加灵活。不过彭锋也表示,除了 HDFS 之外,容器 CSI 接口的存储还在发展和探索阶段,对于数据的存储调度,也将是智领云将发力探索的方向。
智领云表示,BDOS Online 已经获得了零售、金融、物联网、医疗等对数据业务需求旺盛的行业客户。通过云原生的 BDOS Online,开发者能够实现直接开箱即用,无需安装任何大数据或云计算组件。数据开发团队也能够形成标准的数据应用私有发布流程,并与现有大数据平台和数仓对接,为数据科学家、数据工程师以及更多数据的使用者提供高效的数据开发平台。
现在,数据的重要性已经成为 IT 与行业共识。在数据基础设施的发展中,开发者们可以借助像智领云 BDOS Online 所具有的新特性与优势,更高效地完成应用开发,从容应对业务挑战。