大咖说中台 | 建设数据中台系列(五)——中台架构详解(下)

作者 | 耿立超

来源 | 《大数据平台架构与原型实现:数据中台建设实战》

本质上,中台是一种中心化、平台化的企业组织架构和业务形态,当这样的组织和业务架构投射到IT 系统上时会自然地形成我们今天讨论的IT 意义上的“中台”。笔者曾经参与过不少定位为统一平台的项目,其中有不少失败的案例,对于这个问题有一点个人的思考:也许中心化系统都是反传统管理体制的,烟囱式的生态系统是企业组织架构在IT 上的投影,小到“数据湖”,大到中台,没有强力对等的中心化组织去主导,结果是很难预料的。

 继本系列前一篇文章对中台架构作了整体性的介绍之后,本文我们将继续从组织架构的角度上展开对中台的介绍,这是中台建设中不得不谈论的话题,虽然在任何企业里这都是一个非常敏感的话题,但对中台建设来说,这一问题必须要思考清楚。另外,本文的后半部分,我们会冷静地分析一下中台所“不能”的地方,避免读者对中台产生错误的不切实际的理解与期望。本文核心观点援引自作者所著的《大数据平台架构与原型实现:数据中台建设实战》一书,全书对数据中台的理念、架构和具体实现做了详细论述。

 

中台的组织架构

 

组织架构无疑是一个重大而敏感的问题,但确实是在建设中台过程中不得不面对的,一家企业如果想要在中台化转型上取得成功,就必须直面这个问题。我们前面探讨烟囱式的生态系统和SOA 架构时提到的诸多问题和挑战都与组织分工、团队协作有关,这些问题的根源都是组织架构。在过去的烟囱式生态系统下,每一个应用系统都由一个专职的团队负责,团队的核心任务与首要KPI 是确保本系统持续稳定地运行,这使得每一个团队都必然地从本应用系统的立场和角度看待和思考问题。 

然而企业的业务流程是一个有机的整体,这在客观上必然要求各个应用系统和运维团队紧密协作,这时候组织架构的问题就会显现出来。过去不管是点对点式的集成还是SOA 改造,当它们作为一个项目交付之后,随着时间的推移,在集成新系统时又会变得像以前一样举步维艰,究其原因是并没有一个长期有效的组织架构在持续地推动系统融合。

中台架构的提出对企业的组织架构产生了巨大的影响,有了与中台相适应的组织架构,企业才能很好地完成中台建设并从中受益。中台架构有一很鲜明的特点,那就是它彻底破除了应用系统的边界,从企业的全业务领域着手,切分出业务中心,每一个业务中心所支撑的不是一个孤立的应用系统,而是企业在该领域的全部核心业务,所以每一个业务中心都需要非常专业的团队来负责,团队必须对这部分业务非常了解,而且必须站在企业的全局去支撑和把控这一业务领域。 

我们来看一下阿里巴巴共享业务事业部的故事。2003 年阿里巴巴首先成立了淘宝事业部,伴随着B2C 业务的兴起,2008 年从淘宝团队中拆分出了天猫事业部,但是这两大事业部依靠的都是淘宝的技术团队,这样带来的问题是技术团队会优先响应来自淘宝的业务需求,影响了天猫事业部的发展。另外一个问题也是很典型的,那就是这两个电商平台是完全独立的,都有各自的商品、交易、支付等功能模块,可见阿里巴巴也曾经走过烟囱架构的老路。 

为了解决这个问题,阿里巴巴开始了第一次大胆的尝试,在2009 年成立了“共享业务事业部”,主要由淘宝的技术团队构成,但是这个事业部与淘宝和天猫两个事业部是平级的,这一架构调整的用意很明确,阿里巴巴希望通过共享业务事业部来梳理和沉淀两个电商平台的业务,抽离出公共的部分,避免重复建设。但事情的发展却出乎阿里巴巴的预料,由于淘宝和天猫作为核心业务部门,显然拥有更大的主导权,共享业务事业部发展缓慢。 

这一状况的转变源自聚划算的出现,聚划算作为阿里巴巴的团购业务事业部,在成立之初拥有强大的引流能力,淘宝和天猫的产品一旦进入聚划算,销售额就会暴增,因此两大事业部都迫切地想要将自己的平台和聚划算对接。此时阿里巴巴做出了一个重要决定,其他业务平台如果要和聚划算平台对接,必须通过共享业务事业部,正是这一举措让共享业务事业部找到了发展的抓手,进而将自己提升到与其他业务事业部同等的公平位置上。 

从阿里巴巴共享业务事业部的故事中我们可以看到,组织架构对于中台战略的有效实施至关重要,在整个组织架构中,企业需要仔细梳理和界定关键部门的职责及相关部门之间的关系。 

  • 中台事业部

由于中台的定位在于支持企业的共享业务,所以必须要由一个专职的实体部门对其负责,而不能是一个虚拟组织,这个部门必须要被赋予足够大的权限,过去分散于多个业务部门和系统运维团队的部分职责需要拆分并重组到中台部门,由中台统一管理和负责。 

  • 中台各业务中心

中台各业务中心的人员一般来自该中心对应的过去某个核心业务系统,如用户中心团队的骨干应该来自原CRM 系统,被划归到中台的个人和团队将面临一次内部转型,他们过去只对单一业务系统负责,而现在需要站在企业的全局来看待和梳理相关业务,这需要中台团队在广度上要能触达各个业务渠道的前端需求,同时要在深度上不断地挖掘和提炼共享业务,并最终落地到中台服务上。中台各个业务中心的职责划分必须清晰明确,特别是在一些关联性较强的业务领域上一定要做好切割,将各方的职责界定清楚。 

  • 中台与前台团队的关系

前台团队直接面向市场和终端用户,从这个角度来看前台团队扮演着中台用户的角色。一方面,前台团队经常会提出各种各样的需求,有些需求可以在团队内部消化,有些则需要中台团队的支持,这时候前台团队就会对中台团队产生依赖;另一方面,对于中台团队来说,也非常需要来自前台的业务“滋养”。因此两个团队应该维持紧密的合作关系,这对于能否成功建立中台架构是非常关键的,如果两个团队之间在合作上出现问题就会导致两种可能的后果:

  • 如果前台团队强势,就会组织力量在自己可控的范围内实现自己的需求,导致一些本该出现在中台上的共享服务被放在了某个前端应用上,这在客观上弱化了中台的“威力”,同时会导致其他前台应用重复建设该功能,这是在“开倒车”;

  • 如果前台团队弱势,就会放弃或推迟新的构想和尝试,这会让企业逐渐失去抓住市场机遇的能力。

 

中台不是“银弹”

 

前面花了大量的篇幅讨论了中台的各种优势,但是我们也必须理性客观地看待它,就像讨论以往出现过的任何新技术和新理论一样,我们可以看重或推崇它们的优势,但不能过分笃定或夸大它们的作用。中台是一种非常理想化的架构,当企业进化到这样先进的架构时自然可以借助中台创造巨大的业务价值。也可以反过来说,因为企业自身的组织和业务足够先进而催生了中台架构(从某种意义上来说这才是中台的真正由来),两者是相辅相成的。建设中台的难度是非常大的,其难度并不技术上,更多是在业务和组织架构上。 

最近两年,中台的火爆让很多企业都跟风尝试,但真正成功的案例还不多,业界对中台的讨论也很激烈,有人认为中台可能仅仅是一种“乌托邦”,因为它过于理想化,在现实中缺乏生存的土壤,很多企业的现有组织形态与中台是不符甚至是对立的,这样的企业盲目上马中台项目必然是要失败的。这里我们不妨思考一下:为什么烟囱架构在企业中普遍存在?尽管我们在前面讨论了它的各种问题,但是至少有一点是烟囱架构的优势,那就是它的目标指向性极强,它是专门用于解决某一业务问题的,相应地,它背后的技术和业务团队的职责也是高度清晰的,这种目标指向性会驱使组织高效地运转,即使在不同的团队和环节上存在重复建设,在某些时候,付出这种代价也是值得的。 

在这种视角下反观中台,我们会看到,业务中心在对业务的广度和深度上都有一个介入度的问题。从广度上看,不同业务部门、不同业务方向上的业务需求都可能全部或部分落地到中台上,而中台部门需要根据自身的情况来指定开发的优先级,这就决定了在中台建设过程中,并不是所有的业务请求都能得到及时的响应,业务端的体验会与之前烟囱架构有一定的落差;从深度上看,在垂直方向上的业务问题一部分是由前台应用处理掉的,另一部分是由中台解决的,这一点我们在前面讲如何进行前台和中台切分时也提到过,这会导致过去的单一业务问题由单一系统负责变成前台和中台两个参与方或团队负责,如果我们用目标指向性来度量这一状况,显然中台不如烟囱架构有优势,简单地说就是容易出现前台和中台之间的“扯皮”现象。 

本文的讨论主要是提醒读者客观理性地看待中台架构,毕竟它还是相对新的一种思想,业界需要更多的时间去实践和检验,对于这个行业的从业者而言,我们应该保持一种积极的、谨慎乐观的态度看待它。不过相较于业务中台,本系列着重讨论的数据中台并没有这么多不确定的挑战,不管是理论还是实现技术都是比较明朗和确定的。

关于作者:耿立超,架构师,14年IT系统开发和架构经验,对大数据、企业级应用架构、SaaS、分布式存储和领域驱动设计有丰富的实践经验,热衷函数式编程。目前负责企业数据中台的架构设计和开发工作,对Hadoop/Spark 生态系统有深入和广泛的了解,参与过Hadoop商业发行版的开发,曾带领团队建设过数个完备的企业数据平台。

本文摘自《大数据平台架构与原型实现:数据中台建设实战》,已在京东上架

个人技术博客:

https://laurence.blog.csdn.net/

推荐阅读

  • 学会这10大高性能开发技术,轻松躲过裁员名单!

  • 为什么说下一个十年的主战场在Serverless?

  • 什么?一个核同时执行两个线程?

  • 假如有一门叫做 Ctrump 的编程语言...

  • Get了!用Python制作数据预测集成工具 | 附代码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516771.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里风控大脑如何应用大数据来构建风控体系?

简介: 2019年双11阿里风控保护了约388亿消费者的操作行为,同时挡住了约22亿次恶意攻击。在首席技术官大数据专享会,阿里巴巴新零售技术事业群高级数据技术专家丁明峰为大家介绍了阿里风控大脑关于大数据应用的探索与实践,即风控领…

DataWorks 如何撑起阿里99%的数据开发?

阿里妹导读: DataWorks是阿里巴巴自主研发,支撑阿里巴巴经济体99%数据业务建设和治理,每天数万名数据开发和算法开发工程师在使用。从2010年起步到目前的版本,经历了多次技术变革和架构升级,也遗留了大量的历史包袱。…

实用小技能 | 用 Word 和 Excel 自制一个题库自判断答题系统!

作者 | 杨秀璋责编 | 夕颜来源 | CSDN博客 如果你需要做题库,并且喜欢电子答题的方法,这篇文章或许会对你有所帮助。反正李老师班级的平均成绩高出其他班级的14分,这就是它的好处,希望这篇文章对我今后的学生有所帮助吧&#xff0…

使用canal实现MySQL 8 全量同步数据到 ElasticSearch 7.15.2中 linux

文章目录一、软件安装1. jdk 安装2. ES7.15.2 安装3. Mysql 8.0 安装4. canal下载二、Mysql 配置2.1. 开启binlog2.2. 验证binlog状态2.3. 创建账号2.4. 权限赋予2.5. 刷新权限2.6. 创建数据库2.7. 初始化表结构2.8. 初始化数据三、canal-deployer的配置与使用3.1. 解压deploye…

“数据驱动、智能引领”,打造未来智能小镇“样板间”

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 云栖小镇位于浙江杭州西湖区南部,属杭州之江国家旅游度假区核心区块&#xf…

探索中国广电“智慧城市”未来转型路径

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 引言 东方明珠是上海的传媒旗舰,在文娱领域拓展的同时,也被广电…

使用canal实现MySQL 8 增量同步数据到 ElasticSearch 7.15.2中 linux

文章目录一、清空控制台1. 清空控制台2. 修改数据3. 监控数据4. 数据变化5. 索引查询6. 预期性能评估7. 增量同步分析二、验证方案2.1. 把shop索引删除2.2. 重建shop索引2.3. 修改id取得数据2.4. 查看shop索引数据2.4. 修改分类表数据2.6. 监控2.7. 查看shop索引数据2.8. 总结2…

30岁,真的是程序员迈不过去的坎吗?

经常听到有人在说:“现在技术迭代越来越快,程序员的压力更大了,30岁之后的程序员就不好找工作了......”,这不乏很多人在故意贩卖焦虑,但是也会引起我们对自己发展的思考。尤其刚入行的程序员会迷茫,会思考…

全球加速产品 方便更多学生获得申请名校的机会

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司介绍 青岛XX教育科技股份有限公司是英国爱德思考试局(Edexcel&#xff…

如何构建一个可持续的企业级数据赋能体系?

简介: 对于所有企业来说,数据决定了基于算力、算法等能做出哪些场景和应用。在本次首席技术官大数据专享会上,友盟首席产品官林鸣晖围绕业务数据化,数据资产化、资产应用化、应用价值化构建属于企业的可闭环、可沉淀、可持续的数据…

ElasticSearch 7.15.2 使用java canal 接入实现灵活化增量数据准实时同步

前言: ①canal.adapter-1.1.5 支持一对一单表的增量数据同步ElasticSearch 7; ②对于多表聚合场景的SQL满足不了我们的业务需求。 ③采用java canal 接入,可以实现灵活化增量数据准实时同步 文章目录一、java canal 接入1. 依赖导入2. 增加配…

2020 年最厉害的 10 门编程语言

作者 | 沉默王二来源 | 沉默王二对于很多初学编程的人来说,尤其是马上要入学的大一新生来说,选择哪门子编程语言实在是个痛苦的事。选择对了,毕业后顺利找到工作,完美走向职场;选择错了,毕业后受伤的才华无…

MaxCompute客户端在windows命令行下查询中文乱码怎么办?

MaxCompute客户端工具是阿里云大数据计算服务MaxCompue产品官方客户端工具,通过客户端工具可以连接MaxCompute项目,完成包括数据管理、数据上下传、作业执行、用户及授权管理等各项操作。 但有用户会碰到在Windows下的命令行中执行odpscmd后,…

SLS多云日志采集、处理及分析

场景描述 本文根据用户业务场景不同分别采用Logtail和Log producer写入阿里云日志服务,针对未使用其他日志采集服务的用户,推荐在第三方云平台或线下IDC服务器安装logtail采集并使用DCDN安全传输;针对已使用其他日志采集工具并且已有日志服务…

10分钟搭建完成人脸通行系统 百度『乘风』人脸智能化平台了解一下

目前人脸技术已在企业办公、智慧社区、金融保险等多领域多场景中落地应用,发展潜力巨大。8月21日,百度大脑开放日“乘风新基建,加速产业智能化升级”专场活动在乌镇召开。会上,基于百度大脑领先的人脸识别技术,百度智能…

聚焦数字化智慧安防的新型社区

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 引言 现如今,智慧城市建设已成为全球城市发展的必然趋势,全球仅…

Nexus 3.31.1-01搭建 maven 私服 windows

文章目录1. Nexus 3 下载2. 解压后目录3. 前台启动4. 浏览器访问5. 登录1. Nexus 3 下载 nexus3下载地址 2. 解压后目录 3. 前台启动 进行命令窗口,执行以下命令 nexus.exe /run等待出现这个信息 4. 浏览器访问 http://localhost:8081/ 点右上角登录 5. 登…

中邮智递通过数加和datav将系统和服务迁移到大数据平台

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 概述 中邮智递数据平台发展到现在经历了四个阶段: (1) 直接在业务生产系统开发生成报表…

百度大脑“乘风”新基建,“破浪”产业智能化落地

人脸识别技术在AI时代不仅可以带来便利,同时也提高了效率。8月21日,百度大脑开放日在乌镇举办“乘风新基建,加速产业智能化升级”专场,桐乡市经济和信息化局副局长陈再飞、乌镇镇科协秘书长钱永琪、桐乡市工业互联网企业联合会会长…

美柚上云 致力成为最懂女人的互联网企业

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 案例背景 美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚…