六大挑战下,如何利用云原生数据战略打造数据驱动型企业?

3c9248da7179cb2169ea99b65f52307b.gif

在刚刚落幕的2022亚马逊云科技中国峰会上,亚马逊云科技大中华区战略业务发展部总经理顾凡带来《亚马逊云科技 成为探路者,成就探路者》主题演讲,总结了数据驱动型企业面临的六大挑战,并提供了解决思路。

4043a4774f20f5c153a20d0d3d68b4f6.jpeg

IDC预测,仅在2022年,人类将创建超过97ZB的数据。在数据采集变得越来越容易的当下,收集数据是成功的第一步,但数据量的剧增,并不等于数据带来的价值增加,68%的公司无法从数据中实现可以量化的价值,成为数据驱动型企业,面临六大挑战:

1、大多数企业缺少明确的数据平台战略;

2、高速的数据增长带来了存储、分析与数据创新成本的压力;

3、难以找到发挥数据价值的场景;

4、不清楚应该使用什么新技术或产品来支持业务创新;

5、企业人员技能不足难以支撑创新型数据项目;

6、企业缺乏数据的治理和安全保护的能力。

针对这六大挑战,亚马逊云科技结合众多成功的数据驱动型企业的经验,推出云原生数据战略,简单来说,它有“3个支柱”和“1个基石”。

cab63a0cdbe5bf23427aac46e73d6e72.jpeg

411e139900e8939f9a6cdcde9c3e86a8.png第一大支柱:云原生的数据基础设施

2004年, Amazon.com 网站在高峰期出现几小时中断,原因是当时的关系数据库 Oracle 已无法支持业务规模,这让工程师重新思考底层数据存储,并研发了的非关系数据库 Dynamo 。基于此,2007年亚马逊云科技发表了 Dynamo 论文,2012年进而发布 DynamoDB 服务,开启了亚马逊电商全面迁移到云原生数据库的历程。

应用和数据库架构变迁是不分家的,亚马逊电商从单体应用到SOA再到拆分为微服务架构,同时做了数据拆分,基于每个微服务不同的数据类型,数据访问特点各开发团队开始选择最适合自己的云原生数据库或分析服务,从应用到数据库整体架构做到弹性、敏捷。如今,亚马逊云科技已逐步完善了不同类型的云原生数据库,数据分析服务,来满足不同的应用场景,并利用Aurora Babelfish将迁移时间从数年压缩至几周,节约数据库成本。

80fa17f356c9453c1c1ec9e3949d84d1.png

除了云原生数据库,云原生数据基础设施的另一个技术趋势就是向无服务器化演进。Servereless的数据库/分析服务具有易于自动扩容、成本更加灵活等优势,能进一步减少管理的成本开销。从Aurora Severless V1/V2,再到Redshift/EMR/MSK的Serverless版本,亚马逊云科技的云原生无服务器数据服务,帮助客户实现业务敏捷。

027578efa4a30cc76dd60b82cfb27d43.png

9cdd5fcecc1f30bba22ddf6b1e88120a.png

第二大支柱:数据一体化融合

亚马逊云科技智能湖仓架构能够打破数据孤岛,构建数据湖,然后建立跨数据湖,数仓,数据库等不同数据源的一体化分析能力。

智能湖仓架构1.0

能将数据以任何规模存储在S3数据湖,并针对不同的分析场景,采用专门构建的亚马逊云科技分析服务,以达到最极致的性能,最后进行跨不同数据源的统一分析。

数智联动 智能湖仓架构2.0

在智能湖仓在基础上,增加数据分析和人工智能联动能力,为客户解决数智联动的挑战。首先,所有用来做数据预加工的数据分析服务,都有无服务器版本,工程师只需专注于数据处理的代码效率和质量;其次,亚马逊云科技分享的最佳实践能为大数据和算法团队提供统一的数据治理底座,来解决两边在数据的发现和理解各自为战的问题;第三,用好SageMaker Studio的新功能,算法团队在一个统一的界面下,可以访问数据加工和模型开发调试的工具,算法团队能够充分利用大数据团队在数据处理方面已经取得的成果,避免重复劳动。

c08f4c679cd9a587acfa321e300d7802.png

第三大支柱:数据驱动智能创新

利用机器学习重塑创新引擎怎么做?顾凡总结为以下四点:

c824312c6d211dd9119e148f9bee34b9.png

一、找到合适业务场景。建议从个性化推荐、供需预测、工业自动化、图像/视频自动分析、智能语音助手等场景开始尝试,可以更好提高工作效率、直接创造业务价值;

二、利用亚马逊云科技的许多开箱即用、训练好的 AI SaaS模型去做场景的快速验证。其覆盖文档处理,机器视觉,聊天机器人,搜索,推荐,语音,呼叫中心等7个横向领域,以及工业,医疗健康,代码开发等3个垂直领域;

三、亚马逊云科技的提供众多工具和最佳实践,助力企业要将机器学习应用到更多场景时。机器学习基础设施方面,亚马逊云科技支持所有主流机器学习框架,也提供了最丰富的加速器实例。机器学习工具方面,SageMaker极大的降低了机器学习开发的门槛,让开发者可以更快速,更容易的完成机器学习开发的每一步工作,而MLOps借助SageMaker 的强大功能与丰富的 SDK 与 API,可以把机器学习开发的流程串联,并与企业内部的工作审核流程相集成,去实现端到端的机器学习自动化。

四、利用机器学习打造创新引擎,需要赋能更多人构建机器学习应用。亚马逊云科技与全球300多所高校展开合作,开展机器学习大学的项目。同时,通过DeepRacer将机器学习的能力交到更多人手中,其次,在工具层面,SageMaker Canvas可以让更多人通过可视化的方式构建机器学习应用,而无需编写代码或有机器学习的经验。

501f9758044b4ee820ba653d210ab57c.png

一个基石:数据安全与数据治理

当数据系统变得复杂,难以实现价值时,企业面临数据治理的挑战。顾凡指出,企业不仅难以在海量且繁杂的数据中发现有价值的数据,数据质量低也会导致错误的洞察和决策,同时,还面临既要数据合规又要支持数据创新,二者难以兼得。

bb01b551fa6d63c2ab51f9306c5aff0e.png

亚马逊云科技提供全生命周期的数据治理结构,企业可以用Lake Formation实现数据的统一授权和安全管控,采用亚马逊云科技丰富的合作伙伴解决方案,来解决数据分级,数据质量,数据血缘等各种治理需求;Data Mesh数据网格能满足企业全球数据安全合规和支持本地创新两者兼得的需求,为云原生数据库战略提供坚实保障。

0d4e3f1e9caea766849a3debc802c5e1.png

Canva 可画通过云原生数据战略,用科技赋能世界设计的力量

 Canva 可画中国企业事业部负责人于颖,带来亚马逊云科技助力 Canva 可画进行数据管理、构建可靠稳定的云原生数据战略,实现高效的决策与创新的实践分享。

b2c9ef460e43f755ee2b2890eae2e468.png

开利消防构建云原生数据基础设施,摆脱了传统架构的桎梏

峰会上,顾凡分享了开利消防的故事,借助Babelfish,他们摆脱了商业数据库的绑定,在5周内就完成SRM系统从SQL Server向Amazon Aurora的业务改造及切换,降低高达70%的数据库成本。

如您想了解更多关于亚马逊云科技云原生数据战略内容,请点击『阅读原文』观看主题演讲精彩回放,也可登陆亚马逊云科技中国峰会官方网站了解更多亚马逊云科技前瞻技术、战略部署及创新案例,与我们一同,自由构建 探索无限!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510854.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

宜搭5月更新:跨应用数据读写能力升级,AI组件内测开放

简介:表单、权限管理、AI组件等功能上新啦~ 本次,我们带来了表单、权限管理、数据管理、平台管理权限、组件等功能的升级。 表单 支持跨应用数据查询 在使用组件数据联动、关联其他表单数据、关联表单组件数据筛选/数据填充等功能时&…

阿里云张新涛:异构计算为数字经济提供澎湃动力

简介:阿里云弹性计算在视觉计算上的应用实践分享。 图:阿里云弹性计算产品专家-张新涛 5月11日,在“2022阿里云视觉计算私享会”上,阿里云弹性计算产品专家张新涛为大家带来了题为《阿里云弹性计算在视觉计算上的应用实践》的主题…

提升Java字符串编码解码性能的技巧

简介:常见的字符串编码有LATIN1、UTF-8、UTF-16、GB18030,他们各有各的特点,且之间的转换比较复杂。本文将为大家介绍提升Java字符串编码解码性能的技巧。 作者 | 温绍锦 (高铁) 来源 | 阿里开发者公众号 1 常见字符串编码 常见的字符串编码…

BladeDISC 0.2.0更新发布

简介:在BladeDISC正式开源三个月后,我们发布了0.2.0版本,该更新包含了大量的性能优化与功能增强。 在BladeDISC正式开源三个月后,我们发布了0.2.0版本,该更新包含了大量的性能优化与功能增强。 BladeDISC是目前业界领…

智能logo免费体验|网站Logo这样设计搜索排名跟着提升

简介:一个好的网站logo,不仅让用户一眼知道网站品牌传递的信息,还能提高网站专业度和丰富度,增加SEO搜索排名。今天分享下如何设计一款实用的网站logo。阿里云智能logo设计,在线免费体验logo制作:https://l…

记一次 JMeter 压测 HTTPS 性能问题

简介:在使用 JMeter 压测时,发现同一后端服务,在单机 500 并发下,HTTP 和 HTTPS 协议压测 RT 差距非常大。同时观测后端服务各监控指标水位都很低,因此怀疑性能瓶颈在 JMeter 施压客户端。 作者:拂衣 问题…

阿里巴巴在 Envoy Gateway 的演进历程浅析

简介:最近阅读 《Envoy Gateway 来了》这篇文章,深感 Envoy 强大的可扩展性和基于 Envoy Gateway 带来的易用性,在 K8s 架构下,Envoy 重新定义了网关的定位和能力,被誉为云原生网关,甚至被称之为下一代网关…

2022华为开发者大赛北区决赛在1024程序员节北京峰会成功举行

10月24日,“2022 长沙中国 1024 程序员节”北京峰会于北京经开区国家信创园成功举办。聚焦“软件新时代 开源创未来”主题,北京峰会开展“会、赛、展、趴”四大环节。2022 华为开发者大赛云应用创新赛道作为华为 ICT 领域面向云赛道的顶级赛事&#xff0…

阿里云专利缴费小程序丨如何在一分钟为多项专利缴费?

简介:本文为用户介绍快速专利缴费的方法。 对于一家科技公司来说,手握多项专利是十分常见的事情。但这却也让相关负责人有点头疼。 “我们公司名下有十多件专利,从14年到现在大概每年申请了一两个专利。类型的话发明专利、外观专利、实用新…

SysAK 应用抖动诊断篇—— eBPF又立功了 | 龙蜥技术

简介:且看 SysAK 是如何打造一款性能开销不大、安全可靠、且灵活的关中断检测工具。 文 / 系统运维 SIG 编者按:还记得曾经风靡一时的狄仁杰探案系列之《他抖任他抖,IO诊断在我手》、《netinfo:揭开网络抖动面纱的神器》、《core…

性能提升 57% ,SMC-R 透明加速 TCP 实战解析 | 龙蜥技术

简介:SMC-R 是如何加速 TCP 应用? 编者按:TCP 协议作为当前使用最为广泛的网络协议,场景遍布移动通信、数据中心等。对于数据中心场景,通过弹性 RDMA 实现高性能网络协议 SMC-R,透明替换应用 TCP 协议&…

2022云管云网大会丨阿里云孙成浩:构建万物互联的智能云网络

简介:2022年5月19日,由中国信息通信研究院(以下简称“中国信通院”)和中国通信标准化协会联合主办的“2022云管和云网大会”通过线上直播方式成功召开。大会以“新云管 新云网”为主题,工业和信息化部信息技术发展司信…

未来两年,阿里云20%新增算力将使用自研CPU

11月3日,阿里巴巴在2022云栖大会上宣布,自研CPU倚天710已大规模应用,阿里云未来两年20%的新增算力将使用自研CPU,这是阿里算力攻坚的重要突破。目前,倚天710已在阿里云数据中心大规模部署,并以云的形式服务…

PolarDB-X迎来开源后首个重大版本升级,2.1版本新增5大特色功能

简介:2022 年 5 月25日,阿里云开源 PolarDB-X 升级发布新版本!PolarDB-X 从 2009 年开始服务于阿里巴巴电商核心系统, 2015 年开始对外提供商业化服务,并于 2021 年10月正式开源。本次发布是开源后首个重大版本升级&am…

做ToB软件质量保障的这两年

简介:自己算是阿里的老兵了,从实习开始一直投身在 toB 业务的质量保障领域内,不能说是资深的专家,但所经历的、感受的业务特点和体会还是具有一定的代表性,希望能通过这篇文章,总结一下过往,并能…

成本节省 50%,10 人团队使用函数计算开发 wolai 在线文档应用

简介:人们关注 wolai 独特的功能和舒适的用户的用户体验,更关注实现这些背后的技术架构。在一个晴朗下午,我们邀请了 wolai.com 的创始人马锐拉,跟我们聊聊 wolai 背后的 Serverless 架构。 作者:马锐拉 | wolai.com …

前端质量|基于业务驱动的前端性能有效实践案例

简介:前端的本质价值是什么?作者认为是给用户创造良好的交互体验和抵达率优化应该在转化率之前。那么本文就将和大家分享基于业务驱动的前端性能有效实践案例。 作者 | 钱文玲(悠酱) 来源 | 阿里开发者公众号 一、背景 1.1.前端性能优化的业务意义 前…

走进RDS|说说关系型数据库与Serverless

简介:看到如今Serverless在云计算行业喷薄欲出的态势,像极了《星星之火,可以燎原》中的描述:虽然不能预测未来的发展和变化,但对于云计算来说这是个相对确定的方向。本文将和大家说说关系型数据库与Serverless。 作者 …

六年团队Leader实战秘诀|程序员最重要的八种软技能

简介:笔者在带团队的六年中发现,程序员们在职场都有一个共同的困扰:“好像写代码都没什么问题了,日常工作基本上都是应付业务需求的开发,好像找不到其他的更大的附加价值了,我应该找一些什么样的发力点才能…

宜搭小技巧|学会这一招,数据收集收放自如

简介:应用的「启用」「停用」功能还可以这样用 >> 团建的日子眼看就要到了,为了掌握参加的人数,提前进行车票、房间、餐食的预定,宜小搭计划在周五下班前停止对报名信息的收集。 如何停止我们的应用进行数据收集呢&#x…