必须建筑师附体!像盖大楼那样打造数据即服务

近两年产业界总用“数据洪流”来形容数据的大爆发,但如果我们真把它视作洪水,那么它只会带来冲击;如能积极发掘其潜藏的价值,它则可能变成一条流金之河,正如麦肯锡在研究中发现的那样:与竞争对手相比,能使用数据识别客户行为的企业,在销售增长率方面要高出85%,在毛利率方面会高出25%[1]


640?wx_fmt=png


这个道理,其实大多数企业都清楚,但要构建完善的数据处理和分析平台,难度并不比构建AI应用平台低,对他们而言,通过公有云服务获得这种能力反而更现实。


640?wx_fmt=png


那么,云服务提供商应该怎样做,才能打造出一个高效、全面和可靠的数据即服务呢?根据先行者们的经验,导入“建筑师”思维是必需的,也就是说,要用盖大楼那样的思路来构建数据即服务。

 

就像起高楼必须先挖地基一样,云服务提供商首先要考虑数据即服务的“地基”,也就是数据存储的问题。在各行各业全面拥抱数字化趋势的今天,存储服务的要求更多地体现为:容量和性能要实现高效扩展,相关资源可进行灵活调配和快速交付。

 

接下来,在数据存储的“地基”之上,要筑起坚实的“楼体”,也就是提供数据库即服务,将繁琐的数据库预置、配置、优化、备份、安全、监控、联网、自动化、升级及维护等操作,全部交给自动化数据库管理系统来处理。

 

640?wx_fmt=png


最后一步,就是要在“楼体”上加装顶层,也就是大数据或数据分析即服务,海量数据将通过它的清洗、挖掘、分析和可视化等操作,提炼出高价值、易理解和检索的关键信息,或者说是洞察。

 

640?wx_fmt=png


云服务提供商还需要确保上述不同层级间各模块和功能之间能形成协作,而非各自为政。如金山云的数据即分析服务KMR(Kingsoft MapReduce),就与其对象存储KS3、表格数据库服务和关系型数据库服务(KRDS)实现了集成。其用例之一,就是用户可在得到分析结果后将其存入KS3,然后释放按时计费的KMR集群,以节省成本[2]


640?wx_fmt=png


有了设计思路,云服务提供商就要操心“钢筋水泥”,即基础设施的选择了。由于这个体系自下而上,对硬件的需求从重存储,渐渐过渡到重计算,所以这两点就是考量的重点。

 

先谈存储,数据即服务应优先考虑软件定义存储,它利于创建跨服务产品使用,且易于管理和调配的共享存储资源池。

 

英特尔平台+Ceph技术是实施软件定义存储的理想之选。Ceph是目前唯一能提供开源存储、软件定义存储、企业级存储和统一存储(对象、块和文件)的解决方案。它与至强处理器搭配,再辅以英特尔智能存储加速库(让应用能使用至强加速与数据保护、完整性和安全性相关的任务)、高速缓存加速软件(让Ceph可通过智能缓存提高性能),以及高性能、低延迟、高稳定和耐用的英特尔固态盘和傲腾固态盘等技术,可输出令人满意的性能和总拥有成本。


640?wx_fmt=png


再谈计算,英特尔的优势更加明显:不仅有新一代至强可扩展处理器凭借全新微架构带来的加成,还有诸多开源和商业版本数据库及数据处理和分析技术,如Apache Hadoop、Spark、SAPHANA带来的“众星捧月”效果。两者融合就产出了一串更诱人的数据,如SAP HANA每小时执行的查询量可提高至1.5倍[3],IBM DB2批量分析的平均速度提高至1.4倍[4]


640?wx_fmt=png


这些英特尔新技术带来的功效可不是纸上谈兵,抛两个身边的真实“战例”:

 

-      腾讯金融云TDSQL服务升级采用至强可扩展处理器、英特尔Omni-Path架构和傲腾固态盘,写性能提高至原来的3倍,读性能提升到原来的4倍,整体性能提升至原来的1.7倍[5]


640?wx_fmt=png


-      用友分析云平台在升级使用至强铂金8180处理器后,性能归一化指标比使用至强E7-8890 v4时提升42%,搭配傲腾固态盘后,性能更是提升达92%[6]

 

640?wx_fmt=png


数据与信息来源:

[1]: 麦肯锡,2017年,《利用您的客户数据获取价值》,https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/capturing-value-from-your-customer-data

[2]: 白皮书《金山云助力实现云端数据分析》,https://www.intel.cn/content/www/cn/zh/cloud-computing/kingsoft-cloud-enables-data-analytics-in-the-cloud.html

[3]、[4]:白皮书《数据分析:面向云服务提供商的指南》, https://connect.intel.com/analytics_eguide_reg

[5]: 白皮书《铸就智慧金融的“芯”动力——英特尔助力腾讯云提供基于TDSQL的高效、安全金融云服务》,https://www.intel.cn/content/www/cn/zh/cloud-computing/tencent-financial-cloud-case-study.html

[6]: 白皮书《英特尔技术助力用友分析云向用户提供全分析服务解决方案》,即将上传。

 

并发、时延、成本等各方面,都对云平台的基础设施提出了更高的要求。点击阅读原文,登上至强特快专列,了解成功的云服务提供商如何高效打造差异化的云服务。


640?wx_fmt=jpeg


详情请查看【阅读原文】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/525487.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

华为鸿蒙用着怎么样,首批华为鸿蒙用户体验如何?“差评”有点难听,但是很真实!...

为了实现国产替代,打破海外企业对操作系统的垄断。华为集团推出了鸿蒙操作系统,这是一款真正意义上的国产操作系统,可以从一定程度上突破海外企业对手机操作系统的限制 。当然,一款操作系统的发展需要广大用户的支持,尽…

Python return逻辑判断表达式 - 零基础入门教程

目录 一.return 逻辑判断表达式 and二.return 逻辑判断表达式 or三.return 逻辑判断表达式 and 和 or 配合使用四.return 逻辑判断表达式重点总结五.猜你喜欢 零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门 一.return 逻辑判断表达式 and and&…

Metasploit渗透测试框架

Metasploit渗透测试框架 渗透测试是一类有目的性的、针对目标机构计算机系统安全的监测评估方法。渗透测试可以发现系统的漏洞和安全机制方面的隐患,并以此进行渗透攻击来取得目标计算机的控制权。通过渗透测试可以知道目标机构的计算机系统是否易于受到攻击&#…

用 Python 分析《斗破苍穹》,分析其究竟是烂片无疑还是沧海遗珠?

作者 | 量化小白H责编 | 郭芮近期根据小说《斗破苍穹》改编的同名电视剧正在热映,本文对《斗破苍穹》进行文本分析,分为两部分。首先爬取豆瓣影评进行简单分析,随后对于原创小说文本中的人物进行详细分析。影评分析爬取影评使用的也是之前《用…

android面试service,Android面试,与Service交互方式(4)

自定义接口交互4何谓自定义接口呢,其实就是我们自己通过接口的实现来达到Activity与Service交互的目的,我们通过在Activity和Service之间架设一座桥樑,从而达到数据交互的目的,而这种实现方式和AIDL非常类似(后文会说到)。4.1 实现…

Python input 函数 -Python零基础入门教程

目录 一.前言二.Python input 函数简介三.Python input 函数实战四.猜你喜欢 零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门 一.前言 Python 内置函数其实挺多的,其中 input 和 eval 算得上比较特殊,input 属于交互式内置函数…

Metasploit基础和基本命令详解

Metasploit基础 2003年H.D Moore创建了Metasploit,从那之后Metasploit便快速发展起来,如今被公认为最为流行的渗透测试工具之一。Metasploit是一个完全的Ruby驱动项目,提供了大量的漏洞渗透、攻击载荷(payload)、编码…

综评:5个方面看刚刚发布的Kubernetes 1.12

Kubernetes项目在过去几年中发展迅速,并且作为容器编排和管理解决方案的领导者而备受尊重。有了这个地位,Kubernetes开发者有责任提供经过充分测试,易于维护,高性能和可扩展的API和工具。在即将到来的每个发布周期中,大…

华为麒麟1020鸿蒙系统,华为P50pro最新确认:麒麟1020+立体全面屏+鸿蒙系统,这才是华为...

原标题:华为P50pro最新确认:麒麟1020立体全面屏鸿蒙系统,这才是华为华为P系列一直是领导华为手机上半年的发展,而今年的华为P40系列更是实现了大爆发,市场上手机销量不断的攀升,并且权威的科技评测也给出了…

Python eval 函数 -Python零基础入门教程

目录 一.前言二.Python eval 函数简介三.Python eval 函数实战四.猜你喜欢 零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门 一.前言 Python 内置函数其实挺多的,其中 input 和 eval 算得上比较特殊,input 属于交互式内置函数&…

Ruby-Metasploit的核心

Ruby-Metasploit的核心 Ruby编程语言可以说是Metasploit框架的核心。 根据Ruby官方网站介绍,Ruby编程语言简单而又强大,面向对象,为解释性语言,执行速度快,项目开发周期短,可以构建自动化类来重用代码是R…

干货 | 算法和编程面试题精选TOP50!(附代码+解题思路+答案)

作者 | javinpaul编译 | 王天宇、Jane整理 | Jane【导读】之前我们给同学们推荐了很多关于 Python 的面试资源,大家都表示很有用。这次营长表示要翻 Java 的牌子啦~ 应大家的强烈反馈,我们找了一套 Java 语言的算法和编程的面试题。这份面试资源主要包含…

Xml转换成html表格代码,如何用C++代码将XML文件转换为HTML表格?

我有一个XML文件。我想把它转换成HTML文件,并用我的C应用程序像HTML表一样表示它。有没有任何C库可以用来解析XML文件并创建HTML文件?示例:Belgian Waffles$5.95Two of our famous Belgian Waffles with plenty of real maple syrup650Strawberry Belgia…

Python map 函数 -Python零基础入门教程

目录 一.前言二.Python map 函数语法简介三.Python map 函数实战 1.使用 map 函数2.map 函数配合 lambda 匿名函数一起使用 四.Python map 函数效率对比五.Python map 函数总结六.猜你喜欢 零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门 一.前言 截…

鸿蒙os2.0开发者beta版,鸿蒙 OS 2.0 开发者beta版针对Mate 40系列设备开放

华为开始针对包括P40,Mate 30和MatePad Pro设备在内的设备招募HarmonyOS 2.0 Mobile开发人员beta版。招募之后,华为还开始向选定的测试人员推出HarmonyOS 2.0移动开发人员更新。根据最新信息,华为现已决定扩展适用于华为Mate X2可折叠手机&am…

python2版本libnum

如果运行RsaCtfTool工具 需要用到libnum,而网上基本上都是python3的libnum讲解,下面我就来说说python2的libnum https://github.com/ryanInf/python2-libnum 这个链接讲述的是python2的libnum模块 安装 git clone https://github.com/ryanInf/python2-l…

1.7亿条数据,比胡同和撸串更真实的北京

作者王越来源DT财经原创作品,如有转载,请联系公众号授权。“宇宙中心”是哪里?哪里又是北京的城市活力中心?北京究竟是一座怎样的城市?是汇聚了政治中心、国际交往中心、科技创新中心等多项顶级职能的大国之都,是拥有…

Python 文件读写操作-Python零基础入门教程

目录 一.Python 文件的打开 open二.Python 文件的关闭 close三.Python 文件的读取 read 1.read 函数2.readline 函数3.readlines 函数 四.Python 文件的写入 write 1.write 函数语法2.write 函数使用案例 五.Python 文件偏移 seek 1.seek 函数2.tell 函数3.seek / tell 函数示…

html box 竖线,CSS3 小竖条脉冲型LOADING动效

CSS语言:CSSSCSS确定.loader-wrap {position: absolute;left: 0;right: 0;top: 0;bottom: 0;margin: auto;background-color: #ff9328;}.loader {position: absolute;left: 0;right: 0;top: 0;bottom: 0;margin: auto;height: 40px;width: 80px;box-sizing: border-…

面趣 | 为什么要分稳定排序和非稳定排序?

作者channingbreeze如需转载,请联系原作者。小史是一个应届生,虽然学的是电子专业,但是自己业余时间看了很多互联网与编程方面的书,一心想进BAT互联网公司。今天他去了一家互联网小巨头公司面试了。没想到面试并不像想象中的顺利。…