腾讯Techo开发者大会揭晓云存储发展趋向:高性能、高可用、高性价比

产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下,数据存储技术应该怎么发展?11月7日,在腾讯Techo开发者大会上,来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。

据IDC预测,全球数据总量预计2020年达到44ZB(440亿TB)。随着IT信息系统的不断发展,数据在各个行业的应用越来越广的同时,云存储又该如何进化满足大数据时代的要求?华中科技大学计算机学院教授、信息存储专委会常委、SNIA中国区专家委员会副主席谢长生在活动现场对存储行业的未来发展趋势进行了展望。

谢长生指出,主流存储介质从磁介质到闪存介质转移的同时,也驱动了接口协议的变化。存储行业未来将在纵向沿着Cache技术,横向朝着分布式存储两个方向继续进化。此外,包括智能存储、支撑AI的存储、交存内计算、计算型存储、类脑存储、区块链存储等在内的一些新兴存储技术也将迎来更大的发展际遇,在存储的大数据时代发挥更大的作用。

万物上云时代,云硬盘已经成为云的基础服务。腾讯技术工程事业群云硬盘专家工程师王银虎表示,通过介质升级,腾讯云云硬盘产品历经了普通云盘、高性能云盘、SSD云盘三大阶段。基于混合存储介质的高性能云盘性能指标达到了普通云盘的10倍,延迟低于5ms,高性能SSD云盘延迟甚至低于3ms。而腾讯云的下一代云硬盘——HSSD云盘则利用客户端卸载、存储卸载以及网络卸载的技术手段,可实现更低的延时和高性能,目前在平台侧已将延时降低到100微秒以下。

近年来,随着云端数据的增长,用户对云上数据产生价值的需求越来越强烈,云端大数据处理的瓶颈正在逐渐凸显。虽然业界推出了大数据存储基于对象存储的方案,提升了整体灵活性,但云数据的延时较高,整体大数据分析场景效率较低。在此背景下,腾讯云基于对象存储研发了CHDFS。腾讯云腾讯云存储研发专家工程师严俊明表示,腾讯云CHDFS融合了独立的元数据管理能力和对象存储的存储容量的能力,拥有高效和云数据操作低延时的特性。目前腾讯云CHDFS的服务可用性已达99.9%,数据持久性可以达到99.999999999%。

另一方面,腾讯庞大的自有业务体系也为云存储产品和技术提供了绝佳的实践平台。

微信作为一款月活用户超过10亿的国民级应用,系统每天读写量超过数万亿,峰值时数据调用超过1亿次/秒的。在海量存储中做到高性能,进而降低成本,是其面临的最大挑战。微信事业群分布式存储工程师郑建军表示,通过定制式开发的手段提升微信存储系统的基本能力,使得微信的存储性能比传统模式提升了近1倍。为提升数据安全性,微信还采用了多副本存储、实时校检、人工排查等方式,并通过定期对齐数据副本、副本数据的跨地域容灾等手段确保数据的完整性。此外,微信还通过快速拒绝策略、非租约的Paxos、大系统小做以及多副本冗余等方式确保存储服务在高峰期的可用性,目前,微信核心数据存储服务的可用性已经达到99.9999%的水平。

对于非常消耗存储资源的图片和音视频文件在微信和微信小程序内应用比例越来越高的问题,腾讯云还在尝试用更多的技术创新去满足这些应用对存储的需求。腾讯技术工程事业群图片业务技术副总监孙云清表示,腾讯云通过新的图片压缩技术和GPU加速技术,几年时间已经节省了近1T的图片带宽;腾讯云通过设置大容量、低成本,且直接跳过了文件系统的缓存处理服务池,大幅减少了应用读取图片和音视频档案时缓存的拷贝消耗,再结合IO的方式提高并发速度,大幅节省了系统性能,并降低了内存的消耗。此外,腾讯云还充分结合存储空间利用率优化、路由IP均衡、磁盘内存热文件缓存等手段全力挖掘系统性能潜力,并充分利用腾讯云平台上其他闲置资源进行资源弹性调配,不仅让业务变得透明,也大幅降低了成本。

腾讯云和微信小程序团队联合打造的小程序·云开发也封装了云存储的能力,提供快速上传和下载、CDN加速、服务端的对象管理和权限管理等底层云存储服务。腾讯云对象存储高级产品经理贺永红表示,通过小程序+云存储的结合,小程序可以实现直接读写云存储资源,服务端在管理资源同时还可同步进行AI处理。例如腾讯乘车码出行小程通过将城市数据迁移上云储存,实现大业务,小体积;香格里拉智能入住小程序通过和云储存的结合实现了客户的快速便捷智能入住;作业盒子小程序通过云存储的AI识别实现在线作批改。

贺永红介绍,目前腾讯云在云存储的可用性、数据可靠性和QPS三大核心指标上分别已经达到99.95%,99.9999999999%和30000的高水准,在业界遥遥领先。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520576.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python中imread导入失败_ImportError:无法导入加载图像文件所需的Python Imaging Library(PIL)...

我正在尝试在facemorpher 1.0.1 python包中运行average.py程序.我创建了一个虚拟环境,该环境中安装了带有自制软件的openCV,安装在自制软件中的python 2.7和可执行框架python,它们在虚拟环境cv中构建了python的框架.运行平均程序当前给我这个输出.(cv) Francess-MacBook-Pro-2:…

java 计算机开始时间,关于计算Java程序运行时间

第一种是以毫秒为单位计算的。Java代码//伪代码long startTimeSystem.currentTimeMillis(); //获取开始时间doSomeThing(); //测试的代码段long endTimeSystem.currentTimeMillis(); //获取结束时间System.out.println("程序运行时间: "(end-start)&qu…

2018天猫双11|这就是阿里云!不止有新技术,更有温暖的社会力量

双11快乐,该买的应该都已经买到了吧? 跟大家说个暖心事儿:今天,阿里云以天猫双11之子派大星星星l的名义,在公安部打拐办团圆项目、缘梦基金、宝贝回家等公益组织的鼎力支持下,将失踪儿童的信息放在这个网页…

怎样把连续的多个commit整理成1个?

怎样把连续的多个commit整理成1个?前提是:此分支尚未推送至远程,只修该提交记录,对提交文件内容不做修改 找到操作提交记录的父提交id,也可以理解为上一次提交记录 git rebase -i ac5e973 1.找到像合并的那几个提交信息…

重磅!云+X 案例征集正式启动啦!

云计算的概念已经悄然走过十余年,尽管我们对于它的关注,没有像人工智能、物联网、区块链那么密切,但是云服务在我们的生活与工作中早已无处不在。越来越多的新兴技术高调出现在大众的面前,唯有云计算仍以最低调的态度做着最实用的…

Nacos 发布0.3.0版本,迄今为止最好看的版本

近日,Nacos 0.3.0 正式发布,该版本旨在增强对服务列表,健康状态管理,服务治理,分布式配置管理等方面的管控能力,以便进一步帮助用户降低管理微服务应用架构的成本,在第一版的 UI 功能规划中&…

定义快捷代码_nodepad++代码编辑器替代工具整理

概述代码编辑工具选择Visual Studio CodeVS vode特点:开源,免费;自定义配置集成git智能提示强大支持各种文件格式(html/jade/css/less/sass/xml)调试功能强大各种方便的快捷键强大的插件扩展EditPlus默认支持HTML、CSS、PHP、ASP、Perl、C/C、…

王者荣耀转移完成会显示我的服务器吗,王者荣耀账号多久能转移完

4月29日,王者荣耀已经发布跨系统角色转移测试名额,每日限量,各位召唤师也都蠢蠢欲动,期待已久的功能终于上线啦,感兴趣的小伙伴快跟着超分手游网的小编一起去了解一下吧!王者荣耀账号多久能转移完申请提交后…

怎样把间隔的几个commit整理成1个呢?

怎样把间隔的几个commit整理成1个呢? 前提是:此分支尚未推送至远程,只修该提交记录,对提交文件内容不做修改 找到操作提交记录的父提交id,也可以理解为上一次提交记录 git rebase -i ac5e973 1.找到像合并的那几个提交…

华为双11发 20 亿奖金!?

戳蓝字“CSDN云计算”关注我们哦!11 月 11 日当天,有华为员工在社交网络上爆料称,华为双 11 发放两份特别奖金,一份是阳关普照奖,另外一份是 20 亿奖金。该爆料称:“双 11,华为发放两份特别奖金…

python语言是编译性语音_最强编程语言 Java 和最受欢迎之 Python 的巅峰对决

作为程序员们的看家利器之编程语言,倘若技术开发者对其掌握得越深则对自身职业生涯越有益处,然随着技术的更新变革,我们在日常使用不单单只会用到一门编程语言,那么究竟该如何选择一门新的语言来上手?本文中&#xff0…

ajax结合java,ajax技术应用详细分析(后端java与客户端请求的结合)

Ajax 技术应用先回看 模态框的使用js比较薄弱如上 比如这部分加粗样式如下 是BOM窗口对象**js最薄弱 建议在浏览器练习** confirm方法跳转练习新疑问:怎么分辨js,jQuery和jsp代码 与其实现应用插入小点**延申说法 client客户端发送请求 (客户端层面)是client前端页面层****重要…

MySQL的未来在哪?

阿里云 MySQL&MariaDB 数据库产品结合开源社区,提供了稳定、可靠、便捷、弹性的在线数据库服务,帮助全球企业客户进行数字化转型。MySQL发展经历了一系列变化,从Sun到Oracle,发展也经过了几个阶段。MySQL从5.7版本开始走上了代…

Git 汇总

怎样比较暂存区和HEAD所含文件的变化?适用于,工作区的文件已经添加至暂存区,尚未进行提交,比较暂存区和当前分支的文件的不同,如果添加至暂存区的文件正确的,可以进行提交,推送远程;…

代码写成这样,老板把我开除了| IT 巨能唠

今天聊一聊遇到过的一些神逻辑代码&#xff0c;不一定很全&#xff0c;但真心让小编我自叹不如啊&#xff01;1、耍猴的最佳手段还记得 XX 手机的抢购活动么&#xff0c;抢购按钮的代码类似是这样的&#xff1a;<a href"javasript:alert(抢购结束!)">立即抢购&…

springboot+vue项目如何在linux上部署

在linux上部署项目&#xff0c;是我们实训项目作业的最后一步&#xff0c;此时我们的项目编码测试已经完成&#xff0c;接下来就需要在服务器上部署上线&#xff0c;那么如何部署上线&#xff0c;接下来我会在虚拟机上的CentOS7系统上实现部署&#xff0c; 一.下载JDK 因为我…

如何把暂存区恢复成和HEAD的一样?

使用场景&#xff1a; 本来打算&#xff0c;将暂存区的文件&#xff0c;进行提交本地仓分支当做一个新的版本&#xff0c; 但是发现&#xff0c;现在工作区的对文件的修改更适合作为一个新的版本&#xff0c;提交 至本地仓库的分支上&#xff0c;暂存区的文件需要全部删除&…

ajax respon有数据,Ajax怎么通过response在后台传递数据?(附代码)

这次给大家带来Ajax怎么通过response在后台传递数据&#xff1f;(附代码)&#xff0c;Ajax通过response在后台传递数据的注意事项有哪些&#xff0c;下面就是实战案例&#xff0c;一起来看一下。这是js代码&#xff1a;var System {getHttpRequest: function(url, callback, o…

离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台&#xff0c;实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架&#xf…

MaxCompute Hash Clustering介绍

背景 在MaxCompute查询中&#xff0c;Join是很常见的场景。例如以下Query&#xff0c;就是一个简单的Inner Join把t1表和t2表通过id连接起来&#xff1a; SELECT t1.a, t2.b FROM t1 JOIN t2 ON t1.id t2.id; Join在MaxCompute内部主要有三种实现方法&#xff1a; Broadca…