“云”上存储初显规模 如何架构是关键

在安防系统中,存储设备只是给数据提供存储空间,数据存储的意义更多是为了给上层应用提供二次挖掘。目前的智能分析、大数据、图帧等技术都是基于数据存储做的数据挖掘。为了将二次挖掘应用的性能提升到最高,在优化分析算法的同时,在底层存储中将相应参数进行调整,适应高速的并发读写应用。例如现在的大数据就是基于云存储实现。将过车的图片和文本数据存储在云存储中,海量云存储系统在底层文件中参数进行修正,通过大数据服务器将信息进行读取、分析,实现百亿数据秒级检索。 

云上存储初显规模 如何架构是关键

那么我们又当如何去构建私有化的存储云呢?首先让我们后退一步,回顾云计算的本质所在。云计算的标准定义中囊括了以下特点:弹性增长且减少资源消耗;作为一项服务进行交付,并且服务应当由抽象的术语,而非实际的物理硬件来定义;多租户性质,支持多客户端并发;对资源请求按需分配,无须人工干预;提供报告和计费功能,可以统计一段时间内资源使用的详细报告。

私有云同样能够具备相同的功能。企业内的业务单位,换句话说私有云中的客户,亦应当能够直接请求使用资源而不用去想这些资源的交付形式。传统里存在许多年的服务目录需要有所改变,从专注于物理技术(例如磁盘速度或磁盘/闪存类型)转向注重服务参数,也就是说使用像I/O密度(单位TB存储的IOPS)、延迟、吞吐量、数据可用性与弹性这些术语。

多租户更偏向于安全性与性能之间的隔离。安全性需要能确保私有存储云中各用户的数据彼此间不可见,而诸如服务质量(QoS)等性能特性则使得不管当前系统的负载如何,每位用户都能得到预期的服务水平等级。按需访问让用户的资源请求不需要IT人员,尤其是存储管理员过多的干预。报告功能应当可以更精细地处理、衡量存储利用率,包括统计各团队与业务部门分别使用多少容量。

实现弹性

弹性是我们在私有云中要实现的首个目标,它有两层含义:其一是用户需求的扩展和按需计算的能力;其二是让系统管理员有能力随着需求扩展,部署更多的基础架构资源。虽然有些人认为只要最终用户随时释放出空余的存储空间,新部署的硬件不怎么会被用到,但这种情况事实上很少发生。

这其中的难点在于如何将新的硬件资源部署到数据中心内,并在技术更新交替的周期内加以适合的管理,以避免其影响应用程序的可用性。对大多数IT部门而言,实现硬件的即时部署颇具科学性,甚至说是艺术性——他们很难像Amazon和Microsoft那样拥有大量的资金与人力。必须精准预测在何时需要进行硬件采购,才能实现无限的资源扩展。

需求预测需要与业务部门相吻合,从而规划出未来可能出现的项目,预估存储需求——这便是其中艺术性之所在。如果IT部门能够深入了解未来可能的存储资源需求,在规划时便能更加游刃有余,尤其是对于对象存储或高性能存储这类非核心产品。

其科学性源自在存储的增长过程中需要收集、整理到足够的信息。自动精简配置已经应用在许多IT环境中,这意味着随着数据的不断写入,物理存储容量会相对的得到增长,并且因为规划的存储消耗很少会被立刻消耗殆尽(例如1TB的数据请求可能在最开始只占用50GB,并在未来三年内稳定增长),文件系统与对象存储的存储利用率会随着应用程序不断的数据写入而得到提升。这便需要有精准而细致的工具来衡量并优化每天的存储消耗,同时使用这些信息,做出更有意义的存储增长预测。

此外,确定何时应当部署新的硬件需要能清楚认识并管理好供应商的交货期、硬件部署和配置的时间。如果在企业内部,那么IT部门自然需要考虑这些问题,而假如你选择购买公有云存储时,就可以将这些难题丢给云服务供应商(CSP)了。

平台的选择

拥有适合的存储平台是高效部署新硬件的关键所在。横向扩展相对于纵向扩展技术使得新的资源相对简易部署,你只需要向现有的配置添加硬件资源以扩充容量。

当前大多数横向扩展的对象和数据块会在一定程度上自动执行性能与数据块的重新平衡,从而利用新的容量,并最大化发挥性能。考虑到纵向扩展体系架构中可扩展性的限制,烟囱式架构往往难以管理,因此在陈旧的传统存储系统上也不太可能通过负载均衡来利用新的物理容量。换句话说,传统架构必须要有更仔细的设计,以便在物理硬件层面实现逻辑资源的均衡分布。通常这些平台都会配备用于各存储平台内迁移LUN的工具,从而在一定程度上减缓均衡性方面的问题。

多租户与QoS正在成为选择私有存储云的存储平台时的关键考量功能。如果仔细查看云服务供应商提供的服务指标,我们会注意到性能指标是依据IOPS和吞吐量衡量的,有些还会提及到I/O延迟。不论云服务供应商是否处于满负荷运作,其提供的服务级别都应遵照这些指标,这与传统存储不同。因此QoS可以说是一项非常重要的指标,无论视其为一种保障最终用户得到其期待性能的工具,或是作为一种限制。

应用程序接口(API)方面的要求

近年来,存储设备管理领域有所细微的演变。传统方式中,你会使用GUI和一些命令行界面(CLI)来手动管理存储,点击“提交”来进行变更。CLI使得存储管理员能够对配置和启停过程进行脚本化,从而在一定程度上实现了自动化。不过创建脚本确实是一项耗时的过程。多年以来,供应商一直致力于实现存储可编程API,通过授权的API调用来设定配置。配置数据也更容易提取,一些存储平台还能生成十分详尽的参数。

API同时还实现了更高程度的自动化,使得管理员从存储配置流程中脱离开。现在存储可以直接通过1个或2个API调用映射到主机。一些平台在内部实现了API,另一些则根据现有的API工具构建相应的封装。这其中的关键在于确保API、CLI与GUI协同运作,而不能互为干扰。

至关重要的工作流

私有云存储交付中的最后一项难题在于工作流程的具体执行。用户请求必须经过验证、部署,并最终完成服务。公有云可以通过用户的信用卡或其它计费手段完成验证环节。然后通过Web门户或API配置服务。在企业内部,传统请求存储资源往往依靠手动管理的内部流程,根据服务申请中的详细信息为主机配置存储。申请的审批者有责任确保该业务部门被允许“订购”相应的存储资源,并需要负责履行服务。

私有云的目的是使得这个流程尽可能自动化。譬如EMC的VIPR等工具可以帮助你构建存储自动化的工作流程。Hitachi数据系统公司提供的HitachiAutomationDirector亦能够搭建存储与其它资源配置的工作流程。

许多组织正在考虑在私有存储云内引入计费机制。如果不考虑结算或退款,那么问题会简单很多,因为IT部门将继续承担提供服务的相应成本——并可以根据项目分摊费用。但假如要对新的资源申请进行收费,那么便不可避免要在财务方面有所改变,例如IT部门直接支付硬件费用,然后通过向服务部门收取服务费来弥补。

堆栈式部署

比单纯的存储更进一步,你可以在私有云的框架中实现存储自动化,例如OpenStack,从而大幅减少配置工作。最初的OpenStack部署没有永久性的存储功能,因此出现了一些实例化项目用以管理集成外部存储阵列。最终的Cinder项目能够处理数据块存储,并自动将LUN映射到OpenStack实例,而Manila则提供了文件系统数据的集成,并由Swift为对象存储提供API。

同时,存储供应商可以编写插件,使得OpenStack框架根据按需配置并映射存储LUN。许多软硬件公司都已经支持所有的OpenStack存储API。Cinder支持列表上详细列出了OpenStack平台每个版本中支持的供应商功能。

集成公有云

展望未来,世界并不只是由公有或私有化技术组成,还有许多两者的混合体。因此势必会有在私有和公有基础架构之间迁移数据和应用的需要,并由后者提供额外的数据保护(备份)并增加可用性。你还可以通过公有云存储来进行突发的负载峰值以及归档操作。

你已经可以在市场上找到用于在内部和公有云之间迁移应用和数据的产品。诸如Cloudian(HyperStore)和HitachiDataSystem(HitachiContentPlatform)等对象存储供应商提供了将内部数据归档到云端的能力,同时最大程度支持跨平台的检索,就如同在单一视图中操作一样。

在数据保护方面,Druva和Zerto都有产品让你从公有云中备份和恢复本地虚拟机(VM)。VM镜像的转化与驱动程序都可交由软件处理,作为迁移备份过程中的一部分。

Velostrata则进一步允许在公有云中启动虚拟机。这项功能可以让虚拟机应用拥有比本地更大的资源,或在应用负载增长时将其迁移到公有云端。一旦负载峰值过去,便可将虚拟机迁移回本地。

同时,虚拟化技术供应商也开始与云服务供应商合作,以便将应用程序迁移到公有云。例如VMware最近在AmazonWebServices上宣布了VMwareCloud,并与IBM建立了合作伙伴关系。VMware还引入了跨云平台的体系架构,可以管理多个云端部署的环境。MicrosoftAzureStack(在本篇的写作过程中)令Azure的功能可以运行在私有化的数据中心内,并与公共的Azure端链接。

今天,在私有云与公有云端的部署截然不同,这主要反映在自动化程度方面,以充分利用私有云存储。作为最关键的一部分,工作流程或许还不成熟,需要在私有云端进一步加以完善。

另有一部分的挑战在于改变内部业务团队的工作模式。借助公有云的带动,内部资源的交付模式亦应当做出改变。

APIs

应用程序的编程接口改变了企业存储的管理方式。将来APPI将推动自动化并在存储配置中减少绝大多数的人工干预,使得私有云存储对更广泛的企业更加实用。

更广泛的堆栈

云存储,无论是内部还是公共的,构成了更广泛的基础架构的组成部分。这意味着与OpenStack或vCloudDirector之类的平台整合。

按量支付

你会使用信用卡或后付费方式来购买公有云资源。在工作流中这种变化意味着许多企业组织将在部署内部云存储时考虑实施计费结算机制。

虚拟化

在运行服务器虚拟化的平台中,存储很少会映射到屋里主机。创建虚拟机实例存储的工作大多由Hypervisor管理软件处理。VMware通过vRealizeAutomation和vCloudDirector实现自动化,而Microsoft则提供了SystemCenter2016。


原文发布时间为: 2017年4月21日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/540825.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【干货】分享总结:MySQL数据一致性

0、导读 沃趣科技数据库工程师罗小波为大家全面分析如何保证MySQL的数据一致性。 1、活动总结 罗小波老师从MySQL的崩溃数据恢复安全性、MySQL复制原理及异步&semi sync复制原理、MySQL主从服务器如何保证数据一致性等多方面分析如何保证MySQL的数据一致性。 分享内容满满的…

设置html按钮点击事件无效果,css怎么设置按钮不能点击?

css怎么设置按钮不能点击?下面本篇文章就来给大家介绍一下使用CSS设置按钮不能点击的方法。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。想要按钮不能点击可以通过设置按钮点击事件失效来实现;而在CSS中&…

计算机图形学与几何造型导论_计算机图形学导论

计算机图形学与几何造型导论历史 (History) The main forerunner sciences to the development of modern computer graphics were the advances in electrical engineering, electronics, and television that took place during the first half of the twentieth century whe…

android 继承listview,Android listView 继承ListActivity的用法

Android listView 继承ListActivity的用法 在手机中经常有列表方式。如果Activity中只有唯⼀⼀个List(这也是通常的情况),可以继承ListActivity来实现。我们用两个例子来学习List。List例子⼀:利用Android自带的List格式步骤⼀:Android XML文…

html页面授权码,spring boot 2.0 整合 oauth2 authorization code授权码模式

oauth2 authorization code 大致流程用户打开客户端后,客户端要求用户给予授权。用户同意给予客户端授权。客户端使用授权得到的code,向认证服务器申请token令牌。认证服务器对客户端进行认证以后,确认无误,同意发放令牌。客户端请…

Net设计模式实例之代理模式(Proxy Pattern)

一、代理模式简介(Brief Introduction) 代理模式(Proxy Pattern)对其他对象提供一种代理以控制对这个对象的访问。 二、解决的问题(What To Solve) 1、远程代理 远程代理,也就是为了一个对象…

jsonp请求html页面,JavaScript中的JSON和JSONP

简单地使用json并不能支持跨域资源请求,为了解决这个问题,需要采用jsonp数据交互协议。众所周知,js文件的调用不受跨域与否的限制,因此如果想通过纯web端跨域访问数据,只能在远程服务器上设法将json数据封装进js格式的…

html导航栏点击不能跳转,无法单击导航栏中的链接CSS HTML

不确定是否允许您链接您的网站,但是如果允许。 因此,我可以将所有链接悬停在导航栏中,但我无法点击它们,并且S的图片是可移动的,但无法点击,我做错了什么?无法单击导航栏中的链接CSS HTMLNickeb…

JAVA 取得当前目录的路径/Servlet/class/文件路径/web路径/url地址

2019独角兽企业重金招聘Python工程师标准>>> 在写Java程序时不可避免要获取文件的路径...总结一下,遗漏的随时补上 1.可以在servlet的init方法里 String path getServletContext().getRealPath("/"); 这将获取web项目的全路径 例如 :E:\eclipseM9\worksp…

关于细分到字段的权限系统_操作系统中的细分

关于细分到字段的权限系统为什么需要细分? (Why Segmentation is required?) In the Operating System, an important drawback of memory management is the separation of the users view of memory and the actual physical memory. Paging is the scheme which…

mba学什么书_MBA的完整形式是什么?

mba学什么书MBA:工商管理硕士 (MBA: Master of Business Administration) MBA is an abbreviation of a Master of Business Administration. It is a masters degree for post-graduation in business administration. This business masters degree program is a …

bca ac如何联合索引_BCA的完整形式是什么?

bca ac如何联合索引BCA:计算机应用学士学位 (BCA: Bachelor of Computer Applications) BCA is an abbreviation of Bachelor of Computer Applications. It is a three-year undergraduate program in Computer applications. It is considered equivalent to B.Te…

嘿,程序员,你该学点经济学了!

前言: 笔者一直认为,一个好的程序员,不仅仅是代码敲得好,其它方面的知识和能力相同非常重要。特别是随着年龄的增长。非常多人也慢慢的往管理层发展。这个时候沟通与协调能力变得更加重要,而一些策划,推广方…

Linux相关图解随记

01.dns解析过程02.用户访问网站流程03.局域网电脑上网流程04.网站架构图解转载于:https://blog.51cto.com/qinbin/1954149

量子物理 詹班 计算机,(电气系计算机系詹班)量子物理作业答案

西南交大峨眉校区大学物理西南交大峨眉校区《大学物理》(量子物理基础)作业6(电气、计算机、詹班)一 选择题1. 以一定频率的单色光照射在某种金属上,测出其光电流曲线在图中用实线表示,然后保持光的频率不变,增大照射光的强度,测出…

MySQL5.6 新特性之GTID【转】

转自 MySQL5.6 新特性之GTID - jyzhou - 博客园http://www.cnblogs.com/zhoujinyi/p/4717951.html 背景: MySQL5.6在5.5的基础上增加了一些改进,本文章先对其中一个一个比较大的改进"GTID"进行说明。 概念: GTID即全局事务ID&#…

计算机高级工程师职称评定条件,高级工程师职称评定条件是什么

高级工程师职称评定条件是什么,高级工程师职称有什么作用,以下是小编整理的高级工程师职称评定条件相关内容,供您参考。高级工程师评定条件1、本科毕业及以上,获得工程师资格5年以上,可以申报高级工程师。2、博士毕业&…

linux中echo的使用方法

1.echo命令我们经常使用的选项有两个,一个是-n,表示输出之后不换行。另外一个是-e,表示对于转义字符按对应的方式处理,假设不加-e那么对于转义字符会按普通字符处理。 2.echo输出时的转义字符 \b 表示删除前面的空格 \n 表示换行 …

如何让计算机两个用户使用不同步,如何实现两台或多台电脑远程修改文件同步更新?...

说起文件同步工具,现在网上这样的程序很多,微软也为用户提供了一款免费的远程同步软件——Windows Live Sync。该程序提供的文件同步功能允许用户在两台或更多电脑上对指定的文件夹中的文件进行同步更新。小知识:文件的同步更新,就…

本地事物的简介

2019独角兽企业重金招聘Python工程师标准>>> 此章带大家回顾下本地事物的一些内容。标题 2 事物: 有一组操作构成的可靠,独立的工作单元----百度百科 事物的四大特性: A:原子性(Atomicity)事务是数据库的逻辑工作单位,事务中包括的诸操作要么全做&#x…