事件回顾:
创业公司“前沿数控”8月5日发文称,公司存放在腾讯云上的精准注册用户以及内容数据全部丢失,并且不能恢复,造成公司平台全部停运的状态。前沿数控表示,公司丢失的数据近千万元级,对此索赔1000余万元。腾讯云对此回应称,该事故是因受所在物理硬盘固件版本bug导致的静默错误(写入数据和读取出来的不一致)影响,文件系统元数据损坏,仅能赔偿13万余元现金或云资源的额外补偿。截至昨晚,双方未能就赔偿方案达成一致。
看了双方的申明,没看到太多的技术细节,前沿数控只是控诉厂商没有做到承诺,腾讯云只是简单说了下磁盘静默错误故障以及赔偿的分歧,希望后面双方能复盘一下详细过程,对业界也是有益的事情。我自己从已经透漏出的信息简单推测一下,如果有推测的不对的地方还请指正。
首先从腾讯云给出的信息看,数据是在『操作系统云盘』上。先看看腾讯云主机的创建界面:
用户需要定义系统盘以及数据盘。系统盘用来展开操作系统镜像以及存储系统临时文件和日志之类的。数据盘是挂载后用来存数据的。个人推断前沿数控应该是直接申请了一个大的系统盘,然后把数据都存在了上面,并没有使用独立的数据盘。这个推断通过前沿数控平台的处理流程也可以印证,因为如果数据存在了数据盘上,主机出了问题,首先的恢复方式应该是重新创建一个主机,然后把数据盘挂载过来,而不是一直等待修复主机系统。
但这里的『操作系统云盘』如何理解呢?系统进程依赖操作系统盘,对网络延迟比较敏感,一般不会远程加载,同时如果用户正确使用,系统盘上的数据也不太重要(临时文件,日志之类的),做同步多写复制也没必要。所以个人推断这里的操作系统云盘和数据云盘实际上是两种东西,操作系统云盘并没有做到数据云盘那样的多副本机制,或者副本机制不一样。个人认为这也是为什么腾讯云在声明中只字未提副本的原因,因为名字都叫云硬盘,现在说实现方式不一样,给用户说不清楚。
但同时,这里的『操作系统云盘』也不应该仅仅是本地盘。因为腾讯云对一些高 IO 的主机提供专门的本地盘,如下图所示。
如果仅仅是本地盘,非搞出来两个概念就比较奇怪了。本人不清楚腾讯云的实现方式,无法解答上面的疑问,更详细的说明得等腾讯云官方给出解释了。
所以整个事情的技术分析大致是这个样子的:该用户创建了一台主机,直接挂了一块大系统盘,把数据都写里面了。云主机物理磁盘损坏,系统无法启动,只能反复和云厂商沟通等待恢复。云厂商的系统盘没有副本或者副本机制不一样,最后数据恢复失败,就是现在这个结果了。
再谈谈赔偿的事情
双方对赔偿的数额分歧较大。下图是截取的腾讯云官方的 CBS SLA 协议:
https://cloud.tencent.com/document/product/301/9515
按照上面的协议,腾讯云顶多把云硬盘的总使用费退换给用户,在腾讯云看来,这次做出的赔偿已经是够『良心』的了。因为云厂商认为自己提供的服务类似于出租或者出售硬盘,你买(租)了个硬盘,然后拷了一些珍贵的数据进去,结果硬盘坏了,你找厂商赔偿,厂商也最多赔你个新的硬盘啊。
如果觉得云厂商的协议是霸王条款,不公平,那单从法理角度分析。很多人凭直觉认为是云厂商的故障导致了用户的数据丢失,就应该赔偿全部或者至少是大部分数据的价值。且不说数据的价值如何客观评估,即便是可以准确估值,法律也需要考虑社会经济成本,从而划分两方的责任比例:
1. 谁更明白数据的价值?对云厂商来说,不同用户,不同业务的数据之间没太大区别,能观测到的指标也仅仅是数据大小。用户自己更清楚自己的哪部分数据重要。
2. 谁保护数据的成本更低?云厂商因为无法评估数据的价值,所以也无法给某些数据以特殊的注意力。而用户清楚自己的数据的价值,只需付出很低的成本,比如定时做快照,就可以避免这种情况。
整体而言,掌握更多信息的,付出成本更低的角色应该承担更大的责任。所以云服务以及快递这样的服务行业,赔偿都是按照服务价格的倍数进行赔偿,云厂商一般承诺 100 倍的故障时间赔偿,快递一般是 2~5 倍的运费。但快递有个特例,就是可以『保价』,因为有了『保价』信息,快递公司可以对保价高的货物付出特殊注意力,同时保价费也相当于一种保险。云厂商其实也考虑过引入保险,但很多用户不愿意在服务器资源上做投入,厂商之间还在打价格战。快递的保价费用一般是千分之五,如果云服务也按这个比例,千万元价值的数据,保价费几万元,如果愿意花这份钱到备份机制上,或者请个技术顾问,也不至于现在这个结果。
至于腾讯云方面是否有涉及虚假宣传,这个需要腾讯云方面解释了。但即便是有惩罚性赔偿,也只是和服务价格的倍数相关,和数据本身的价值没关系。
通过这个事情给所有的云用户一些建议:
1. 系统尽量是无状态的,数据和系统要分开。多装了几次电脑的人都能明白把系统和数据弄不同的盘上。对云上的虚拟机,最好能做到像 Docker 那样,系统可以随时还原而不影响应用。
2. 尽量不要自己管理机器,能用云厂商提供的数据库的,就别自己安装数据库。能用对象存储这种 PaaS 服务的,就别用主机硬盘。
3. 涉及公司生死攸关的数据,本地或者跨云备份。创业公司数据不多,实际上成本也不高。
同时也给云厂商一个建议:
出了故障,进行公开的技术复盘不丢人,也是消灭误解的最好方式。这方面可以多向国外同行学习。
本人是个云计算的前从业者,但和腾讯云没有任何关系,不存在『洗地』的动机,只是从技术角度进行分析,希望总结出一些教训,给业界借鉴。
相关链接:
腾讯云给一家创业公司带来的灾难(前沿数控) https://weibo.com/ttarticle/p/show?id=2309404269756587862904
腾讯云的声明 https://weibo.com/5174457807/GtlI3ngjc
静默错误:为什么看了那么多灾难,还是过不好备份这一关? https://mp.weixin.qq.com/s/ra8TP9kfsPPbY8A3Ayopjg 盖国强关于静默错误的技术分析
免责声明:文章为转载,版权归原作者所有。如涉及作品版权问题,请与我们联系,我们将删除内容或协商版权问题。