数据冗余策略
RS(Reed Solomon Coding)纠删码
在存储系统中,需要采用数据冗余技术来保证数据的可靠性,相比使用多副本复制机外,使用纠删码能够以更小的数据冗余度获得更高的数据可靠性。
RS纠删码将原文件分成n个数据块,同时为这n个数据块生成m个校验块,而能够容忍最多丢失这(N+M)个块中的任意m个数据或者校验块。
但是重点是RS纠删码完成的是保证数据不丢失,但无法保证数据被篡改!这个就引出来一些分布式算法(Raft),暂时是这样理解的。如果有问题后期再更改
数据冗余是指在存储和传输过程中,出了实际需要的数据,还存在额外的数据进行校验。(额外的数据可以是一个备份,也可以是校验完毕的数据)
ECC(Error Checking and Correcting)
ECC内存,即应用了能够实现错误检查和纠正技术(ECC)的内存条。一般多应用在服务器及图形工作站上,这将使整个电脑系统在工作时更趋于安全稳定。ECC是“Error Checking and Correcting”的简写,中文名称是“错误检查和纠正”。
ECC本身并不是一种内存型号,也不是一种内存专用技术,它是一种广泛应用于各种领域的计算机指令中,是一种指令纠错技术。它的英文全称是“Error Checking and Correcting”,对应的中文名称就叫做“错误检查和纠正”,从这个名称我们就可以看出它的主要功能就是“发现并纠正错误”,它比奇偶校正技术更先进的方面主要在于它不仅能发现错误,而且能纠正这些错误,这些错误纠正之后计算机才能正确执行下面的任务,确保服务器的正常运行。
RAID 1
RAID 1通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互 为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。
拓展阅读
分布式系统的一致性
由于异常的存在,分布式存储系统设计时往往会将数据冗余存储多份,每一份称为一个副本(replica/copy)。这样,当某一个节点出现故障时,可以从其他副本上读到数据。可以这么认为,副本是分布式存储系统容错技术的唯一手段。由于多个副本的存在,如何保证副本之间的一致性是整个分布式系统的理论核心。
分布式存储系统多个副本之间的数据一致性,有强一致性,弱一致性,最终一致性,因果一致性,顺序一致性。