SHA-1算法详解和C++实现
背景介绍
SHA-1算法也称安全散列算法1,可以将一个最大264−12^{64}-1264−1的数据生成一个160位的数据摘要。尽管SHA-1算法已经被认为不再安全,但仍有部分应用使用SHA-1算法验证文件。
算法原理
类型定义
在介绍算法原理之前,有必要定义一些数据类型,有助于我们脱离具体编程语言分析这个算法。我这里使用C++的定义方式,不会C++也没有问题,我会解释代码的意义。
typedef __UINT8_TYPE__ BYTE;
typedef __UINT32_TYPE__ WORD;
typedef __UINT64_TYPE__ DWORD;
上面定义了三个数据类型,分别是:
BYTE
,字节,由8位二进制数组成,表示范围(0x0 - 0xFF)。WORD
,字,由32位二进制数组成,表示范围(0x0 - 0xFFFFFFFF)。DWORD
,双字,两个字组成,表示范围(0x0 - 0xFFFFFFFFFFFFFFFF)
算法剖析
(以下算法分析均建立在大端存储的基础之上,关于大端存储与小端存储对算法的影响,请见C++实现部分关于大端存储与小端存储的具体实现。)
**输入:**不定长度的字节序列(最大为264−12^{64}-1264−1位)。
**输出:**160位数据摘要。
输入不必多说,这里说一下输出。SHA-1算法最终产生160位数据摘要,这实际上由5个变量存储,每个变量存储32位信息,也就是说,这160为数据摘要存储在5个WORD
中(5×32=1605\times 32=1605×32=160),这五个变量被定义为:A,B,C,D,E。他们都有初始值,分别为:
WORD A = 0x67452301;
WORD B = 0xEFCDAB89;
WORD C = 0x98BADCFE;
WORD D = 0x10325476;
WORD E = 0xC3D2E1F0;
SHA-1算法的过程就是利用输入的字节序列,不断更新这五个变量,最后将这五个变量按字节拼接,就得到160位的数据摘要。具体过程如下:
1. 数据预处理
SHA-1算法的基本运算单位是一个块(block),一个块的大小为512位,即64字节。输入的数据位数按512被不断分块。如果数据不能被512整除,也就是说最后一部分数据不能填满一块怎么办呢?实际上即便最后一部分填满512位,我们依旧要进行更进一步处理,除非最后一部分刚好等于448位,也就是56个字节。因为我们需要最后一块的最后64个字节填入整个数据的位数长度。所以我们输入的数据有以下两种情况:
- 数据位数长度对512取余刚好等于448。
- 数据位数长度对512取余不等于448。
对情况1:我们只需要在最后64位中填入输入数据的位数长度即可。
对情况2:这里相对情况1更为复杂,需要进行补位。
什么是补位呢?我们需要在数据最后补上一个1,然后全部补0直到数据长度对512取余等于448。例如我们数据为:10011010
,长度为8位,补位后为:10011010 1000...0
,中间空格为了区分补位数据。补位完成后,最后填入的数据长度依旧是8,补位数据不计入数据长度。
2. 生成子组
由于SHA-1算法的基本运算单位是一个块,所以我们只需对上面分完的这么多个块中讨论一个即可。
对于给定的一个块,512位,我们需要再分成16个子组,每个子组32位。也就是一个WORD
,记为w0,w1,...,w15w_0, w_1, ..., w_{15}w0,w1,...,w15,我们需要这16个子组,再生成64个子组,记为w16,w17,...,w79w_{16},w_{17},...,w_{79}w16,w17,...,w79。生成算法如下:
wi=wi−3⊕wi−8⊕wi−14⊕wi−16w_{i} = w_{i-3}\oplus w_{i-8}\oplus w_{i-14}\oplus w_{i-16} wi=wi−3⊕wi−8⊕wi−14⊕wi−16
其中i∈{16,...,79}i \in \{16, ..., 79\}i∈{16,...,79},⊕\oplus⊕表示异或,在C++中对应运算符为^
。
3. 80次核心循环
在循环开始之前,我们需要得到一组A,B,C,D,E五个变量的拷贝,记为a,b,c,d,e。
WORD a = A, b = B, c = C, d = D, e = E;
接下来我们需要执行一个80次的循环,每次循环都利用到a,b,c,d,e,以及一个子组。
第1个20次循环(0 < i < 19):
WORD temp = (b & c) | ((~b) & d) + 0x5A827999;
WORD temp2 = a << 5 | a >> 27;
e = d;
d = c;
c = b << 30 | b >> 2;
b = a;
a = temp + temp2 + e + w[i];
第2个20次循环(20 < i < 39):
WORD temp = (b ^ c ^ d) + 0x6ED9EBA1;
WORD temp2 = a << 5 | a >> 27;
e = d;
d = c;
c = b << 30 | b >> 2;
b = a;
a = temp + temp2 + e + w[i];
第3个20次循环(40 < i < 59):
WORD temp = (b & c) | (b & d) | (c & d) + 0x8F1BBCDC;
WORD temp2 = a << 5 | a >> 27;
e = d;
d = c;
c = b << 30 | b >> 2;
b = a;
a = temp + temp2 + e + w[i];
第4个20次循环(60 < i < 79):
WORD temp = (b ^ c ^ d) + 0xCA62C1D6;
WORD temp2 = a << 5 | a >> 27;
e = d;
d = c;
c = b << 30 | b >> 2;
b = a;
a = temp + temp2 + e + w[i];
执行完之后,这一块的运算已经完成,只需要更新A,B,C,D,E的值即可。
A += a;
B += b;
C += c;
D += d;
E += e;
之后即可进行下一块运算。
C++实现
大小端问题
值得注意的是,SHA-1算法建立在大端存储的基础上,包括填入数据长度时,最后64个字节也是按照大端存储来分配的。但是如果机器时小端存储,这边就会出问题,问题出现的地方在:循环位移运算、加法运算。所以如果是小端存储的机器,必须保证在实际内存上数据的排列按SHA-1算法要求,那么我们必须在取出数据和存入数据时反转数据。
大文件分批次读取计算的问题
关于大文件无法一次性读入内存时,SHA-1算法支持分批次读入,这是由于SHA-1算法计算基础单位是一个块决定的,所以读入大文件时,需要一个变量记住不断累计的文件长度,并且读入数据满一个块时立即计算并清空块缓冲区,等待下一组数据读入。
具体实现
关于C++的具体实现部分我已经在Github上开源,项目名称为justsha1,欢迎各位点个star。