1 Cache名词解释
- 命中（hit）： CPU要访问的数据在Cache中有缓存
- 缺失（miss）： CPU要访问的数据在Cache中没有缓存
- Cache Size：Cache的大小，代表Cache可以缓存最大数据的大小
- Cache Line：Cache会被平均分成很多相等的块，每一个块大小称之为Cache Line Size；Cache Line是Cache和主存之间数据传输的最小单位。当CPU试图load一个字节数据的时候，如果Cache缺失，那么Cache控制器会从主存中一次性的load一个Cache Line大小的数据到Cache中。例如，Cache Line大小是8字节。CPU即使读取一个Byte，在Cache 出现miss后，Cache会从主存中load 8字节填充整个Cache Line。
Cache Size 为 64 Bytes的Cache举两个例子：
- 将64 Bytes平均分成64块，那么Cache Line就是1字节，总共64行Cache Line
- 将64 Bytes平均分成8块，那么Cache Line就是8字节，总共8行Cache Line
现在的硬件设计中，一般Cache Line的大小是4-128 Byts。会有如下两个问题：
- Cache如何判断是否命中
- 这个值为什么不是更低，低至1字节，这样就可以更加灵活的映射，从而没有刷新整个cache line的开销
- 这个值为什么不是更高或者更低
- 为什么一次要读取整个Cache Line
将在后文中进行解释说明。
2 多级Cache之间的配合工作
当CPU试图从某地址load数据时，下图为只有两级Cache的系统举例：
- 从L1 Cache中查询是否命中，如果命中则把数据返回给CPU（蓝色实线）
- L1 Cache缺失，则继续从L2 Cache中查找。当L2 Cache命中时，数据会返回给L1 Cache以及CPU（绿色实线&绿色虚线）
- L2 Cache也缺失，需要从主存中load数据，将数据返回给L2 Cache、L1 Cache及CPU（红色实线&红色虚线）
这种多级Cache的工作方式称之为inclusive Cache。某一地址的数据可能存在多级缓存中。与Inclusive Cache对应的是Exclusive Cache，这种Cache保证某一地址的数据缓存只会存在于多级Cache其中一级。也就是说，任意地址的数据不可能同时在L1和L2 Cache中缓存。
3 直接映射缓存（Direct Mapped Cache）
3.1 举例1
以一个Cache Size 为 128 Bytes 并且Cache Line是 16 Bytes的Cache为例。首先把这个Cache想象成一个数组，数组总共8个元素，每个元素大小是 16 Bytes，如下图：
现在考虑一个问题，CPU从0x0654地址读取一个字节，由于Cache大小相对于主存来说，是非常小的。所以Cache只能缓存主存中极小一部分数据。如何根据地址在有限大小的Cache中查找数据呢？现在硬件采取的做法是对地址进行散列（可以理解成地址取模操作）。
3.2 命中与缺失
经过如下计算：
- 假设地址总线是16位，目标地址为0x0654，转换为二进制为
0000,0110,0101,0100 - Offset：由于每个Cache Line中有16 Byte，所以地址最低4位，即为每一个Cache Line中的偏移Offset，标记在这个Cache Line中的具体位置是哪个字节，举例中为
0100，即为图中地址段的蓝色背景部分 - Index：由于一共有8个Cache Line，所以地址除去最低4位的后3位，即为不同Cache Line的索引Index，标记具体在整个Cache 中的那一个Cache Line，举例中为
101，即为图中地址段的绿色背景部分
如果两个不同的地址，其地址的Index部分完全一样，这两个地址经过硬件散列之后都会找到同一个Cache Line。所以，根据地址确定到Cache Line之后，只代表所需要访问的目标地址中存储的对应数据可能存在这个Cache Line中，但是该Cache Line也有可能存储其他地址对应的数据。
所以，独立于Data Array，又引入Tag Array区域，Tag Array和Data Array中的每一个Cache Line都有着一一对应关系。每一个Cache Line都对应唯一一个tag，tag中保存的是整个地址位宽去除index和offset使用的bit剩余部分（如上图地址粉色背景部分）。tag、index和offset三者组合就可以唯一确定一个地址了。
因此，根据地址中index位找到Cache Line后，取出当前Cache Line对应的tag，然后和目标地址的tag进行比较，如果相等，这说明Cache命中。如果不相等，说明当前Cache Line存储的是其他地址的数据，这就是Cache缺失。
在上述图中，我们看到tag的值是0,0000,1100，和地址中的tag部分相等，因此在本次访问会命中。
我们可以从图中看到tag旁边还有一个valid bit，这个bit用来表示Cache Line中数据是否有效（例如：1代表有效；0代表无效）。当系统刚启动时，Cache中的数据都应该是无效的，因为还没有缓存任何数据。Cache控制器可以根据valid bit确认当前Cache Line数据是否有效。所以，上述比较tag确认Cache Line是否命中之前还会检查valid bit是否有效。只有在有效的情况下，比较tag才有意义。如果无效，直接判定Cache缺失。
此时回答，前文提出的第二个问题：这个值为什么不是更低，低至1字节，这样就可以更加灵活的映射，从而避免了因为部分所需要的数据而刷新整个Cache Line的开销
由于tag的引入。这样会导致硬件成本的上升，将两种情况进行对比：
- 原本Cache Line 设置为16 Byte：每16 Byte对应一个tag，需要8个tag
- 假设Cache Line设置为1 Byte：需要128个Tag同时每一个Tag的长度也会更长，因为Offest缩短了
因此可以发现这样做占用了很多内存。需要注意：tag也是Cache的一部分，但是谈到Cache size的时候并不考虑tag占用的内存部分。
上面的例子中，总结如下：Cache Size是128 Byte并且Cache Line size是16 Byte，共计8个Cache Line。
- offset：4bit
- index：3bit
- tag：9bits（假设地址宽度是16 bit）
3.3 直接映射缓存的优缺点
- 优点1：直接映射缓存在硬件设计上会更加简单
- 优点2：因为优点1，所以成本上也会较低
根据直接映射缓存的工作方式，可以计算出不同主存地址段和对应的Cache
| 地址段 | Cahce Line Index |
|---|---|
| 0x0000-0x000F，0x0080-0x008F，… | 0 |
| 0x0010-0x001F，0x0090-0x009F，… | 1 |
| 0x0020-0x002F，0x00A0-0x00AF，… | 2 |
| 0x0030-0x003F，0x00B0-0x00BF，… | 3 |
| 0x0040-0x004F，0x00C0-0x00CF，… | 4 |
| 0x0050-0x005F，0x00D0-0x00DF，… | 5 |
| 0x0060-0x006F，0x00E0-0x00EF，… | 6 |
| 0x0070-0x007F，0x00F0-0x00FF，… | 7 |
可以看到，地址0x0000-0x007F地址（0x0000-0x000F~0x0070-0x007F）处对应的数据可以覆盖整个Cache。0x0080-0x00FF地址的数据也同样是覆盖整个Cache。
现在思考一个问题，如果一个程序试图依次访问地址0x0000、0x0080、0x0100，Cache中的数据会发生什么呢？首先应该明白0x0000、0x0080、0x0100地址中index部分是一样的。因此，这3个地址对应的Cache Line是同一个。所以，当访问0x0000地址时，Cache会缺失，然后数据会从主存中加载到Cache中第0行Cache Line。当我们访问0x0080地址时，依然索引到Cache中第0行Cache Line，由于此时Cache Line中存储的是地址0x0000地址对应的数据，所以此时依然会Cache缺失。然后从主存中加载0x0080地址数据到第一行Cache Line中。同理，继续访问0x0100地址，依然会Cache缺失。这就相当于每次访问数据都要从主存中读取，所以Cache的存在并没有对性能有什么提升。访问0x0080地址时，就会把0x00地址缓存的数据替换。这种现象叫做Cache颠簸（Cache thrashing）。针对这个问题，在后面的文章中引入多路组相连缓存优化规避这一问题。
