Linux 内核缓存一致性相关机制和接口梳理

From 程序员秘书

缓存一致性是一个非常关键的问题，特别是在多核处理器和直接内存访问（DMA）场景下。原因如下：

多核CPU与cache的缓存一致性问题：每个CPU core都有自己的cache，由于cache的写回机制，部分数据可能没有及时更新到内存，就会导致出现不同线程访问同一个变量时出现值不一致的情况。
DMA与cache的缓存一致性问题：DMA对内存的访问不需要经过CPU，因此如果DMA修改了内存上的数据，而CPU的cache中并不知道内存已经修改了，从而会导致出现缓存不一致的情况。

因此就需要有机制和接口来确保缓存的一致性。

写传播（Write Propagation）：当某个CPU core里的Cache数据更新时，必须传播到其他core的Cache，以确保数据的一致性。
事务的串行化（Transaction Serialization）：确保不同核心看到的其他core对于代码的执行顺序是一致的。通常通过引入“锁”来实现，只有获得锁的CPU core才能对数据进行更新。
实现uncached：针对特定硬件，特定场景不进行cached，可以理解为bypass cache，从而避免缓存一致性问题出现。

缓存一致性互联（如CCI-400）：在Linux+ARM 架构平台中，会通过如CCI-400等硬件提供互联和一致性功能，确保不同处理器和I/O设备之间的数据一致性。其通过缓存一致性协议MESI实现互联。MESI代表四种状态：Modified（修改）、Exclusive（独占）、Shared（共享）和Invalid（无效），该协议通过状态机机制降低了总线带宽压力。
DMA一致性映射：Linux内核提供了dma_alloc_coherent等函数来申请一片uncached的内存，这样DMA和CPU可以直接访问该内存区域，无需考虑数据一致性问题。
IO空间映射：对于寄存器地址空间，Linux内核可以通过ioremap等函数将其映射到内核空间，并配置为uncached，以确保CPU读取的是最新的寄存器值。
缓存刷新和失效：在Linux内核中，可以通过部分机制（如内存屏障、锁等）来间接确保缓存的一致性。另外，某些硬件平台可能也提供了缓存刷新和失效的指令或接口，在实际应用中，应该根据具体的硬件平台和需求选择合适的机制和接口来确保缓存的一致性。

From 程序员秘书

flush_dcache_page: 用于刷新指定页的高速缓存，确保CPU缓存与主存数据一致。通常用于直接内存访问(DMA)前的操作。
flush_cache_mm, flush_cache_range, flush_cache_vmap: 这些函数分别用于刷新整个内存描述符（mm_struct）关联的缓存、指定地址范围内的缓存以及虚拟映射区域的缓存。这些操作在特定的硬件交互和内存管理操作中非常有用。
如部分ARM架构平台，如果已经支持和提供了刷新缓存的指令，我们就可以通过内联汇编自己封装实现一个函数。内联汇编可参见之前文章《Linux+ARM内联汇编》

=========================

From 程序员秘书

附，其他一些缓存概念和机制

sync: 此系统调用会将所有修改过的缓冲区数据（包括文件系统元数据和脏页缓存）同步到磁盘上。它是一个同步操作，确保所有写操作已经完成，这对于确保数据持久性非常重要。在C程序中，可以通过调用 sync() 函数实现。
sync_file_range: 提供了更细粒度的控制，允许指定某个文件描述符和文件内的偏移范围进行同步。这对于大型文件的部分更新非常有用，可以减少不必要的I/O操作。使用时，需要包含 <linux/fs.h> 头文件，并调用 sync_file_range(fd, offset, nbytes, flags) 函数。

invalidate_inode_pages: 用于标记inode关联的页缓存无效，通常在删除文件或重命名操作前使用，确保后续读取时不会使用到已废弃的缓存数据。
writeback_invalidate_inode_pages: 强制inode关联的脏页回写到磁盘并从页缓存中移除，适用于需要立即释放文件占用资源的场景。