计算虚拟化2——内存虚拟化

物理机内存访问过程

虚拟地址VA和物理地址PA概念

MUU实现VA到PA所使用的映射表

内存虚拟化类型

内存软件辅助虚拟化

内存硬件辅助虚拟化

内存虚拟化-内存超分配

内存共享

内存置换

内存气泡

物理机内存访问过程

内存的基本知识

内存都是从物理地址0开始的，n结束

内存都是连续的

MMU（Memory Management Unit）内存管理单元，主要功能为将内存虚拟地址到物理地址的转换、内存保护、中央告诉缓存的控制等

虚拟地址VA和物理地址PA概念

为什么提出虚拟地址VA

我们知道一个服务器的物理内存是固定的，从0开始，到n结束；当有多个应用程序要使用内存时，每个应用程序都认为自己使用的内存地址是从0开始，到x结束（x≤n），此时某个进程的内存区就可能会被别的进程覆盖；为了解决此问题就提出了虚拟内存的概念，也就是虚拟内存地址VA的概念（应用程序通过此地址无法直接访问内存），通过MMU内存管理单元来把每个应用程序使用的VA虚拟地址转为具体的对应的物理内存地址PA

虚拟地址VA和物理地址PA的转换

虚拟地址VA由虚拟页面号VPN和虚拟地址偏移VA Offset组成；物理地址PA由物理页帧号PFN和物理地址偏移PA Offset组成（通常PA Offset等于VA Offset）

当虚拟地址VA转为物理地址时，需要将VPN转为PFN，然后在加上VA Offset（即 PA=PFN+VA Offset）

VA和PA地址转换的大致工作原理如下

实际上应用程序在往内存中读写数据时，需要先将请求发往CPU，再由CPU发往内存

所以应用程序将自己需要访问的虚拟内存地址VA发往CPU，CPU将VA虚拟地址发给MMU

由，MMU通过映射表将VA虚拟地址转为PA物理内存地址，然后交给内存完成内存的读写

MUU实现VA到PA所使用的映射表

MMU将VA转为PA的两种映射表：页表（慢表）、TLB传输后备缓冲器（快表）

页表（慢表）基本概念

MMU没有自己的存储空间，所以最开始映射表存储在内存中，名字叫页表

MMU如何知道页表在内存的具体地址呢？

通常CPU会提供一个页表基址寄存器给操作系统使用，用于给MMU指示页表的基地址（不同处理器架构对应的寄存器不一样，x86的寄存器为CR3、ARM-v8的寄存器为TTBR、RISC-V的寄存区为SATP）；寄存器存储了第一级页表的基地址，由于在实际使用中都是使用多级页表来存储虚拟地址和物理地址的映射关系，所以需要寄存器找到第一级页表的基地址，然后依次查找后续级别的页表知道找到VA对应的真正的物理内存地址

不同多级页表涉及的表项

二级页表

分为页全局目录PGD（page global directory）和页表入口PTE（page table entry）

其中PGD来存储下一级页表的基地址，PTE来存储真正的物理地址

共有PGD、PTE二级目录

三级页表

在PGD和PTE之间新加了页中间目录PMD（page middle directory）

共有PGD、PMD、PTE三级目录

四级页表

在PGD和PMD之间新增了页上级目录PUD（page upper directory）

共有PGD、PUD、PMD、PTE四级目录

常见系统使用多级页表的类型

未开启PAE物理地址扩展的32位系统只使用二级页表；开启PAE物理地址扩展的32位系统使用三级页表；64位系统使用四级页表或三级页表

具体使用多少级页表、虚拟地址、物理地址等的格式与是32位系统还是64位系统有关、也与处理器的架构有关；但是MMU管理的工作原理都是一致的，不管是二级页表、三级还是四级，都是通过第一级找到第二级，第二级找到第三级等，最终找到其它物理地址

使用三级页表的工作原理

由于使用三级页表来存放VA与PA之间的关系，此时VA地址也被分为4部分VPN1、VPN2、VPN3、VA Offset

应用程序将VA发给CPU，CPU将VA发给MMU，MMU访问页表基址寄存器，得到一级页表PGD的基地址，再结合虚拟地址中的VPN1（PGD index）找到下一级页表PMD的基地址；得到了PMD的基地址，再结合虚拟地址中的VPN2（PMD index）得到再下一级PTE的基地址，结合虚拟地址中的VPN3（PTE index）的到最终的PFN，然后通过PFN+VA offset得到真实的物理地址，然后MMU将VA转为PA，最后通过PA地址访问内存

CPU→MMU→寄存器→读取内存中的页表→MMU将VA转为PA→内存（整个流程访问了两次内存）

TLB传输后备缓冲器（快表）

TLB存放在CPU缓存中（CPU缓存的速率高于内存），并且能够直接通过VA的VPN来获取到PA地址的PFN，进而获得PA地址

TLB如何通过VA找到PA地址

TLB表根据虚拟地址VA的高20位（此20位是针对x86架构的，不同架构的值不同）来查找表项，找对对应的物理地址PA

TLB工作流程

应用程序将VA地址发给CPU，CPU将VA发给MMU，MMU将存放在CPU缓存的TLB读取出来，然后MMU将VA转为PA，最后通过PA地址访问内存

CPU→MMU→读取CPU缓存中的TLB表→MMU将VA转为PA→内存

有些VA地址在TLB中没有映射怎么办？

根据VA的高20位地址，在TLB中查找对应的PA地址，如果没有对应表项就返回TLB Miss，此时MMU就去读取内存的页表，通过页表来实现VA到PA的转换

内存虚拟化类型

内存半虚拟化主要是Xen厂商使用，此处不做介绍

提前了解的概念

GVA 虚拟机访问内存的虚拟内存地址

GPA 虚拟机访问内存的物理内存地址

HVA 物理机访问内存的虚拟内存地址

HPA 物理机访问内存的物理内存地址

虚拟机内存虚拟化的核心

虚拟机的内存虚拟化类似于物理机的虚拟内存，虚拟机的内存虚拟化通过引入一层新的地址空间（GPA），使得虚拟机以为自己运行在真实的物理地址中，实际上它是通过VMM访问真实的物理地址的

内存软件辅助虚拟化

常用的软件辅助全虚拟化通过“影子页表（shadow page table）”技术来实现

虚拟机设计的每个映射表的作用

虚拟机的页表/TLB表维护GVA到虚拟机物理地址GPA的映射关系

VMM定义的映射表维护GPA到HVA的映射表

物理机的页表/TLB表维护HVA到HPA的映射表

VMM的影子页表维护GVA到HPA的映射表（影子页表由VMM维护）

虚拟机的页表和影子页表会通过一个哈希表建立关联（也有其他的关联方式），可以完成GPA到HPA的映射

影子映射表的作用

VMM为每个虚拟机都维护一个影子页表，影子页表维护GVA到HPA的映射表，简化了地址转换的过程，实现了虚拟机的虚拟内存地址GVA到物理机的真实内存地址HPA的直接映射

具体工作原理

当虚拟机通过虚拟机CR3寄存器来获取到自己虚拟机的页表或获取TLB表时，都会被VMM捕获，通过影子页表直接将GVP转为HPA，完成内存的访问

如果影子页表没有相应的GVP表项如何做

虚拟机的应用程序访问内存，CPU将GVA地址发给虚拟机的MMU，虚拟机的MMU通过页表或TLB表得到GPA；然后再通过VMM查找GPA对应的HVA，最后通过物理主机的页表或TLB表查HVA对应的HPA（如果没有HPA则为HVA分配对应的HPA），最终得到GPA对应的HPA关系，然后将其对应关系填充到影子页表；

VMM如何感知到虚拟机对自己的页表做出了一些更改

VMM将虚拟机对应影子页表的物理内存区域标记为只读状态，当虚拟机想要更改自己的页表时，就会对该物理内存区域做出更改的操作，此时就会抛出CPU的异常，触发一个VM Exit，这个时候就退出到VMM中，VMM就知道了虚拟机在更改页表

此时VMM代替虚拟机操作系统修改虚拟机页表，然后更新自身的影子页表中GVA到HPA的映射关系

存在的问题

每次触发VM exit的话开销很高

VMM承担太多影子页表的维护工作

内存硬件辅助虚拟化

常见的内存硬件虚拟化技术

Inter的EPT（Extend Page Table）扩展页表技术

AMD的RVI（Rapid Virtualization Index）快速虚拟化索引技术

两者细节方面有所不同，但是设计理念完全一致，把影子页表中依靠软件实现的过程改为硬件实现（GVP到GPA的转换没有变化，只是GPA到HPA的转化是由硬件来完成）

EPT页表的工作原理

EPT页表存放在CPU中

当应用程序访问内存时，将GVA交给虚拟机CPU，虚拟机CPU会通过访问虚拟机中的页表来完成GVA到GPA的转换；接着CPU通过EPT页表来实现GPA到HPA的转换

如果EPT页表没有GPA对应的HPA地址，如何解决

如果HPA为空，则CPU会抛出EPT Violation异常，触发一个vm exit让VMM来处理，此时VMM会根据GPA地址将其映射到对应的HVA地址，然后通过物理页表找到此HVA地址对应的HPA（如果没有HPA则为HVA分配对应的HPA），最后再更新EPT表项

如果EPT页表中没有GPA地址，如何解决？

如果GPA地址为空（即缺页），则CPU产生缺页异常，发生缺页中断（如果是软件实现方式，则会产生vm exit）但是硬件实现方式下，并不会产生VM-exit，而是交给虚拟机内核的中断处理程序处理；在中断处理程序中会产生EXIT_REASON_EPT_VIOLATION，虚拟机退出，VMM截获到该异常后，为虚拟机分配新的物理地址HPA，并建立新的GPA到HPA的映射关系，保存到EPT中，这样在下一次访问的时候就可以完成GPA到HPA的转换