1. 引言
数据库管理系统（DBMS）是一个复杂的软件系统，用于管理和操作数据库中的数据。DBMS需要有效地在磁盘和内存之间组织和管理数据，以确保高效的数据存储和检索。本文将详细介绍DBMS中关于磁盘、文件、页和记录的管理，以及不同文件组织方式对数据库操作的影响。
2. 磁盘和内存
在数据库系统中，数据处理通常在内存中进行，因为内存访问速度快。然而，随着数据量的增加，无法将所有数据都放在内存中，因此需要使用磁盘来存储数据。磁盘存储成本低，但访问磁盘数据的开销较大。这就要求DBMS在设计和实现中考虑如何有效地在内存和磁盘之间移动数据。
3. 文件、页和记录
3.1 记录
关系型数据库的基本数据单位是记录（行）。记录在内存中可以被修改、删除、搜索或创建。每个记录包含若干字段，这些字段对应数据库表中的列。
3.2 页
磁盘的基本数据单位是页，是从磁盘到内存之间传输的最小单位。为了在磁盘上表示关系数据库，每个关系存储在一个文件中，文件中的记录组织为页。
3.3 文件
每个关系（表）存储在一个文件中，文件中的记录按照特定的组织方式分布在页中。根据关系的模式和访问模式，数据库将决定使用的文件类型、页的组织方式、每页上记录的组织方式以及每个记录的格式。
4. 文件类型的选择
在数据库中，主要有两种文件类型：堆文件（Heap Files）和排序文件（Sorted Files）。对于每个关系，数据库会根据访问模式的I/O成本选择合适的文件类型。I/O操作的成本基于每次从磁盘读取或写入一页的数据量。
4.1 堆文件
堆文件是一种没有特定顺序的文件类型，记录可以任意存放在页面中。堆文件有两种主要实现方式：
4.1.1 链表实现
在链表实现中，每个数据页包含记录、空闲空间追踪器和指向前后页的指针。头页作为文件的起点，分隔满页和空闲页。当需要空间时，会分配空页并附加到空闲页部分的末尾。当空闲数据页变满时，它们会从空闲页部分移动到满页部分的前面。这样可以避免遍历整个满页部分来附加新页。另一个实现方法是在头页中保留指向满页部分末尾的指针。
4.1.2 页目录实现
页目录实现与链表实现不同，只使用链表来管理头页。每个头页包含指向下一个头页的指针及其条目，这些条目包含指向数据页的指针和数据页中剩余的空闲空间量。由于头页的条目存储了每个数据页的指针，数据页本身不再需要存储相邻页的指针。
4.2 排序文件
排序文件是一种按键排序的文件类型，页和记录按键排序。这些文件使用页目录来管理数据页，并根据记录的排序方式强制数据页的顺序。通过二分搜索，排序文件可以在logN的I/O成本内进行搜索，其中N是页数。而插入操作的平均成本为logN + N，因为插入记录可能会导致所有后续记录向后移动一位。
5. 记录类型
记录类型由关系的模式决定，分为固定长度记录（Fixed Length Records, FLR）和可变长度记录（Variable Length Records, VLR）。FLR包含固定长度字段，具有相同模式的FLR占用相同字节数。VLR包含固定和可变长度字段，记录头包含指向可变长度字段末端的指针。
-
固定长度类型
-
-
可变长度类型
-
-
6. 页格式
6.1 固定长度记录页
页包含固定长度记录时，使用页头存储当前页上的记录数量。如果页是紧凑的，则记录之间没有空隙。插入时可以通过计算现有记录数量和每个记录的长度来确定下一可用位置。删除记录时，需要移动所有后续记录以保持页的紧凑性。
如果页是非紧凑的，页头通常存储一个额外的位图，将页分割成插槽并跟踪哪些插槽是空的。插入涉及找到第一个空位，将新记录放在相应的插槽中，然后设置该插槽的位。删除记录时，需要清除相应插槽的位，以便将来插入可以覆盖该插槽。
6.2 可变长度记录页
页包含可变长度记录时，不再保证每个记录的大小相同。为了解决这个问题，每页使用页尾维护一个插槽目录，跟踪插槽数量、空闲空间指针和条目。插槽目录从页的底部开始，而不是顶部，以便在插入记录时有空间增长。
插槽数量跟踪总插槽数量，包括已填充和空的插槽。空闲空间指针指向页中下一个空闲位置。插槽目录中的每个条目由[记录指针，记录长度]对组成。
如果页是非紧凑的，删除记录涉及找到记录在插槽目录中的条目并将记录指针和记录长度设置为null。将来插入时，记录将插入到空闲空间指针处，并在任何可用的null条目中设置新的[指针，长度]对。如果没有null条目，则为该记录添加一个新条目到插槽目录。插槽数量用于确定新插槽条目的偏移量，然后增加插槽数量。定期将记录重新组织为紧凑状态，删除记录以腾出空间进行将来的插入。
如果页是紧凑的，删除记录涉及删除记录在插槽目录中的条目。此外，需要将删除记录后的所有记录向页的顶部移动一位，并将相应的插槽目录条目向页的底部移动一位。插入时，记录插入到空闲空间指针处，如果所有插槽已满，每次添加一个新条目。
7. 操作成本
不同的文件类型和实现方式对数据库操作的成本有显著影响。
7.1 堆文件操作成本
- 插入：堆文件的插入成本较低，因为记录可以添加到任何有空闲空间的页面。找到有空闲空间的页面的成本通常很低。
- 搜索：搜索记录时，需要全表扫描，每次搜索操作的成本为N次I/O，因为记录是无序的，每个页面上的每个记录都需要被检查。
7.2 排序文件操作成本
- 搜索：排序文件的搜索成本较低，可以使用二分搜索，I/O成本为logN。
- 插入：排序文件的插入成本较高，平均情况下为logN + N，因为插入记录可能需要移动大量记录以保持排序。
8. 实例分析
8.1 堆文件
堆文件的主要优势是插入操作快速，因为记录可以添加到任何有空闲空间的页面。使用链表实现时，插入记录的成本可能会很高，因为需要遍历多个页面以找到有足够空间的页面。相比之下，页目录实现的插入操作更高效，因为头页中存储了每个数据页的空闲空间信息，减少了需要读取的页面数量。
8.2 排序文件
排序文件在搜索记录时具有显著优势，可以通过二分搜索快速找到目标记录。然而，插入记录的成本较高，因为需要保持记录的排序顺序。平均情况下，插入操作需要移动N/2个页面，每个页面需要一次读取和一次写入操作。
9. 总结
数据库管理系统中的数据存储和管理是一个复杂的过程。通过合理选择文件组织方式，可以优化数据库的性能。在设计和实现DBMS时，需要综合考虑数据的访问模式和操作成本，以选择最合适的文件类型和实现方式。堆文件适用于插入操作频繁且不需要快速搜索的场景，而排序文件则适用于需要高效搜索操作的场景。
这篇笔记详细介绍了DBMS中关于磁盘、文件、页和记录的管理，提供了理论基础和实际指导，为数据库的高效管理提供了有力支持。
