linux空洞文件以及多线程写入

在这里插入图片描述

介绍空洞文件

Linux空洞文件（hole file）是一种特殊类型的文件，其大小可能超过实际存储的数据量。在空洞文件中，文件系统会为文件分配磁盘空间，但实际上只在文件中存储了部分数据，其余部分被称为"空洞"。空洞部分不占用实际的磁盘空间，但在逻辑上被视为文件的一部分。

空洞文件的主要特点如下：

空洞部分不占用实际磁盘空间：在文件系统中，空洞部分不会分配实际的磁盘块来存储数据，因此它不会占用额外的磁盘空间。只有文件中实际存储的数据部分会占用磁盘空间。
文件大小可能大于实际存储的数据量：由于空洞部分不占用实际空间，所以文件的大小可以大于实际存储的数据量。例如，一个10 GB的文件可能只包含1 GB的数据，其余9 GB是空洞。
空洞部分被读取为0：当读取空洞文件时，未显式写入的部分会被读取为0。这是因为文件系统会自动将空洞部分填充为0，使其在逻辑上具有连续的0值。

空洞文件的创建是通过在文件中进行随机访问写入（即lseek和write系统调用）来实现的。例如，如果文件大小为10 GB，只需要将文件指针移动到10 GB位置，然后写入一个字节的数据，文件系统将自动为文件分配足够的磁盘空间，并在文件中创建一个10 GB大小的空洞。

空洞文件在某些情况下可以提供一些优势，例如：

节省磁盘空间：对于包含大量稀疏数据的文件，使用空洞文件可以节省磁盘空间并减少存储需求。
加速文件操作：对于包含大量连续零值的文件，使用空洞文件可以加速读取和写入操作，因为文件系统会自动将空洞部分读取为0，无需实际的I/O操作。

不是所有的文件系统都支持空洞文件。具体支持程度取决于所使用的文件系统类型和操作系统。在使用空洞文件时，应该留意操作系统和文件系统的特性，并确保对文件的处理是正确和可靠的。

多线程写入空洞文件

要实现多线程写入空洞文件以加快文件写入速度，可以将文件分成多个块，然后使用多个线程并行写入这些块。以下是一个示例，演示如何使用多线程并行写入空洞文件：

如下只是简单

#include <stdio.h>
#include <pthread.h>
#include <fcntl.h>
#include <unistd.h>#define FILE_SIZE 1024 * 1024 * 1024  // 1 GB
#define NUM_THREADS 4
#define BLOCK_SIZE (FILE_SIZE / NUM_THREADS)void* write_thread(void* arg) {int fd = *(int*)arg;off_t offset ;//分成四块char buffer[4096] = "Hello, world!";// 写入数据到文件块for (off_t i = offset; i < offset + BLOCK_SIZE; i += sizeof(buffer)) {pwrite(fd, buffer, sizeof(buffer), i);}return NULL;
}int main() {int fd = open("holed_file.txt", O_WRONLY | O_CREAT | O_TRUNC, 0644);if (fd == -1) {perror("open");return 1;}// 扩展文件大小if (lseek(fd, FILE_SIZE - 1, SEEK_SET) == -1) {perror("lseek");return 1;}if (write(fd, "", 1) == -1) {perror("write");return 1;}// 创建多个线程并行写入文件pthread_t threads[NUM_THREADS];for (int i = 0; i < NUM_THREADS; i++) {pthread_create(&threads[i], NULL, write_thread, &fd);}// 等待线程结束for (int i = 0; i < NUM_THREADS; i++) {pthread_join(threads[i], NULL);}close(fd);return 0;
}