windows稀疏文件

  稀疏文件(Sparse File), 指的是文件中出现大量的0数据,这些数据对我们用处不大,但是却一样的占用我们的空间,针对此,WINNT 3.51中的NTFS文件系统对此进行了优化,那些无用的0字节被用一定的算法压缩起来,使得这些0字节不再占用那么多的空间,在你声明一个很大的稀疏文件时(例如 100GB),这个文件实际上并不需要占用这么大的空间,因为里面大都是无用的0数据,那么,NTFS对稀疏文件的压缩算法可以释放这些无用的0字节空间, 可以说这是对磁盘占用空间以及效率的一种优化,记住,FAT32上并不支持稀疏文件的压缩(至少我在自己机子上测试得出如此结论)。

      这里,我们将粗略的介绍:

1,如何判断一个磁盘是否支持稀疏文件。
2,如何判断一个文件是否是稀疏文件。
3,如何产生一个稀疏文件。
4,假如系统支持稀疏文件,如何声明这个文件是稀疏文件。

     因为这是我工作中出现的问题,所以可能不会深究里面的算法和操作系统机制,但是文章末尾会附上参考资料。
 若有问题,可以联系我 shawn.huang@protegrity.com(工作邮箱)  或者 lonestep@gmail.com(私人邮箱) 

1.1   判断一个磁盘是否是稀疏文件。

我们可以通过一个系统函数GetVolumeInformation 来判断某个磁盘是否支持稀疏文件的压缩。MSDN中的函数原型如下:

GetVolumeInformation

 

The GetVolumeInformation function retrieves information about a file system and volume that have a specified root directory.

 

BOOL GetVolumeInformation(
LPCTSTR lpRootPathName,LPTSTR lpVolumeNameBuffer,DWORD nVolumeNameSize,LPDWORD lpVolumeSerialNumber,LPDWORD lpMaximumComponentLength,LPDWORD lpFileSystemFlags,LPTSTR lpFileSystemNameBuffer,DWORD nFileSystemNameSize
);

我们只要把查询到的Flag 跟 FILE_SUPPORTS_SPARSE_FILES 位与(&),便可以知道该磁盘是否支持。这是从我的工具集(toolset)里摘录的例子代码:
    CHAR szVolName[MAX_PATH], szFsName[MAX_PATH];     DWORD dwSN, dwFSFlag, dwMaxLen, nWritten;     BOOL bSuccess;     HANDLE hFile;     bSuccess = GetVolumeInformation(NULL,         szVolName,         MAX_PATH,         &dwSN,          &dwMaxLen,          &dwFSFlag,          szFsName,         MAX_PATH);     if (!bSuccess) {         printf("errno:%d", GetLastError());         return -1;     }     printf("vol name:%s /t fs name:%s sn: %d./n", szVolName, szFsName, dwSN);     if (dwFSFlag&FILE_SUPPORTS_SPARSE_FILES) {         printf("support sparse file./n");     }else{         printf("no support sparse file./n");     }
2.1 如何判断一个文件是否是稀疏文件。我们可以通过 GetFileInformationByHandle()函数来判断一个文件是否是稀疏文件。这是MSDN里面的定义。

 

The GetFileInformationByHandle function retrieves file information for the specified file.

 

BOOL GetFileInformationByHandle(
HANDLE hFile,LPBY_HANDLE_FILE_INFORMATION lpFileInformation
);
 
例子代码如下:
 
HANDLE hFile; BY_HANDLE_FILE_INFORMATION stFileInfo; //Open/create file to get the file handle hFile = CreateFile(); //Get the file information GetFileInformationByHandle(hFile, &stFileInfo); if(stFileInfo.dwFileAttributes & FILE_ATTRIBUTE_SPARSE_FILE) {     //Sparse file }else{    //Not sparse file }

 
3.1, 如何产生一个稀疏文件并声明该文件是稀疏文件。
   大部分文件,在你改变它的EndOfFile的时候,中间的空白会被操作系统填0,也就是说,如果你用SetFilePointer() 和SetEndOfFile()来
产生一个很大的文件,那么这个文件它占用的是真正的磁盘空间,即使里面全是0,因为系统默认的会在DeviceIoControl()中的ControlCode里用
FSCTL_SET_ZERO_DATA标记,这个标记使得那些文件空洞被0所填充。为了节省磁盘空间,我们必须把一个文件声明为稀疏文件,以便让系统
把那些无用的0字节压缩,并释放相应的磁盘空间,方法如下:
 
    hFile = CreateFile("tmp_file"        GENERIC_WRITE|GENERIC_READ,          FILE_SHARE_READ|FILE_SHARE_WRITE,         NULL,         CREATE_ALWAYS,         0,         NULL);     DWORD dwTemp;     DeviceIoControl(hFile,         FSCTL_SET_SPARSE,          NULL,         0,         NULL,         0,         &dwTemp,         NULL);     SetFilePointer(hFile, 0x100000, NULL, FILE_BEGIN);     WriteFile(hFile,         "123",         3,         &nWritten,         NULL);     SetEndOfFile(hFile);     CloseHandle(hFile);
注意到FSCTL_SET_SPARSE这个标记了吗?正是这个标记,告诉系统该文件是稀疏文件,如果该文件所在的磁盘支持稀疏
文件的压缩,则系统会释放不必要的0字节空间。你可以用这个方法创建一个100GB得文件试一下(示例里是1M),记得右键看看文件属性
里的‘大小’和占用空间,它被声明为100GB,但是实际上那些0字节基本不占用空间,而你写入的“123”是占用实际的
磁盘空间的。
   注意:在FAT32得磁盘里,因为没有对SPARSE FILE得支持,所以您创建的空洞文件全部被填零,即使你声明它是一个稀疏
文件,也没有任何作用,您声明这个文件多大,它就占用多大的空间。
   另外,如果您编译 DeviceIoControl这个函数出现 "'FSCTL_SET_SPARSE' : undeclared identifier"之类的情况
请这样做:
#include <windows.h>
#define   _WIN32_WINNT         0x0501 
#include <Winioctl.h>

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509303.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

设置三个线程顺序打印数字问题(转载)

第一种方法&#xff1a;通过共享对象锁的方式实现 记住调用wait方法时候需要在同步代码块内&#xff0c;否则会报java.lang.IllegalMonitorStateException异常&#xff01; package com.test;class Prints {public int num 0;synchronized public void methodA() throws Int…

英文金曲大赛

Problem Description 我们在“渊子数”的题目中已经了解了渊子是个什么样的人了&#xff0c;他在大一的时候参加过工商学院的“英语聚乐部”。告诉你个秘密&#xff0c;这个俱乐部是个好地方&#xff0c;不但活动精彩而且有MM。这不&#xff0c;英语俱乐部举办了一个叫做“英文…

磁盘管理之逻辑卷管理(Logical Volume Manager)

LVM是逻辑卷管理&#xff08;Logical Volume Manager&#xff09;的简称&#xff0c;它是建立在物理存储设备之上的一个抽象层&#xff0c;允许你生成逻辑存储卷,与直接使用物理存储在管理上相比,提供了更好灵活性。 LVM将存储虚拟化,使用逻辑卷,你不会受限于物理磁盘的大小,另…

单链表头插法与尾插法的c语言实现(回顾)

#include<stdio.h> #include<math.h> #include<stdlib.h> typedef struct node{int data;node *next; }; int main() {node *head NULL;node *tail NULL;node *p NULL;p (node *)malloc(sizeof(node));if(pNULL){printf("%s","没有足够的…

磁盘“簇”

“簇”是DOS进行分配的最小单位。当创建一个很小的文件时&#xff0c;如是一个字节&#xff0c;则它在磁盘上并不是只占一个字节的空间&#xff0c;而是占有整个一簇。DOS视不同的存储介质&#xff08;如软盘&#xff0c;硬盘&#xff09;&#xff0c;不同容量的硬盘&#xff0…

选夫婿1

Problem Description 倾国倾城的大家闺秀潘小姐要选夫婿啦&#xff01;武林中各门各派&#xff0c;武林外各大户人家&#xff0c;闻讯纷纷前来&#xff0c;强势围观。前来参与竞选的男生藏龙卧虎&#xff0c;高手云集&#xff0c;才子遍布&#xff0c;帅哥纷纭&#xff0c;更不…

找出二维数组中每行的最小数但最小数的列不能相同

现有一个M*N的表格&#xff0c;请统计表格中每行最小数值之和。要求最小数的都在不同列中&#xff0c; 既假设第一行第一列数是最小数&#xff0c;那即使第二行第一列的数在第二行中不去计算。 example: 存在如下表格&#xff1a; 1 2 3 2 4 5 则&#xff1a; 第一行最小…

Qt实现Word文档界面样式--QtitanRibbon

QtitanRibbon - Microsoft Ribbon for Nokias Qt概念的实现 QtitanRibbon组件实现了Microsoft Ribbon for Qt的概念&#xff0c;设计用于任何使用Qt开发的商业应用。这个组件和Qt一道为获取一些应用提供了一个难得的机会&#xff0c;这些应用在全球三大主要平台Windows、Linux和…

选夫婿2

Problem Description 倾国倾城的大家闺秀潘小姐要选夫婿啦&#xff01;武林中各门各派&#xff0c;武林外各大户人家&#xff0c;闻讯纷纷前来&#xff0c;强势围观。前来参与竞选的男生藏龙卧虎&#xff0c;高手云集&#xff0c;才子遍布&#xff0c;帅哥纷纭&#xff0c;更不…

Unity3d访问数据库

找到System.Data.dll文件&#xff0c;默认的地址是在C:\Program Files\Unity\Editor\Data\Mono\lib\mono\unity&#xff0c;这个根据你所安装的路径有关。 2、将该文件复制到你的工作空间下的Asset文件夹内 3、在你的编辑器中添加引用&#xff0c;我用的是VS 4、在命名空间内

轻松反编译C#的DLL

深入了解Unity&#xff0c;需要知道它内部是怎样工作的&#xff0c;API的代码长什么样&#xff0c;本文以UnityEditor.dll为例&#xff0c;演示如何轻松搞定C#库的反编译。 使用的软件是jetbrains系的doPeek&#xff0c;.NET Reflector 9.0也能做同样的工作&#xff0c;但不太推…

商人的诀窍

Problem Description E_star和von是中国赫赫有名的两位商人&#xff0c;俗话说的好无商不奸&#xff0c;最近E_star需要进一批苹果。可是他需要的苹果只有von才有&#xff0c;von的苹果都存在他的传说中很牛叉的仓库里&#xff0c;每个仓库都存了不同种类的苹果&#xff0c;而且…

训练总结(大一下)

ACM训练总结写这次的训练总结也就意味着这个学期快要结束了&#xff0c;“光阴似箭&#xff0c;日月如梭”&#xff0c;总觉得时间过得很快反而学的很少&#xff0c;但是这个学期待在ACM还是有收获的&#xff0c;从开学接触链表时候的一脸茫然 &#xff0c;到现在已经学完了线段…

来淄博旅游

Problem Description 淄博某旅行社每天都要接待来自全国各地的游客&#xff0c;他们从各个城市来到张店区&#xff0c;游玩后又去淄博的其他旅游景点。从各个城市来张店的游客只是在网上报名&#xff0c;然后旅行社根据统计的人数&#xff0c;用大巴把他们从不同城市拉到张店。…

UTF-8中的BOM-带还是不带?

转自&#xff1a;http://blog.csdn.net/fanpei_moukoy/article/details/21464305 UTF-8 不需要 BOM&#xff0c;尽管 Unicode 标准允许在 UTF-8 中使用 BOM。所以不含 BOM 的 UTF-8 才是标准形式&#xff0c;在 UTF-8 文件中放置 BOM 主要是微软的习惯&#xff08;顺便提一下&a…

ACM训练总结(大二)

时光飞速&#xff0c;不知不觉&#xff0c;现在是第三次写总结报告了&#xff0c;第一次的解题报告是在大一上学期的期末&#xff0c;那时候是满怀信心、充满斗志&#xff0c;觉得以后肯定在ACM这条路上有所作为&#xff0c;记得那次写解题报告的主要内容是一个自我提醒、自我激…

递归的函数

Problem Description 给定一个函数 f(a, b, c)&#xff1a;如果 a ≤ 0 或 b ≤ 0 或 c ≤ 0 返回值为 1&#xff1b;如果 a > 20 或 b > 20 或 c > 20 返回值为 f(20, 20, 20)&#xff1b;如果 a < b 并且 b < c 返回 f(a, b, c−1) f(a, b−1, c−1) − f(a,…

Qt5中文乱码解决方案

升级到Qt5.X之后&#xff0c;原先解决的Qt显示中文乱码的方法突然不适用了&#xff0c;找了很多方式来解决这个问题 第一种&#xff1a; 在公司代码里看到的方法&#xff0c;先将对应的cpp文件用windows自带的记事本打开&#xff0c;另存为UTF-8格式&#xff0c;然后在代码中&a…

Linux常用压缩和解压命令

.tar 解包 tar xvf filename.tar .tar 打包 tar cvf filename.tar dirname .gz 解压1 gunzip filename.gz .gz 解压2 gzip -d filename.gz .gz 压缩 gzip filename .tar.gz 和 .tgz 解压 tar zxvf filename.tar.gz .tar.gz 和 .tgz 压缩 tar zcvf filename.tar.gz dirnam…

Qt字符编码认识

长期以来&#xff0c;很多人都清楚&#xff0c;一旦C源码中直接使用了中文&#xff0c;这样的源码想要跨平台(I18N)会非常困难。 随着&#xff1a; Windows下&#xff1a;MSVC2010成为主流Linux下&#xff1a;GCC升级到4.6 C中的中文问题 才算有了一个比较优雅的、跨平台的Wor…