.NET Core Web APi大文件分片上传研究

【导读】前两天发表利用FormData进行文件上传.NET和.NET Core Web APi FormData多文件上传,然后有人问要是大文件几个G上传怎么搞,常见的不就是分片再搞下断点续传,动动手差不多也能搞出来,只不过要深入的话,考虑的东西还是很多。由于断点续传之前写个几篇,这里试试利用FormData来进行分片上传。

前端文件分片处理

这里我们依然是使用FormData来上传,只不过在上传之前对文件进行分片处理,如下HTML代码

<div class="form-horizontal" style="margin-top:80px;"><div class="form-group"><div class="col-md-10"><input name="file" id="file" type="file" /></div></div><div class="form-group"><div class="col-md-offset-2 col-md-10"><input type="submit" id="submit" value="上传" class="btn btn-success" /></div></div>
</div>

接下来则是上传脚本,如下:

$(function () {$('#submit').click(function () {UploadFile($('#file')[0].files);});
});

简单来说只需实现上述UploadFile方法,对大文件进行分片处理,然后上传就完事,文件上传后大致如下图所示,最后只需将所有文件进行合并处理为目标文件即可

接下来我们详细讲讲如何实现,当然重点就在于如何进行分片处理,我们拿到上传目标文件,然后通过slice方法进行分片,在分片处理之前我们定义缓冲区大小(默认为8兆),然后循环遍历文件大小,然后将分片数据塞入分片数组,最后利用循环或者队列先进先出机制获取数组分片元素上传。

function UploadFile(targetFile) {// 创建上传文件分片缓冲区var fileChunks = [];// 目标文件var file = targetFile[0];// 设置分片缓冲区大小var maxFileSizeMB = 8;var bufferChunkSize = maxFileSizeMB * (1024 * 1024);// 读取文件流起始位置var fileStreamPos = 0;// 设置下一次读取缓冲区初始大小var endPos = bufferChunkSize;// 文件大小var size = file.size;// 将文件进行循环分片处理塞入分片数组while (fileStreamPos < size) {var fileChunkInfo = {file: file.slice(fileStreamPos, endPos),start: fileStreamPos,end: endPos}fileChunks.push(fileChunkInfo);fileStreamPos = endPos;endPos = fileStreamPos + bufferChunkSize;}// 获取上传文件分片总数量var totalParts = fileChunks.length;var partCount = 0;// 循环调用上传每一片while (chunk = fileChunks.shift()) {partCount++;// 上传文件命名约定var filePartName = file.name + ".partNumber-" + partCount;chunk.filePartName = filePartName;// url参数var url = 'partNumber=' + partCount + '&chunks=' + totalParts + '&size=' + bufferChunkSize + '&start=' + chunk.start + '&end=' + chunk.end + '&total=' + size;chunk.urlParameter = url;// 上传文件UploadFileChunk(chunk);}
}

上述关于分片塞入数组就不用再废话,这里我们将每一片文件命名先进行一个约定(文件名+“.partNumber” + 分片号),以便所有分片上传完成后获取按照文件名中的分片号对其进行排序合并,这也就是合并文件的依据。接下来就是上传每一片文件

function UploadFileChunk(chunk) {var data = new FormData();data.append("file", chunk.file, chunk.filePartName);$.ajax({url: '/api/upload/upload?' + chunk.urlParameter,type: "post",cache: false,contentType: false,processData: false,data: data,});
}

后端合并文件处理

我们可以看到在请求URL上额外加了其他参数,为什么要加上这些参数呢?主要为解决几个问题。

其一:前端确认缓冲区大小,我们获取前端确认的缓冲区大小,这样后台不用写死,更加灵活,万一后续进行了修改,谁知道呢?

其二:我们怎么确定文件是否已经全部上传完了呢?在URL上我们添加分片总数和文件实际大小来完全确定文件已经全部上传和文件完整无缺。

当然也额外添加了每一片读取的起始位置和结束位置,若有所需也可以利用。多余的就不用我再解释。接下来我们看看后台如何对每一片进行处理呢?在.NET Core中实际上提供了对应APi来专门读取FormData数据,利用Microsoft.AspNetCore.WebUtilities命名空间下的MultipartReader类。

首先我们判断是否请求内容是否为FormData,同时通过上下文获取上述文件读取类的参数boundary,如下:

private bool IsMultipartContentType(string contentType)
{return!string.IsNullOrEmpty(contentType) &&contentType.IndexOf("multipart/", StringComparison.OrdinalIgnoreCase) >= 0;
}private string GetBoundary(string contentType)
{var elements = contentType.Split(' ');var element = elements.Where(entry => entry.StartsWith("boundary=")).First();var boundary = element.Substring("boundary=".Length);if (boundary.Length >= 2 && boundary[0] == '"' &&boundary[boundary.Length - 1] == '"'){boundary = boundary.Substring(1, boundary.Length - 2);}return boundary;
}private string GetFileName(string contentDisposition)
{return contentDisposition.Split(';').SingleOrDefault(part => part.Contains("filename")).Split('=').Last().Trim('"');
}

接下来我们定义分片类而获取URL上每一片的参数,如下:

    public class FileChunk{//文件名public string FileName { get; set; }/// <summary>/// 当前分片/// </summary>public int PartNumber { get; set; }/// <summary>/// 缓冲区大小/// </summary>public int Size { get; set; }/// <summary>/// 分片总数/// </summary>public int Chunks { get; set; }/// <summary>/// 文件读取起始位置/// </summary>public int Start { get; set; }/// <summary>/// 文件读取结束位置/// </summary>public int End { get; set; }/// <summary>/// 文件大小/// </summary>public int Total { get; set; }}

接下来在提交控制器方法上去读取每一片数据如下

if (!IsMultipartContentType(context.Request.ContentType))
{return BadRequest();
}var boundary = GetBoundary(context.Request.ContentType);
if (string.IsNullOrEmpty(boundary))
{return BadRequest();
}var reader = new MultipartReader(boundary, context.Request.Body);var p = await reader.ReadNextSectionAsync();

然后就是循环每一片(p),若不为空说明还存有分片文件,然后读取URL上的缓冲区大小,如下:

while (p != null)
{//chunk为控制器方法上类FileChunk参数var buffer = new byte[chunk.Size];var fileName = GetFileName(p.ContentDisposition);//这里获取文件名便于查找指定文件夹下所有文件chunk.FileName = fileName;var path = Path.Combine(_environment.WebRootPath, DEFAULT_FOLDER, fileName);using (var stream = new FileStream(path, FileMode.Append)){int bytesRead;do{bytesRead = await p.Body.ReadAsync(buffer, 0, buffer.Length);stream.Write(buffer, 0, bytesRead);} while (bytesRead > 0);}p = await reader.ReadNextSectionAsync();
}

在利用内置APi读取FormData数据时,在.NET Core 3.x会抛出如下异常:


大致原因出在.NET Core内置提供了对于参数的绑定和此方法读取貌似有点冲突导致,我们实现如下特性移除对应绑定,然后将其添加到文件上传方法上即可

[AttributeUsage(AttributeTargets.Class | AttributeTargets.Method)]
public sealed class DisableFormValueModelBindingAttribute : Attribute, IResourceFilter
{public void OnResourceExecuting(ResourceExecutingContext context){var factories = context.ValueProviderFactories;factories.RemoveType<FormValueProviderFactory>();factories.RemoveType<FormFileValueProviderFactory>();factories.RemoveType<JQueryFormValueProviderFactory>();}public void OnResourceExecuted(ResourceExecutedContext context){}
}

所有分片文件上传完成后则是合并文件,合并的依据则是判断URL上当前分片数和分片总数是否相等,如下:

//计算上传文件大小实时反馈进度(TODO)//合并文件(可能涉及转码等)
if (chunk.PartNumber == chunk.Chunks)
{await MergeChunkFile(chunk);
}

既然是合并文件那就需要通过分片文件名称上末尾的分片号进行排序和拿到每一个分片文件路径以便合并后删除所有分片文件,所以我们定义如下类

public class FileSort
{public const string PART_NUMBER = ".partNumber-";/// <summary>/// 文件名/// </summary>public string FileName { get; set; }/// <summary>/// 文件分片号/// </summary>public int PartNumber { get; set; }
}

最终合并文件方法,如下:

public async Task MergeChunkFile(FileChunk chunk)
{//文件上传目录名var uploadDirectoryName = Path.Combine(_environment.WebRootPath, DEFAULT_FOLDER, chunk.FileName);//分片文件命名约定var partToken = FileSort.PART_NUMBER;//上传文件实际名称var baseFileName = chunk.FileName.Substring(0, chunk.FileName.IndexOf(partToken));//根据命名约定查询指定目录下符合条件的所有分片文件var searchpattern = $"{Path.GetFileName(baseFileName)}{partToken}*";//获取所有分片文件列表var filesList = Directory.GetFiles(Path.GetDirectoryName(uploadDirectoryName), searchpattern);if (!filesList.Any()) { return; }var mergeFiles = new List<FileSort>();foreach (string file in filesList){var fileSize = new FileInfo(file).Length;var sort = new FileSort{FileName = file};baseFileName = file.Substring(0, file.IndexOf(partToken));var fileIndex = file.Substring(file.IndexOf(partToken) + partToken.Length);int.TryParse(fileIndex, out var number);if (number <= 0) { continue; }sort.PartNumber = number;mergeFiles.Add(sort);}// 按照分片排序var mergeOrders = mergeFiles.OrderBy(s => s.PartNumber).ToList();// 合并文件using var fileStream = new FileStream(baseFileName, FileMode.Create);foreach (var fileSort in mergeOrders){using FileStream fileChunk =new FileStream(fileSort.FileName, FileMode.Open);await fileChunk.CopyToAsync(fileStream);}//删除分片文件DeleteFile(mergeFiles);}public void DeleteFile(List<FileSort> files)
{foreach (var file in files){System.IO.File.Delete(file.FileName);}
}

以上基本上实现了大文件分片处理,一些细节并未过多考虑,比如网络问题,以及文件由于采取异步上传,若我们通过计算所有文件大小和URL参数文件大小进行比对这会有问题,因为此时可能文件流处于缓冲区内还未持久化到磁盘,借此实现希望对有需要的童鞋提供一点思考方向。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/308373.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ciclop读音,购机必备,15种 3D扫描 设备 优缺点汇总

原标题&#xff1a;购机必备&#xff0c;15种 3D扫描 设备 优缺点汇总小编总结了市场上常见的15种&#xff0c;可用于3D扫描的软件和设备&#xff0c;并详细列出有关它们的价格、优缺点等特征&#xff0c;以供大家在购机时有比较实用性参考&#xff1a;一、软件选择根据研究表明…

7-40 奥运排行榜 (25 分)(详解+思路+map+vector做法)兄弟们冲压呀呀呀呀呀呀呀

一&#xff1a;题目 每年奥运会各大媒体都会公布一个排行榜&#xff0c;但是细心的读者发现&#xff0c;不同国家的排行榜略有不同。比如中国金牌总数列第一的时候&#xff0c;中国媒体就公布“金牌榜”&#xff1b;而美国的奖牌总数第一&#xff0c;于是美国媒体就公布“奖牌…

常哥带你认识NoSQL和Redis的强大

各位朋友&#xff0c;这篇文章是针对Redis快速了解的内容&#xff0c;为了学好Redis在这里首先跟大家聊聊NoSQL相关内容&#xff0c;有了概念和方向后&#xff0c;我们再学习Redis大家会感觉得心应手。一NoSQL你必知的那些事儿1什么是NoSQL?NoSQL是Not Only SQL的缩写&#xf…

java当中用UDP实现相互交流

一&#xff1a;引言 实现一方 到另一方可以发送信息&#xff0c;而另一方也能回复信息。这里用到了多线程&#xff0c;开辟两条不同的执行路径&#xff0c;一个执行接收信息&#xff0c;一个执行发送信息&#xff0c;但其端口号 要对应 &#xff0c;即一个发送端口&#xff0c…

7-41 PAT排名汇总 (25 分)(详解+思路+重写sort函数)兄弟们冲呀呀呀呀呀呀呀

一&#xff1a;题目 计算机程序设计能力考试&#xff08;Programming Ability Test&#xff0c;简称PAT&#xff09;旨在通过统一组织的在线考试及自动评测方法客观地评判考生的算法设计与程序设计实现能力&#xff0c;科学的评价计算机程序设计人才&#xff0c;为企业选拔人才…

使用 Azure Web 应用防火墙拦截黑客攻击

点击上方蓝字关注“汪宇杰博客”导语开发或运维过网站的朋友总免不了遇到不怀好意的访客。互联网上有许多全自动黑客工具及脚本&#xff0c;可以扫描你的网站是否有已知安全漏洞&#xff0c;并全自动发起攻击&#xff0c;企图夺取服务器控制权。尽管我们可以在编写网站程序的时…

libgo 支持mysql,loadrunner通过使用libmysql.dll完成mysql的测试-Go语言中文社区

【1】需要使用到MySQL的libmysql.dll动态链接库&#xff0c;因此需要安装MySQL&#xff1b;注&#xff1a;本地安装的MySQL最好和MySQL数据库服务器上的版本一致&#xff1b;(本次使用的是MYSQL 5.6)【2】LoadRunner选择“CVuser”协议&#xff1b;【3】选择“File”→“Add Fi…

Java使用TCP实现群聊 聊天室(多线程和tcp的使用)

一&#xff1a;引言&#xff1a; 显示结果在控制台显示&#xff0c;未能实现图形界面的结合 二&#xff1a;上码 1.服务端 package com.wyj.talkhome; /** * 实现一个用户可以接发多条消息 * * */ import java.io.DataInputStream; import java.io.DataOutputStream; imp…

Azure WAF 导致网站无法登录 AAD 的解决办法

点击上方蓝字关注“汪宇杰博客”导语昨天写了篇《使用 Azure Web 应用防火墙拦截黑客攻击》然后自爆了&#xff0c;我博客的后台管理被 WAF 干掉了。我996了半小时&#xff0c;终于让 Azure WAF 放过了被误杀的平民。今天把方法分享给大家。误杀平民我的博客后台配置了 Azure A…

Java用TCP手写聊天室 可以 私聊版加群聊版

一&#xff1a;引言 想要私聊必须有规定的格式&#xff1a;名字&#xff1a;要说的话 二&#xff1a;上码 1.服务端 package com.wyj.talkhome; /** * 实现一个用户可以接发多条消息 * * */ import java.io.DataInputStream; import java.io.DataOutputStream; import ja…

macbook oracle 工具,Navicat for Oracle Mac 四种实用工具

Navicat for Oracle Mac 凭借精心设计的用户界面&#xff0c;可以简便快捷地以安全且简单的方法创建、组织、访问和共享信息&#xff0c;优化 Oracle 管理。除了 Oracle 的核心功能外&#xff0c;Navicat for Oracle Mac 也提供了一些丰富的增强功能&#xff0c;包括数据模型工…

7-42 整型关键字的散列映射 (25 分)(思路加详解)兄弟们 来呀 写题呀

一&#xff1a;题目 给定一系列整型关键字和素数P&#xff0c;用除留余数法定义的散列函数H(Key)Key将关键字映射到长度为P的散列表中。用线性探测法解决冲突。 输入格式: 输入第一行首先给出两个正整数N&#xff08;≤1000&#xff09;和P&#xff08;≥N的最小素数&#xf…

TIOBE 8 月榜单:C 力压 Java 夺得第一,Java掉了1.6 个点

喜欢就关注我们吧&#xff01;TIOBE 已公布 2020 年 8 月的编程语言排行榜。本月编程语言界无大事发生。增长指数最高的是排在第八位的 R 语言&#xff0c;TIOBE 猜测它有可能成为 2020 年的年度编程语言。年初的时候 R 语言排名 18&#xff0c;之后一直保持上升趋势&#xff0…

7-43 字符串关键字的散列映射 (25 分)(思路+详解+不懂的兄弟们来呀)兄弟们我干了5个小时,一个一个测试点过的

一&#xff1a;题目 7-43 字符串关键字的散列映射 (25 分) 给定一系列由大写英文字母组成的字符串关键字和素数P&#xff0c;用移位法定义的散列函数H(Key)将关键字Key中的最后3个字符映射为整数&#xff0c;每个字符占5位&#xff1b;再用除留余数法将整数映射到长度为P的散列…

C#刷剑指Offer | 在O(1)时间删除链表节点

【C#刷题】| 作者 / Edison Zhou我们来用之前学到的数据结构知识来刷《剑指Offer》的一些核心题目&#xff08;精选了其中30道题目&#xff09;&#xff0c;希望对你有帮助&#xff01;本文题目为&#xff1a;在O(1)时间删除链表节点。1题目介绍题目&#xff1a;给定单向链表的…

7-44 基于词频的文件相似度 (30 分)(思路加详解+set容器简便做法)兄弟们冲呀呀呀呀呀 今天你AC了吗

一&#xff1a;题目 实现一种简单原始的文件相似度计算&#xff0c;即以两文件的公共词汇占总词汇的比例来定义相似度。为简化问题&#xff0c;这里不考虑中文&#xff08;因为分词太难了&#xff09;&#xff0c;只考虑长度不小于3、且不超过10的英文单词&#xff0c;长度超过…

堪称艺术品级的应用开发框架,Abp有望超越Spring?

ABP是ASP.NET Boilerplate的简称&#xff0c;是一个开源且文档友好的应用程序框架。ASP.NET Boilerplate是一个用最佳实践和流行技术开发现代WEB应用程序的新起点&#xff0c;它旨在成为一个通用的WEB应用程序框架和项目模板。ASP.NET Boilerplate 基于DDD的经典分层架构思想&a…

7-45 航空公司VIP客户查询 (25 分)(思路+详解+map用法解释+超时解决)兄弟们来呀冲压呀呀呀呀

一&#xff1a;题目 不少航空公司都会提供优惠的会员服务&#xff0c;当某顾客飞行里程累积达到一定数量后&#xff0c;可以使用里程积分直接兑换奖励机票或奖励升舱等服务。现给定某航空公司全体会员的飞行记录&#xff0c;要求实现根据身份证号码快速查询会员里程积分的功能…

linux sed 写文件,使用sed对文件进行操作

使用sed对文件进行操作[日期&#xff1a;2012-12-07]来源&#xff1a;Linux社区作者&#xff1a;bobo12082119[字体&#xff1a;大 中 小]一.附加文本使用a\在指定行后面附加1行或多行&#xff1b;若不指定放置的位置&#xff0c;则默认放到每一行的后面。附加文本时&#xff0…

修复被破坏的 vs 工程设置(续)

缘起 在上一篇文章——《修复被破坏的 vs 工程设置》中&#xff0c;我分享了修复被破坏的 vs 工程设置的实战。本以为圆满解决了问题&#xff0c;没想到另有玄机。所以又来分享一篇刨根问底的文章。查看文件 打开 Microsoft.Cpp.Win32.user.props 一看&#xff0c;里面并没有任…