Node.js 中实现多任务下载的并发控制策略

1、背景与需求

在实际开发中，我们常常需要从多个源下载文件，例如从多个服务器下载图片、视频或音频文件。如果不加以控制，同时发起过多的下载任务可能会导致服务器过载，甚至引发网络拥堵。因此，合理控制并发数量是实现高效下载的关键。

2、并发控制的核心问题

在 Node.js 中，并发控制的核心问题包括：

资源竞争：过多的并发请求可能导致内存或 CPU 资源耗尽。
速率限制：目标服务器可能会限制单个 IP 的请求频率。
错误处理：部分下载任务可能失败，需要重试机制。
性能优化：如何在高并发场景下最大化下载速度。

为了解决这些问题，我们需要引入并发控制策略，例如限制同时运行的下载任务数量、使用队列管理任务、以及结合代理服务器分散请求。

3、实现并发控制的工具与方法

在 Node.js 中，可以通过以下工具和方法实现并发控制：

**<font style="color:rgb(64, 64, 64);">p-limit</font>** ****库：一个轻量级的并发控制库，用于限制同时运行的 Promise 数量。
队列机制：将任务放入队列中，按顺序或按优先级执行。
代理服务器：通过代理服务器分散请求，避免触发目标服务器的速率限制。

接下来，我们将通过一个完整的代码示例，演示如何实现多任务下载的并发控制。

4. 实现代码

3.2 配置代理信息

在代码中配置代理服务器的信息：

const proxyHost = "www.16yun.cn";
const proxyPort = "5445";
const proxyUser = "16QMSOML";
const proxyPass = "280651";

3.3 实现并发控制下载

以下是完整的实现代码：

const fetch = require('node-fetch');
const { URL } = require('url');
const fs = require('fs');
const pLimit = require('p-limit');// 代理服务器配置
const proxyHost = "www.16yun.cn";
const proxyPort = "5445";
const proxyUser = "16QMSOML";
const proxyPass = "280651";// 并发控制：限制同时运行的任务数量
const limit = pLimit(5); // 最多同时运行 5 个任务// 函数：下载文件
async function downloadFile(url, outputPath) {try {// 构造代理 URLconst proxyUrl = new URL(url);proxyUrl.hostname = proxyHost;proxyUrl.port = proxyPort;// 发送请求const response = await fetch(proxyUrl, {headers: {'Proxy-Authorization': `Basic ${Buffer.from(`${proxyUser}:${proxyPass}`).toString('base64')}`,},});if (!response.ok) {throw new Error(`请求失败：${response.status} ${response.statusText}`);}// 创建文件写入流const fileStream = fs.createWriteStream(outputPath);response.body.pipe(fileStream);console.log(`文件已下载：${outputPath}`);} catch (error) {console.error(`下载失败：${url}`, error);}
}// 主函数：批量下载任务
async function main() {// 定义下载任务列表const downloadTasks = [{ url: 'https://example.com/file1.mp3', outputPath: './downloads/file1.mp3' },{ url: 'https://example.com/file2.mp3', outputPath: './downloads/file2.mp3' },{ url: 'https://example.com/file3.mp3', outputPath: './downloads/file3.mp3' },// 添加更多任务...];// 使用并发控制执行下载任务const promises = downloadTasks.map(task =>limit(() => downloadFile(task.url, task.outputPath)));// 等待所有任务完成await Promise.all(promises);console.log('所有下载任务完成！');
}// 运行主函数
main();