多线程压缩ZIP文件

工作过程中，可能会遇到有需要生成压缩包的需求，而生成压缩包，一般速度不快，比较影响效率，所以一般会考虑使用多线程进行压缩。本文就多线程压缩方式进行以下介绍
多线程压缩一般分为两种方式

多线程读源文件，单线程写ZIP文件
使用common-compress工具包进行多线程压缩

1.多线程读源文件，单线程写ZIP文件

该方法是使用多线程先将需要压缩的源文件读取出来，然后再单线程写入ZIP中
下面先看代码

@Test
void test3() throws IOException, InterruptedException {// 初始化线程池ExecutorService executorService = Executors.newFixedThreadPool(10);long start = System.currentTimeMillis();// 初始化ZIP输出流ZipOutputStream zops = new ZipOutputStream(Files.newOutputStream(Paths.get("multiFile.zip")));File file = new File("C:\\Users\\Administrator\\Desktop\\CodeFormer");List<TestZipDownloadBean> list = new ArrayList<>();// 递归读取源文件夹下所有文件，并记录其路径信息getFileList(file, list);// 初始化计数器，用于线程等待CountDownLatch countDownLatch = new CountDownLatch(list.size());// 初始化锁对象Lock lock = new ReentrantLock();for (TestZipDownloadBean bean : list) {executorService.execute(() -> {try(InputStream ips = Files.newInputStream(Paths.get(bean.getPath()));) {// 根据源文件绝对路径信息，生成压缩包内的相对路径信息，// 此处需要根据自己的压缩文件信息进行自定义设置String relativePath = bean.getPath().substring(bean.getPath().lastIndexOf("CodeFormer\\") + 11);String path = relativePath.contains("\\") ? relativePath.substring(0, relativePath.lastIndexOf("\\")) : null;String fileName = relativePath.contains("\\") ? relativePath.substring(relativePath.lastIndexOf("\\") + 1) : relativePath;// 初始化ZipEntryZipEntry zipEntry = new ZipEntry(path == null ? fileName : (path + "/" + fileName));// 加锁，这边加锁是因为，ZIP输出流如果想添加新的ZipEntry的话，// 就必须关闭前一个ZipEntry，所以这边只能加锁等待。// ZipEntry可以理解为就是ZIP中的一个一个文件lock.lock();zops.putNextEntry(zipEntry);// 这边每次读取的文件大小，尽量以单个文件大小为准，// 这样每次就可以把一个文件完整读取出来，速度能快一点点// 如果没有文件大小信息的话，就每次读取10Kb，这个大小可以根据需求自定义byte[] bytes = new byte[bean.getFileLength() == null ? (1024*10) : bean.getFileLength().intValue()];int len;// 通过二进制流写文件while ((len = ips.read(bytes)) > 0) {zops.write(bytes, 0, len);}// 关闭ZipEntryzops.closeEntry();// 释放锁lock.unlock();// 刷新缓存zops.flush();} catch (Exception e) {System.out.println(Thread.currentThread().getName() + "读取文件异常，文件路径：" + bean.getPath());}// 计数器减一，这边一定不能遗漏，否则程序会一直等待，不会停止countDownLatch.countDown();});}// 阻塞，等待全部线程完成文件压缩countDownLatch.await();// 关闭ZIP输出流zops.close();long end = System.currentTimeMillis();System.out.println("耗时：" + (end - start));
}

该代码逻辑就是，先递归获取文件列表，然后再使用多线程进行文件读取，文件读取完毕后，再使用加锁的方式，对多线程文件写进行串行化设置。这边文件写ZIP的时候是无法进行多线程写入的，因为写ZIP的时候是写入一个一个的ZipEntry对象的，而ZipEntry对象是要通过putNextEntry方法设置的，在每次设置新的ZipEntry之前，必须先关闭前一个ZipEntry才行，如果是多线程并发写的话，就无法保证这个顺序，所以这边需要加锁进行串行化操作。
如果需要在ZIP文件生成子文件夹的话，也是很方便的，只需要写上路径名加上文件名，即可自动创建子文件夹了，例如写文件时，文件名为"a/a.txt"，那么ZIP生成之后，解压就会出现一个a文件夹，里面有一个a.txt文件。

递归获取文件列表代码

/*** 递归获取文件及其路径信息* * @param file 文件对象* @param fileList 文件信息集合*/
private void getFileList(File file, List<TestZipDownloadBean> fileList){if (file == null) {return;}// 如果是文件夹，就继续递归if (file.isDirectory()) {for (File tempFile : Objects.requireNonNull(file.listFiles())) {getFileList(tempFile, fileList);}}// 如果是文件，就解析一下，放到文件集合中if (file.isFile()) {TestZipDownloadBean bean = new TestZipDownloadBean(null, file.getAbsolutePath());bean.setFileLength(file.length());fileList.add(bean);}
}

2.使用common-compress工具包进行多线程压缩

这个方式需要使用到第三方依赖，可以使用maven进行依赖导入

<dependency><groupId>org.apache.commons</groupId><artifactId>commons-compress</artifactId><version>1.21</version>
</dependency>

依赖导入之后，就可以进行代码编写了，以下是使用工具包的代码示例

@Test
void test4() throws IOException, ExecutionException, InterruptedException {// 初始化线程池ExecutorService executorService = Executors.newFixedThreadPool(10);long start = System.currentTimeMillis();// 初始化并行Zip创建器对象ParallelScatterZipCreator parallelScatterZipCreator = new ParallelScatterZipCreator(executorService);// 初始化Zip文件输出流OutputStream outputStream = Files.newOutputStream(Paths.get("multiFile.zip"));// 初始化Zip输出流ZipArchiveOutputStream zaops = new ZipArchiveOutputStream(outputStream);// 设置流文件编码zaops.setEncoding("UTF-8");File file = new File("C:\\Users\\Administrator\\Desktop\\CodeFormer");List<TestZipDownloadBean> list = new ArrayList<>();// 递归获取文件列表getFileList(file, list);for (TestZipDownloadBean bean : list) {// 生成源文件输入流InputStreamSupplier streamSupplier = () -> {try {return Files.newInputStream(Paths.get(bean.getPath()));} catch (IOException e) {throw new RuntimeException(e);}};// 根据源文件绝对路径信息，生成压缩包内的相对路径信息，// 此处需要根据自己的压缩文件信息进行自定义设置String relativePath = bean.getPath().substring(bean.getPath().lastIndexOf("CodeFormer\\") + 11);String path = relativePath.contains("\\") ? relativePath.substring(0, relativePath.lastIndexOf("\\")) : null;String fileName = relativePath.contains("\\") ? relativePath.substring(relativePath.lastIndexOf("\\") + 1) : relativePath;// 生成ZipEntry对象ZipArchiveEntry zipArchiveEntry = new ZipArchiveEntry(path == null ? fileName : (path + "/" + fileName));// 设置压缩方法，只有ZipEntry.DEFLATED和ZipEntry.STORED两个取值// ZipEntry.STORED方法压缩后文件体积不会变小，速度很快// ZipEntry.DEFLATED方法压缩后文件体积会变小，但是速度要慢一些zipArchiveEntry.setMethod(ZipEntry.DEFLATED);parallelScatterZipCreator.addArchiveEntry(zipArchiveEntry, streamSupplier);}// 开始压缩文件parallelScatterZipCreator.writeTo(zaops);// 关闭zip输出流zaops.close();// 关闭文件输出流outputStream.close();long end = System.currentTimeMillis();System.out.println("耗时：" + (end - start));
}