如何使用 Python 批量检测和转换 JSONL 文件编码为 UTF-8

在日常开发中，我们经常会遇到不同编码格式的文件，比如 UTF-8、ASCII、Windows-1252、ISO-8859-1 等。文件编码不一致可能导致读取或处理文件时出现乱码，特别是在批量处理数据文件时。因此，将文件编码统一为 UTF-8 是非常有必要的。

本篇文章将带您一步步使用 Python 来批量检测 .jsonl 文件的编码类型，并将非 UTF-8 编码的文件转换为 UTF-8，确保所有文件的编码一致性。

文章目录

如何使用 Python 批量检测和转换 JSONL 文件编码为 UTF-8
作者简介
- 猫头虎是谁？
- 作者名片 ✍️
- 加入我们AI共创团队 🌐
- 加入猫头虎的共创圈，一起探索编程世界的无限可能！ 🚀
正文
- 使用 Python 检测文件编码
- - 准备工具
  - 编写编码检测代码
  - 代码解析
  - 运行代码
- 将非 UTF-8 编码的文件转换为 UTF-8
- - 代码解析
  - 运行代码
- 总结
粉丝福利区
- - 联系我与版权声明 📩

作者简介

猫头虎是谁？

大家好，我是猫头虎，猫头虎技术团队创始人，也被大家称为猫哥。我目前是COC北京城市开发者社区主理人、COC西安城市开发者社区主理人，以及云原生开发者社区主理人，在多个技术领域如云原生、前端、后端、运维和AI都具备丰富经验。

我的博客内容涵盖广泛，主要分享技术教程、Bug解决方案、开发工具使用方法、前沿科技资讯、产品评测、产品使用体验，以及产品优缺点分析、横向对比、技术沙龙参会体验等。我的分享聚焦于云服务产品评测、AI产品对比、开发板性能测试和技术报告。

目前，我活跃在CSDN、51CTO、腾讯云、阿里云开发者社区、知乎、微信公众号、视频号、抖音、B站、小红书等平台，全网粉丝已超过30万。我所有平台的IP名称统一为猫头虎或猫头虎博主。

我希望通过我的分享，帮助大家更好地掌握和使用各种技术产品，提升开发效率与体验。

猫头虎分享python

作者名片 ✍️

博主：猫头虎
全网搜索关键词：猫头虎
作者微信号：Libin9iOak
作者公众号：猫头虎技术团队
更新日期：2024年10月10日
🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！

加入我们AI共创团队 🌐

猫头虎AI共创社群矩阵列表：
- 点我进入共创社群矩阵入口
- 点我进入新矩阵备用链接入口

加入猫头虎的共创圈，一起探索编程世界的无限可能！ 🚀

猫头虎分享PYTHON

正文

使用 Python 检测文件编码

准备工具

在 Python 中，我们可以使用 chardet 库来检测文件的编码。这个库非常实用，它能够自动检测文件的编码类型。首先，我们需要安装 chardet 库：

pip install chardet

编写编码检测代码

首先，我们编写一个 Python 脚本，遍历指定文件夹中的 .jsonl 文件，并检测每个文件的编码类型。我们会将所有检测到的编码类型去重，并输出唯一的编码类型到控制台，便于分析文件的编码分布情况。

import os
import chardetdef detect_encoding(file_path):# 检测文件编码with open(file_path, 'rb') as f:raw_data = f.read()result = chardet.detect(raw_data)return result['encoding']# 指定文件夹路径
folder_path = "C:/path/to/your/jsonl_files"
encoding_results = set()  # 使用集合去重# 遍历文件夹中的所有 .jsonl 文件并检测编码
for filename in os.listdir(folder_path):if filename.endswith(".jsonl"):file_path = os.path.join(folder_path, filename)encoding = detect_encoding(file_path)encoding_results.add(encoding)  # 添加到集合中，自动去重print(f"文件: {filename} 编码: {encoding}")# 输出唯一的编码类型到控制台
print("\n唯一的编码类型:")
for encoding in encoding_results:print(encoding)

代码解析

编码检测函数：detect_encoding 函数使用 chardet 库检测文件的编码类型，返回检测到的编码格式。
遍历文件夹：指定文件夹路径后，代码会遍历该文件夹下所有 .jsonl 文件，调用 detect_encoding 函数来检测每个文件的编码。
结果去重：使用集合 encoding_results 存储编码类型，从而自动去重，最终输出唯一的编码类型。

运行代码

将代码保存为 detect_encoding_unique.py，然后运行脚本：

python detect_encoding_unique.py

在终端中，您将看到每个文件的编码类型，以及所有文件的唯一编码类型列表。这样我们可以快速了解文件夹中的 .jsonl 文件包含哪些编码格式，为后续的编码转换提供依据。

将非 UTF-8 编码的文件转换为 UTF-8

检测完编码之后，我们可以进一步将所有非 UTF-8 编码的文件转换为 UTF-8。以下是转换代码：

import os
import chardetdef convert_to_utf8(file_path):# 检测文件编码with open(file_path, 'rb') as f:raw_data = f.read()result = chardet.detect(raw_data)encoding = result['encoding']# 如果文件已经是 UTF-8 编码，跳过转换if encoding.lower() == 'utf-8':print(f"{file_path} 已经是 UTF-8 编码，无需转换。")return# 使用检测到的编码读取文件内容并转换为 UTF-8 编码with open(file_path, 'r', encoding=encoding) as f:content = f.read()# 将内容重新保存为 UTF-8 编码with open(file_path, 'w', encoding='utf-8') as f:f.write(content)print(f"{file_path} 已成功从 {encoding} 编码转换为 UTF-8 编码。")# 指定文件夹路径
folder_path = "C:/path/to/your/jsonl_files"# 遍历文件夹中的所有 .jsonl 文件
for filename in os.listdir(folder_path):if filename.endswith(".jsonl"):file_path = os.path.join(folder_path, filename)convert_to_utf8(file_path)