标注的文件太多了,还有用数据增强工具生成了一票的新数据。在转换或使用训练时候会报错,错误原因是json中语法有问题,这样会中断程序运行,调试造成很大困扰。
检查确实最后有问题,多写了一次
写一个脚本,用于检查文件夹下所有的json文件是否合规,不合规的记录并输出,然后自己改。
import json
import glob
import os# 获取文件夹中所有的JSON文件
json_files = glob.glob('*.json')# 创建一个列表来存储存在语法错误的文件名
invalid_files = []# 遍历所有的JSON文件
for json_file in json_files:try:with open(json_file, 'r') as f:print(json_file)# 尝试解析JSON文件data = json.load(f)except json.JSONDecodeError:# 如果解析失败,则添加文件名到invalid_files列表invalid_files.append(json_file)# 输出有语法错误的JSON文件名
if invalid_files:print("以下文件存在语法错误:")for file in invalid_files:print(os.path.basename(file))
else:print("所有文件都无语法错误。")