CBLUEbenchmark 跑通

github源地址
1.配置

• 数据下载
  新建文件夹CLBUEDatasets,将数据放在该文件夹下
• 模型下载到github源地址中选择一个模型来下载:
  
  将下载好的模型放在一个专门放模型的文件夹下，我这里是bert
  文件如下所示放置：
  
  2.训练模型（以CMeEE任务为例）：
  首先更改examples\run_ee.sh文件

#!/usr/bin/env bashDATA_DIR="../CBLUEDatasets"TASK_NAME="ee"
MODEL_TYPE="bert"
MODEL_DIR="../bert/"#这里是模型存放路径
MODEL_NAME="chinese_wwm_ext_pytorch"#需要使用的模型
OUTPUT_DIR="../data/output"#输出结果地址
RESULT_OUTPUT_DIR="../data/result_output"MAX_LENGTH=128echo "Start running"if [ $# == 0 ]; thenpython ../baselines/run_classifier.py \#这里记得baselines前面加上../--data_dir=${DATA_DIR} \--model_type=${MODEL_TYPE} \--model_dir=${MODEL_DIR} \--model_name=${MODEL_NAME} \--task_name=${TASK_NAME} \--output_dir=${OUTPUT_DIR} \--result_output_dir=${RESULT_OUTPUT_DIR} \--do_train \--max_length=${MAX_LENGTH} \--train_batch_size=16 \--eval_batch_size=16 \--learning_rate=3e-5 \--epochs=5 \--warmup_proportion=0.1 \--earlystop_patience=100 \--max_grad_norm=0.0 \--logging_steps=200 \--save_steps=200 \--seed=2021
elif [ $1 == "predict" ]; thenpython ../baselines/run_classifier.py \#这里也记得加上--data_dir=${DATA_DIR} \--model_type=${MODEL_TYPE} \--model_name=${MODEL_NAME} \--model_dir=${MODEL_DIR} \--task_name=${TASK_NAME} \--output_dir=${OUTPUT_DIR} \--result_output_dir=${RESULT_OUTPUT_DIR} \--do_predict \--max_length=${MAX_LENGTH} \--eval_batch_size=32 \--seed=2021
fi

然后直接执行bash run_ee.sh 对模型进行训练
中间保存的一些数据放在data/output下，运行结束后会有：

3.预测模型
执行

bash run_ee.sh predict

预测结果会放在data/result_output下：

4.检查格式是否正确
将原任务的test.json重命名为test_raw.json和测试结果放在format_checker文件夹下：

然后执行

python format_checker_CMeEE.py CMeEE_test_raw.json CMeEE_test.json

格式正确会：