机器配置

• 阿里云GPU规格ecs.gn6i-c4g1.xlarge
• NVIDIA T4显卡*1
• GPU显存16G*1

准备训练数据

• 进入/ChatGLM-6B/ptuning
• mkdir AdvertiseGen
• cd AdvertiseGen
• 上传 dev.json 和 train.json
• 内容都是

{"content": "你是谁", "summary": "你好，我是V校人工智能，江湖人称V-Chat。"}
{"content": "V校", "summary": "全宇宙最牛的智慧校园产品"}

安装依赖

• pip install fastapi uvicorn datasets jieba rouge_chinese nltk cpm_kernels

修改train.sh

• 修改模型参数文件位置: --model_name_or_path ../THUDM/chatglm2-6b
• 修改后的train.sh

PRE_SEQ_LEN=128
LR=2e-2
NUM_GPUS=1torchrun --standalone --nnodes=1 --nproc-per-node=$NUM_GPUS main.py \--do_train \--train_file AdvertiseGen/train.json \--validation_file AdvertiseGen/dev.json \--preprocessing_num_workers 10 \--prompt_column content \--response_column summary \--overwrite_cache \--model_name_or_path ../THUDM/chatglm2-6b \--output_dir output/adgen-chatglm2-6b-pt-$PRE_SEQ_LEN-$LR \--overwrite_output_dir \--max_source_length 64 \--max_target_length 128 \--per_device_train_batch_size 1 \--per_device_eval_batch_size 1 \--gradient_accumulation_steps 16 \--predict_with_generate \--max_steps 3000 \--logging_steps 10 \--save_steps 1000 \--learning_rate $LR \--pre_seq_len $PRE_SEQ_LEN \--quantization_bit 4

开始训练

• bash train.sh

训练进度

• 查看GPU使用: watch -n 0.5 nvidia-smi
  

推理

• 修改evaluate.sh

• 修改模型参数文件位置: --model_name_or_path ../THUDM/chatglm2-6b
• 修改后的evaluate.sh

PRE_SEQ_LEN=128
CHECKPOINT=adgen-chatglm2-6b-pt-128-2e-2
STEP=3000
NUM_GPUS=1torchrun --standalone --nnodes=1 --nproc-per-node=$NUM_GPUS main.py \--do_predict \--validation_file AdvertiseGen/dev.json \--test_file AdvertiseGen/dev.json \--overwrite_cache \--prompt_column content \--response_column summary \--model_name_or_path ../THUDM/chatglm2-6b \--ptuning_checkpoint ./output/$CHECKPOINT/checkpoint-$STEP \--output_dir ./output/$CHECKPOINT \--overwrite_output_dir \--max_source_length 64 \--max_target_length 64 \--per_device_eval_batch_size 1 \--predict_with_generate \--pre_seq_len $PRE_SEQ_LEN \--quantization_bit 4

• 开始推理: sh evaluate.sh

在这里插入图片描述

评测指标为中文 Rouge score 和 BLEU-4。生成的结果保存在 ./output/adgen-chatglm2-6b-pt-128-2e-2/generated_predictions.txt。

运行

• 修改web_demo.sh

• 修改模型参数文件位置: --model_name_or_path ../THUDM/chatglm2-6b
• 修改后的web_demo.sh

PRE_SEQ_LEN=128CUDA_VISIBLE_DEVICES=0 python3 web_demo.py \--model_name_or_path ../THUDM/chatglm2-6b \--ptuning_checkpoint output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-3000 \--pre_seq_len $PRE_SEQ_LEN

• 修改web_demo.sh
  在末尾的位置修改如下

#demo.queue().launch(share=False, inbrowser=True)
demo.queue().launch(share=True, inbrowser=True, server_name = '0.0.0.0', server_port=7860)

• 启动: sh web_demo.sh
• 浏览器访问: http://xx.xx.xx.xx:7860