无论数据类型或目标如何，用于训练和使用 AutoML 模型的工作流都是相同的：

准备训练数据。
我们需要将需要训练的数据准备为jsonl格式，这种格式的特点就是每一行都是json的格式
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

{"prompt": "医药和消费有什么基金推荐的", "completion": "医药可以看看工银前沿的赵蓓，她挺均衡的，对于这个行业我了解不多，你还可以看看医药100指数，消费挺多的，消费50也挺好。"}
{"prompt": "请教一下老师，恒生科技第一大持仓股是快手。而快手是亏损最大的互联网企业。似乎齐老师也说过不看好快手，会不会影响恒生科技持仓。", "completion": "如果你要是能选股，确实不应该买指数。从指数选择的角度来说。中概互联我们更看好一些。但他跟恒生科技的相关度其实很高"}
{"prompt": "想问一下国投瑞银这边基金公司和綦缚鹏的风格实力怎么样", "completion": "他风格不是很固定。最近在偏向周期。（个人观点，不作为投资建议）"}

其中，prompt是问题，completion是答案。

创建数据集。
openai tools fine_tunes.prepare_data -f dataset.jsonl
该指令会帮我们优化训练数据，该指令运行过程中会问我们几个问题，主要是给prompt添加了固定的后缀，比如”->”，给completion添加了开头的空格和结尾的换行符，如下
{"prompt":"医药和消费有什么基金推荐的 ->","completion":" 医药可以看看工银前沿的赵蓓，她挺均衡的，对于这个行业我了解不多，你还可以看看医药100指数，消费挺多的，消费50也挺好。\n"}
{"prompt":"请教一下老师，恒生科技第一大持仓股是快手。而快手是亏损最大的互联网企业。似乎齐老师也说过不看好快手，会不会影响恒生科技持仓。 ->","completion":" 如果你要是能选股，确实不应该买指数。从指数选择的角度来说。中概互联我们更看好一些。但他跟恒生科技的相关度其实很高\n"}
{"prompt":"想问一下国投瑞银这边基金公司和綦缚鹏的风格实力怎么样 ->","completion":" 他风格不是很固定。最近在偏向周期。（个人观点，不作为投资建议）\n"}

准备好的数据文件是dataset_prepared.jsonl


训练模型。
如果是微调，则是提交数据集
openai api fine_tunes.create -t dataset_prepared.jsonl -m curie
训练的进度可以通过下面这个命令获取，ft-SSIJ4DsHFfp9LEtuHWyQcn5B这个是fine-tuning的job ID，是上面create命令会给出的。
openai api fine_tunes.follow -i ft-SSIJ4DsHFfp9LEtuHWyQcn5B

用新模型进行提问
(.venv) ➜   openai api completions.create -m "curie:ft-personal-2023-04-04-15-28-34" -p "医药和消费有什么基金推荐的 ->"

Dify 是一个可视化、可运营、可改进的 LLM 训练平台，它提供了强大的 LLMOps 能力。此外，它还提供了搭建 Web App 的能力。这些意味着你可以用它快速开发一个专属于你的 ChatGPT 应用，你可以基于此进行训练、微调，直到它变成你喜欢的模样！

自己训练大模型
git clone  GitHub - xinzhanguo/hellollm: pre train a new llm

 

下载成功之后文件
 

cd hellollm
# 编译镜像（此处需要科学上网）
docker build -t hellollm:beta .
 

# 可以选择以GPU方式运行
# docker run -it --gpus all hellollm:beta sh
docker run -it hellollm:beta sh
python sanguo.py
 

GPU满负荷运转
 

训练
 

训练完成，输出测试结果
 

评估和迭代模型。
从模型获取预测结果。
解读预测结果。

ChatGPT进阶：利用Fine-tuning训练自己的模型
怎么训练自己的ai小模型?
手把手带你从0开始训练自己的yolov3模型（草履虫都能学会）
仅用61行代码，你也能从零训练大模型 原创作者｜辛占国
训练自己的目标检测模型（SSD篇）

如何训练一个自己的GPT模型  作者：闫金钢