https://zhuanlan.zhihu.com/p/692892489https://zhuanlan.zhihu.com/p/6928924891.常见的sft的开发流程
a.根据业务场景调整提示词;越详细越好,不要让模型理解歧义,拆分。
b.尝试闭源和开源,以评估LLM能够解决这类场景问题。
c.准备数据,包括多个子任务。
d.训练上线迭代。
2.训练数据要注重什么?
a.确保回答格式和风格的统一。gpt4的回答风格是先复述理解问题,再回答,再总结。经验是训练数据的格式和风格越统一,越能最大限度的发挥模型在具体任务的效果上线。在LIMA,YI,Reformatted alignment中都有提到。
b.训练集既要包含难也要包含易。