How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources
统一输入格式:将所有数据集格式化为遵循聊天机器人风格的模式,以统一指令数据集的各种风格和格式。用户输入和目标话语之前特殊token:,助手结尾标志。
TÜLU:通过整合资源实现更好的教学调优模型
加指令的多样性可以有效地提高指令调整的性能。所以创建了两个混合数据集,人类创作的数据集和人类+GPT混合创作的数据集。将在人类+GPT数据混合物上训练的LLAMA模型命名为TÜLU。
一些结果: