我上篇博客写了我做的测试Baichuan2-13B模型的一些工作,测试过程免不了要修改代码,在代码中接触了下所谓的few-shot。
比如,所谓2-shot,就是在提示词里提供两个问题和答案,让大模型以为自己回答过问题,后面生成文本会参考前面的内容。2-shot的提示词如下:
而0-shot,或者zero-shot在正式的问题前面就没有追加的例子。0-shot的提示词如下:
经过我的测试,2-shot的情况下,Baichuan2-13B-Base的C-Eval准确率是0.587,同样的方法,0-shot的情况下则只有0.579。
所以few-shot其实能增加大语言模型的能力的。
参考资料
baichuan2-13b-base的C-Eval得分简析