Logits是一个在深度学习中,几乎一直都有的概念,它意味着模型unnormalized final scores. 然后你可以通过softmax得到模型针对你class的概率分布。
而在llama2的代码中,同样有logits的使用,那么针对llama2,logits的作用是什么呢?
在llama2中,当模型进行推理后,得到的是一个[1,n, 32000]的输出,然后基于第n个向量[1,32000], 可以进行sample_top_p,或者argmax的处理,来获得下一个token对应的index,只需要利用tokenizer的解码就可以生成token了。通过这种方式,我们可以实现对对于token的缓存和更新。
What does Logits in machine learning mean? - Data Science Stack Exchange