1 大模型是怎么生成内容的
简单来说就是靠"猜"!
虽然⾮常不可思议,但事实就是这样,现阶段所有的 NLP 任务,都不意味着机器真正理解这个世界,它只是在玩⽂字游戏,进⾏⼀次⼜⼀次的概率解谜,本质上和我们玩报纸上的填字游戏是⼀个逻辑。只是我们靠知识和智慧,AI 靠概率计算。
基于LLM演进出最主流的两个⽅向:BERT和GPT
其中 BERT 是之前最流⾏的⽅向,几乎统治了所有 NLP 领域,并在⾃然语⾔理解类任务中发挥出色(例如⽂本分类、情感倾向判断等)
⽽GPT ⽅向则较为薄弱,事实上在 GPT3.0 发布前