这个是基于视频 https://www.bilibili.com/video/BV17t4218761，可以了解一下大模型里面的一些技术和最近的发展，基本都是2022你那以来的发展，比较新。然后本文需要一定的基础，比如知道啥是语言模型，知道深度学习以及怎么训练之类的。

如何炼成ChatGPT

1. 先预训练一个生成语言模型，以自监督方式，也就是给定前面的单词预测下一个单词。得到模型A。

2. 有监督微调，也就是给定问题和答案，对1中学习的预训练模型进行微调。得到模型B。

3. 2里面有一个问题，那就是需要标注数据，每一个问题，人类都要搞一个答案，所以有了强化学习的解决方案。具体来说，再训练一个模型C，这个模型学习如何给一个（问题，答案）打分，至于说给多少分，也是需要人类标注数据的，人类需要标注（问题，答案，打分），也就是说一个问题可能会有多个答案，好的不好的答案都有，但打分不同，这个模型C训练好了之后，就可以用来监督模型D了

4. 在模型A的基础上，输入一个问题，模型A会输出一个答案，这个答案和问题一起交给模型C，我们可以得到一个得分，这个得分会反馈给模型A，从而模型A不断学习，想要提高得分，得到模型D。这个叫做强化学习，此时模型C叫做奖励模型。

如何调教ChatGPT

1. 小样本提示：给若干个问题，答案的示范，然后再问你的问题。
2. 思维链chain of thought。先给一个示范：即给一个问题，自己给出答案，并且给出中间步骤是如何一步一步得到这个答案的，然后再问你想要问的问题。
3. 分步骤思考，在问题后面加上一句：请你分步思考。

如何武装ChatGPT

1.检索增强生成：有些数据ChatGPT没有训练过，这个时候你问它它肯定不会，所以我们需要的就是给模型一个文档，然后让它根据文档来回答问题。

2.程序辅助语言模型：类似的，ChatGPT肯定也没有训练过一些比较冷门的数学计算，比如9283*31231.231，这个时候也要借助外部工具，不过不是文档了，而是计算器。这里不是你想的那样，调用一个在线计算器API，而是将计算的问题翻译成一段python代码，然后自己执行这段代码，得到计算结果。

3.推理行动结合：这个感觉就是思维链，甚至2其实也是思维链，只是这里的行动指的是访问外部API了，比如浏览器。推理就还是思维链，行动是根据推理的，然后行动之后有结果，这个结果又会进行推理，一直这样进行下去，直到模型认为回答完毕了（推理得到了）用户的问题。

其中3如下：

一些大模型的其他方向

这里来自于视频https://www.bilibili.com/video/BV1hM41157ZF。