只用1/200的参数，就能让大模型拥有和GPT-4一样的数学能力？
复旦大学和上海AI实验室的研究团队刚刚研发出了一款具有超强数学能力的模型。
这款模型名为MCTSr，以Llama 3为基础，参数量只有8B，却在奥赛级别的题目上取得了与GPT-4相当的准确率。没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：
升级ChatGPT-4o Turbo步骤
https://www.zhihu.com/pin/1768399982598909952
MCTSr结合了AlphaGo中使用的蒙特卡洛算法与Llama 3，能够用少量数据实现与GPT-4等大模型相同的效果，让网友感叹Q*成真，小模型在数学上也能媲美GPT-4。
那么，MCTSr具体运用了什么方法呢？
论文地址：https://arxiv.org/abs/2406.07394
GitHub：https://github.com/trotsky1997/MathBlackBox
01 将蒙特卡洛引入大模型
MCTSr中的MCT指的是蒙特卡洛树（Monte Carlo Tree），而Sr则指自我完善（Self-Refine）。
蒙特卡洛树是一种使用重复随机采样生成合成模拟数据的近似方法，谷歌的围棋机器人AlphaGo也使用了这种方法。
在解答数学问题时，MCTSr中的大模型首先生成初步答案（甚至可以是“我不知道”），但不会直接作为输出。
为了改进这个初始答案，MCTSr算法会对其进行评估和反馈，语言模型会被要求对答案进行评价和批评，分析其中可能存在的问题。
然后大模型基于反馈进行自我修正，产生一个新的答案，这个新版本会纳入搜索树中，成为一个新的子节点。针对多个子节点，系统会进行评分和奖励采样，计算出该节点的“Q值”，综合考虑节点在最坏情况和平均情况下的表现。
为了提高评估的可靠性，系统采用了严格的打分标准，并进行重复采样，同时采取了禁止模型给出满分等策略。
基于Q值，MCTSr会使用改进的UCB公式计算每个叶子节点的UCT值，选择UCT值最高的节点进行扩展。
计算UCT值的目的是平衡节点的平均奖励和访问频率，避免单纯追求高Q值导致的效率下降。
此外，作者修正的UCT计算公式中还引入了动态调整探索系数c，以便在搜索过程中适应不同的问题复杂度，并在探索广度和深度之间做出平衡。
被选中的节点会通过大模型再次进行自我修正，生成新的答案节点，然后再次进行自我评估并计算Q值。新的Q值会被反向传播到其父节点和祖先节点，确保搜索树中节点的质量评估随着搜索的进行而不断改进。
根据新的Q值和访问次数，各个节点的UCT值也会被重新计算。上述步骤会不断重复，直到满足预设的终止条件，此时具有最高Q值的答案节点被视为问题的最优解。
通过蒙特卡洛搜索、自我完善与大模型的结合，MCTSr实现了数学问题最优解的生成。
那么，这种方法的实际效果如何呢？
02 成绩不输GPT-4和Claude-3
在测试中，作者使用了四种模型配置——零样本思维链（CoT），以及1/4/8轮自我优化的MCTSr，其中零样本为对照组。
测试数据集包括MATH的5个level，GSM-8K和GSM-Hard，以及一系列奥赛级别的数据集——AIME、Math Odyssey和OlympiadBench。
在GSM和MATH测试中，随着自我优化轮数的增加，模型的准确率也在增加。经过8轮优化后，在GSM-8K上达到了96.66%，与Gemini（94.4）、Claude-3（95）和GPT-4（97.1）相当。
在MATH测试中，无论是整体还是细分的五个难度等级，成绩随优化轮数的变化都呈现相同趋势。特别是在最困难的Level-5上，8轮后的成绩接近对照组的5倍。尽管在MATH上，MCTSr略逊于Gemini、Claude-3和GPT-4，但也接近Claude的水平。
在更困难的奥赛级别题目上，自我优化显著增强了MCTSr的能力。在Math Odyssey上，MCTSr甚至超过了Gemini、Claude-3和GPT-4，三者的成绩分别为45、40和49.1。
同时，在OlympiadBench上，经过8轮优化后，MCTSr的成绩是零样本时的6.2倍。
值得一提的是，Math Odyssey数据集在2024年4月才发布，其内容与Llama 3的预训练语料重叠度很低。
而在这个数据集上，MCTSr模型的性能从Zero-Shot CoT的17.22%提升到了8-rollouts MCTSr的49.36%。这一结果表明，MCTSr在面对全新问题时，已经显现出了一定的泛化能力。
如何使用WildCard正确方式打开GPT-4o，目前 WildCard 支持的服务非常齐全，可以说是应有尽有！官网有更详细介绍：WildCard
推荐阅读：
全球首个开源类Sora模型大升级，16秒720p画质电影感爆棚！代码和权重全面开源！
AI写代码，CS还有前途吗？加州大学伯克利分校：CDSS申请人数激增48%！
