大型语言模型 (LLM) 是有用的助手 – 它们擅长组合概念,并且可以阅读、编写和编码来帮助人们解决问题。但他们能发现全新的知识吗?由于法学硕士已被证明会“幻觉”事实上不正确的信息,因此利用它们来做出可验证的正确发现是一个挑战。
FunSearch,一种搜索数学和计算机科学新解决方案的方法。 FunSearch 的工作原理是将预先训练的法学硕士(其目标是以计算机代码的形式提供创造性解决方案)与自动“评估器”配对,以防止幻觉和错误想法。通过在这两个组件之间来回迭代,最初的解决方案“演变成”新的知识。系统搜索用计算机代码编写的“函数”;因此得名 FunSearch。
科学进步始终依赖于分享新理解的能力。 FunSearch 之所以成为一个特别强大的科学工具,是因为它输出的程序揭示了其解决方案是如何构建的,而不仅仅是解决方案是什么。
FunSearch 是一个迭代过程;在每次迭代中,系统都会从当前的程序池中选择一些程序,并将其馈送到法学硕士。法学硕士创造性地在此基础上构建,并生成新的程序,并自动评估。最好的程序将被添加回现有程序库中,从而创建一个自我改进的循环。 FunSearch 使用 Google 的 PaLM 2,但它与其他接受代码培训的法学硕士兼容。
FunSearch 生成的解决方案(以程序的形式)在某些情况下发现了迄今为止发现的最大的上限集。这是过去 20 年来上限规模的最大增幅。此外,FunSearch 的性能优于最先进的计算求解器,因为这个问题的规模远远超出了它们当前的能力。
这些结果表明,FunSearch 技术可以让超越困难组合问题的既定结果,而在这些问题上很难建立直觉。这种方法能够在组合学中类似理论问题的新发现中发挥作用,并在未来可能在通信理论等领域开辟新的可能性。
FunSearch项目详细展示地址:(点击查看)