每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/
设计AI应用(如聊天机器人和编码助手)的计算工作流程非常复杂,因为需要管理许多异构参数,如提示和机器学习超参数。部署后的错误需要手动更新,增加了挑战性。该研究探讨了旨在自动化设计和更新这些工作流程的优化问题。由于其复杂性,涉及相互依赖的步骤和半黑盒操作,传统的优化技术(如贝叶斯优化和强化学习)往往效率不足。虽然提出了基于LLM的优化器以提高效率,但大多数仍依赖标量反馈,并处理仅包含单一组件的工作流程。
微软研究院和斯坦福大学的研究人员提出了一个名为Trace的框架,用于自动化设计和更新AI系统(如编码助手和机器人)。Trace将计算工作流程视为类似于神经网络的图结构,并使用Trace Oracle优化(OPTO)优化异构参数。Trace高效地将工作流程转换为OPTO实例,使通用优化器OptoPrime能够基于执行轨迹和反馈迭代更新参数。这种方法提高了跨多个领域的优化效率,在提示优化、超参数调整和机器人控制器设计等任务中表现优异,超过了专门优化器。
现有框架如LangChain、Semantic Kernels、AutoGen和DSPy主要通过标量反馈和黑盒搜索技术来组合和优化计算工作流程。而Trace不同的是,它使用执行追踪进行自动优化,将计算图泛化以适应各种工作流程。Trace的OPTO框架支持提示、超参数和代码的联合优化,提供丰富的反馈,并动态适应工作流程结构的变化。它将自动微分原则扩展到不可微工作流程,实现高效的自适应代理和通用优化,且在多个任务中超越了专门优化器。
OPTO构成了Trace的基础,定义了一个用于迭代优化的基于图的抽象。计算图是一个DAG,其中节点表示对象,边表示输入输出关系。在OPTO中,优化器选择参数,Trace Oracle返回包含计算图和输出输入的轨迹反馈。此反馈可以包括分数、梯度或自然语言提示。优化器使用这些反馈来迭代更新参数。与黑盒设置不同,执行轨迹提供了到输出的清晰路径,使参数更新更加高效。Trace利用OPTO通过抽象设计和领域特定组件来优化各种工作流程。
基于LLM的优化算法OptoPrime是为OPTO问题设计的。它利用LLM的编码和调试能力来处理执行轨迹子图。Trace反馈是一种伪算法,允许LLM建议参数更新。OptoPrime包括一个内存模块,用于跟踪过去的参数反馈对,增强鲁棒性。实验表明,OptoPrime在数值优化、交通控制、提示优化和长时间跨度机器人控制任务中的有效性。OptoPrime在利用执行轨迹信息和记忆方面表现出优异性能,优于其他优化器。
Trace将计算工作流程优化问题转化为OPTO问题,并通过OPTO优化器OptoPrime有效地展示了这一点。这标志着向新优化范式迈出了初步步骤,并具有多种未来方向。LLM推理的改进,如链式思维、少样本提示、工具使用和多代理工作流程,可能会改善或启发新的OPTO优化器。结合LLM和搜索算法与专用工具的混合工作流程可能会产生一个通用的OPTO优化器。特别是针对大规模图的计算传播器的专门化,以及开发能够进行反事实推理的优化器,可能会提高效率。非文本上下文和反馈也可能扩展Trace的适用性。
https://github.com/microsoft/Trace