总述
- HuggingGPT 让LLM发挥向路由器一样的作用,让LLM来选择调用那个专业的模型来执行任务。
- HuggingGPT搭建LLM和专业AI模型的桥梁。
- Language is a generic interface for LLMs to connect AI models
四个阶段
-
Task Planning: 将复杂的任务分解。但是这里是将任务分解为一系列的structured tasks。还可以通过之前的 chat logs 辅助生成子任务
-
Model Selection: 根据任务的需求和模型的描述来选择模型执行任务
-
Task Excution: 执行任务
-
Response Generation: 将前三阶段的执行结果进行整合,输出。
Limitations
-
Planning 不能保证每次LLM生成的plan是最合适的或者最优的
-
Efficiency HuggingGPT 在整个工作流程中需要多次和LLM进行交互,等待相应个过程中增加了等待的成本。
-
Token Length 有限制,而要选择合适的AI Model,需要将模型的description进行总结
-
Instability 不稳定性,不能保证每次LLM生成出来的内容都是符合格式要求的并且能使得工作流正常运行。