230908-MetaGPT构建专属AI Agent的技术实践-视频笔记

LangChain >>> 概念过载
MetaGPT：通过AI，完成GPT的自举
原编程应该是一个函数，而不是人去做
3月到5月：目前业界所有开源工程及对应论文60+，写了54篇对应笔记
LangChain >>> 9万6000行代码，655个内核，2826个函数，总笔记1万1000字
很多开源项目只是最求概念的完整，而非实用性；MetaGPT希望具体的事情做出来
智能体协议Agent Protocol：Agent之间的交互方式。
当前市场尚未有大一统的Agent Protocal，今年下半年可能会有一个版本，Agent技术加速
问：MetaGPT的规模化、产品化，到底还需要多久？答：需要一个工业化的过程。
· MetaGPT：1903年莱特兄弟，造出了第一价飞机，能飞十几秒 >>> 飞行理论得到验证。
· 战斗机、运输机等的发展需要后面一步一步的工业化。
· 木头飞机什么时候能变成铁皮飞机并能载人>>>18个月>>>500行代码>>>10万行代码，完成项目级的代码自动化
MetaGPT参考了很多框架，清楚哪些部分是必须的，哪些部分是非必需的。
目前MetaGPT出于一个初级阶段。
角色1：原编程智能体框架；角色2：纯粹的多智能体框架
智能体商城即将上线：MetaGPT等Agents
既定的200多个任务中有80+已经挂在Roadmap上
实践中有很多不确定性，例如如何做测试：不同的语言模型，其提示词可能完全不同
在输入相同的情况下，稳定输出很难；
提示词的撰写类似SOP，高效的SOP可用于不同的智能体
人类世界，一些头部公司，可能花上百亿美元去购买SOP，用于其信息化系统及重点项目上
开发SOP的过程等同于写代码
软件公司有三个Profolio：代码+SOP+团队，SOP的本质是对团队编程
工具链：训练、微调、推理、部署、减枝、蒸馏、量化等所有技巧：智能体本身是很敏感的
Auto-GPT：460美元打水漂>>>缺少SOP和专用模型来解决特定问题
如何解决开发和更多角色互动的一个问题：自动化、智能体环境
当前的开发调试十分困难，例如提示词的调试
大语言模型扮演人类大脑的慢思考；快思考是人类直觉；不同感觉器官需要对应的感觉模块；上述谢谢感官，大语言并没有直接建模；
多模态的建模实际中没有想象中的那么好；哪一种模型能完成完整的智能，需要打一个问号。语言可能是大脑中最重要的，但它并不是唯一的。出了它之外，还有十几个专业的模块。
大脑出了情感外，大部分对于智能体而言，都是必要的。
短期记忆（把今天发生的事都记录下来）+长期记忆（向量检索>>>人的记忆是分层的，并非所有记忆都是等效的：向量检索、图像检索、树状检索等，是否都用？哪种更好？）
视觉大语言模型需要平衡：效果与成本。图像Token消耗巨大；每条600fps推理。
谷歌智能体不能超过5个，强化学习超过5个就没法仿真。在特定的环境下解决特定的问题，实际很难收敛。
强化学习：在一个房间烧水，然后预测体温，100分只得2分。强化学习不能很好理解世界语言。
原来的强化学习从零开始理解世界。现在的Agent在RL中利用世界知识。
问：AGI的L4如何定义？如何达到？答：10w行代码 >>> API交互 >>> Agent实现 Linux 10W代码 >>> 类似人类水平
ChatGPT-4 vs 国产框架：Llama2可以跑，但有问题；国产LLM可以跑，单有问题，需要花一定时间，一定工作，来解决相关问题。开源的水位不断变高，大家的水平会逐渐向GPT4看齐。
Gpt-3.5 turobo和Gpt-4未来可能会开源。
Agent需要成为业务智能体，而非软件Agent。两者如何协同。组织形态：一个群体？一堆100群体？10亿级群体？不同Agent的交易方式，决定了它的业务逻辑。
HR是智能体、财务是智能体、业务非智能体。业务需求是很复杂的。例如300页。未来需要将大的需求进行拆解，或通过结构化的方式进行任务分解。不同Agent公司提供的Agent的能力是完全不同。未来会有智能体的交易、定价等。让Agent具备领域专家的机械能力。
人类沟通理解的过程是十分昂贵的，更何况是智能体。将Agent与软件工程进行组合。
SOP回顾：两百多年前，亚当斯密提出了人类分工。分工的两个好处：职业路径-训练微调的过程；有SOP，在流水线上讲生产节拍的（不能少、且足够标准）。SOP是人类世界的最高级别的规划。SOP和规划是两码事。
SAM Outman需要通过合成数据，顶一些数据。现实世界的数据，基本上已经全部用完了，只能达到现在这个效果。现在来看，ChatGpt4能够提升的上限并不会特别高。大部分提升的点是在策略上，而非模型上。如何提升：SOP、思考策略。
5步工作法：1.让需求不那么蠢；2.减去无用的流程或部分；3. 简化和优化 4. 加快迭代； 5.进化。有些SOP在Agent上效果特别好。有效SOP适应度没有那么高。
好的SOP和灵活度其实是相悖的。
硅谷2000亿美元的投资。MetaAI的应对方式：开源。
MetaAI的价值：开源+闭源合作。提供AI落地的所有工作。服务国内的世界500强。
MetaGPT做销售、客服服务，整体代码量少，局部修改即可用。
MetaGPT+代码大模型 >>> 提高代码开发的效率
先做出实际效果，能够落地，再抓人一起发论文，类似Google。MetaGPT对社区进行招募，集中写论文。MetaGPT在国际上有影响力。已有几十个不同媒体和大V对该工作进行报告。开发者拥有更高认可度。10行有效代码即可。
社区里面每个人都能够参加到AGI的工作之中。