【第6节】Lagent AgentLego 智能体应用搭建

目录

  • 1 基础课程
  • 2 安装环境
    • 2.1 教程要求
    • 2.2 安装 Lagent 和 AgentLego
  • 3 实践操作
    • 3.1 Lagent:轻量级智能体框架
      • 3.1.1 Lagent Web Demo 使用
      • 3.1.2 用 Lagent 自定义工具
    • 3.2 AgentLego:组装智能体“乐高”
      • 3.2.1 AgentLego 直接使用部分
      • 3.2.2 AgentLego WebUI 使用
      • 3.2.3 用 AgentLego 自定义工具
  • 4 常见问题解决
  • 5 ref

【相关链接汇总】
视频讲解 | 文档 | lagent- github官网 | agentlego-github地址
【作业内容】

  • 基础作业
    完成 Lagent Web Demo 使用,并在作业中上传截图。文档可见 Lagent Web Demo
    完成 AgentLego 直接使用部分,并在作业中上传截图。文档可见 直接使用 AgentLego。

  • 进阶作业
    完成 AgentLego WebUI 使用,并在作业中上传截图。文档可见 AgentLego WebUI。
    使用 Lagent 或 AgentLego 实现自定义工具并完成调用,并在作业中上传截图。文档可见:
    用 Lagent 自定义工具
    用 AgentLego 自定义工具

  • 大作业选题
    算法方向
    在 Lagent 或 AgentLego 中实现 RAG 工具,实现智能体与知识库的交互。
    基于 Lagent 或 AgentLego 实现工具的多轮调用,完成复杂任务。如:智能体调用翻译工具,再调用搜索工具,最后调用生成工具,完成一个完整的任务。

    应用方向
    基于 Lagent 或 AgentLego 实现一个客服智能体,帮助用户解决问题。
    基于 Lagent 或 AgentLego 实现一个智能体,实现艺术创作,如生成图片、视频、音乐等。

1 基础课程

(1)为什么要有智能体
在这里插入图片描述
(2)定义
在这里插入图片描述
(3)组成
在这里插入图片描述(4)其他范式
在这里插入图片描述- AutoGPT
在这里插入图片描述

  • ReWoo

在这里插入图片描述

  • ReAct

在这里插入图片描述(5)Lagent

Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式,也支持了如下工具:

Arxiv 搜索
Bing 地图
Google 学术搜索
Google 搜索
交互式 IPython 解释器
IPython 解释器
PPT
Python 解释器

在这里插入图片描述(6)AgentLego

在这里插入图片描述AgentLego 是一个提供了多种开源工具 API 的多模态工具包,旨在像是乐高积木一样,让用户可以快速简便地拓展自定义工具,从而组装出自己的智能体。通过 AgentLego 算法库,不仅可以直接使用多种工具,也可以利用这些工具,在相关智能体框架(如 Lagent,Transformers Agent 等)的帮助下,快速构建可以增强大语言模型能力的智能体。

AgentLego 目前提供了如下工具:

在这里插入图片描述to-do:
这个调用多模态、图像处理(背靠mmlab大腿)和AIGC的能力写的很强,但是好像没有给出具体demo,后续有时间得做一做。

(7)lego & agentlego关系
经过上面的介绍,我们可以发现,Lagent 是一个智能体框架,而 AgentLego 与大模型智能体并不直接相关,而是作为工具包,在相关智能体的功能支持模块发挥作用。

两者之间的关系可以用下图来表示:

在这里插入图片描述

2 安装环境

2.1 教程要求

在这里插入图片描述所以复用之前docker (cuda12.2- torch2.1-flatten-attn2.5)
docker前置安装和搭建过程, 参见之前的讲解和链接。 【第5节】LMDeploy 大模型量化部署实践

# pip下载源更换
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com
pip config list# torch环境安装 cuda12.2 - torch 2.1.2 
conda create -n lmdeploy -y python=3.10
conda activate lmdeploy
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu121# lmdeploy
pip install lmdeploy[all]==0.3.0
pip install modelscope

2.2 安装 Lagent 和 AgentLego

Lagent 和 AgentLego 都提供了两种安装方法,一种是通过 pip 直接进行安装,另一种则是从源码进行安装。为了方便使用 Lagent 的 Web Demo 以及 AgentLego 的 WebUI,我们选择直接从源码进行安装。
此处附上源码安装的相关帮助文档:

Lagent:https://lagent.readthedocs.io/zh-cn/latest/get_started/install.html
AgentLego:https://agentlego.readthedocs.io/zh-cn/latest/get_started.html

# step1: lmdeploy docker run
#docker run --name llmdeploy_cuda12.2_torch2.1_test \
#-p 6006:6006 \
#--gpus all \
#-it -v /home/fusionai/docker_share/cuda12.2_torch2.1.2_flashattn2.5.5:/home/#project/llmdeploy \
#jayce0625/cuda12.2_torch2.1.2_flashattn2.5.5 \
#/bin/bash# restart the docker
docker start llmdeploy_cuda12.2_torch2.1_test
docker attach llmdeploy_cuda12.2_torch2.1_test# step2: torch环境安装 cuda12.2 - torch 2.1.2 
conda create -n agent -y python=3.10
conda activate agent
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu121# step3: lmdeploy
pip install lmdeploy[all]==0.3.0# step4: 具体的位置需要自行换一下。安装 Lagent 和 AgentLego
mkdir -p /xxxx_dockerdir/agent
cd /xxxx_dockerdir/agent
# conda activate agent
git clone https://gitee.com/internlm/lagent.git
cd lagent && git checkout 581d9fb && pip install -e . && cd ..
git clone https://gitee.com/internlm/agentlego.git
cd agentlego && git checkout 7769e0d && pip install -e . && cd ..# step5:准备 Tutorial
cd /xxxx_dockerdir/agent
git clone -b camp2 https://gitee.com/internlm/Tutorial.git

3 实践操作

指导文档 :

Lagent:轻量级智能体框架 | AgentLego:组装智能体“乐高” | Agent 工具能力微调
| 用 Lagent 自定义工具 | 用 AgentLego 自定义工具

3.1 Lagent:轻量级智能体框架

在这一部分中,我们将带大家体验 Lagent 的 Web Demo,使用 Lagent 自定义工具,并体验自定义工具的效果。

3.1.1 Lagent Web Demo 使用

(1) docker内部启动一个server

conda activate agent
# 将docker内的`localhost:6006`-> server_ip:6006映射出去; 模型还是用之前下载的1.8b
lmdeploy serve api_server /root/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm2-chat-7b \
--server-name 0.0.0.0 \
--server-port 6006 \
--model-name internlm2-chat-7b \
--cache-max-entry-count 0.5

(2) 外部服务器上(lmdeploy&lagent环境已安装)启动一个Lagent Web Demo进行显示

# 打开lagent/example里面运行这个internlm2_agent_web_demo.py
streamlit run internlm2_agent_web_demo.py \
--server.address 127.0.0.1 
--server.port 7860

(3)查看后端 & 前端显示
打开浏览器http://server_ip:6006
在这里插入图片描述打开浏览器http://127.0.0.1:7860, 注意下图花沟地方需要对应好
在这里插入图片描述

3.1.2 用 Lagent 自定义工具

to-do

3.2 AgentLego:组装智能体“乐高”

在这一部分中,我们将带大家直接使用 AgentLego 工具,体验 AgentLego 的 WebUI,以及基于 AgentLego 自定义工具并体验自定义工具的效果。

在上面介绍中可知,AgentLego 算法库既可以直接使用,也可以作为智能体工具使用。下面将分别介绍这两种使用方式。我们将以目标检测工具为例。

3.2.1 AgentLego 直接使用部分

由于 AgentLego 在安装时并不会安装某个特定工具的依赖,因此我们接下来准备安装目标检测工具运行时所需依赖。

AgentLego 所实现的目标检测工具是基于 mmdet (MMDetection) 算法库中的 RTMDet-Large 模型,因此我们首先安装 mim,然后通过 mim 工具来安装 mmdet。这一步所需时间可能会较长,请耐心等待。

conda activate agent
pip install openmim==0.3.9
mim install mmdet==3.3.0

在安装完成后,可能会观察到以下现象(如下图所示),但请放心,这是正常现象,这并不会影响到我们的使用。
在这里插入图片描述然后通过 touch xxx_dockerdir/direct_use.py(大小写敏感)的方式在xxx_dockerdir目录下新建 direct_use.py 以直接使用目标检测工具,direct_use.py 的代码如下:

# 注意更换一下图片存储路径
import reimport cv2
from agentlego.apis import load_tool# load tool
tool = load_tool('ObjectDetection', device='cuda')# apply tool
visualization = tool('/root/agent/road.jpg')
print(visualization)# visualize
image = cv2.imread('/root/agent/road.jpg')preds = visualization.split('\n')
pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'for pred in preds:name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)cv2.imwrite('/root/agent/road_detection_direct.jpg', image)

接下来在执行 python /root/agent/direct_use.py 以进行推理。在等待 RTMDet-Large 权重下载并推理完成后,我们就可以看到如下输出以及一张位于 /root/agent 名为 road_detection_direct.jpg 的图片

在这里插入图片描述在这里插入图片描述

3.2.2 AgentLego WebUI 使用

(1)修改模型调用文件
由于 AgentLego 算法库默认使用 InternLM2-Chat-20B 模型,因此我们首先需要修改docker之外的运行环境中的模型使用,位置 /xxx/agent/agentlego/webui/modules/agents/lagent_agent.py 文件的第 105行位置,将 internlm2-chat-20b 修改为 internlm2-chat-7b,即
在这里插入图片描述
(2) docker中启动server

conda activate agent
# 将docker内的`localhost:6006`-> server_ip:6006映射出去; 模型还是用之前下载的1.8b
lmdeploy serve api_server /root/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm2-chat-7b \
--server-name 0.0.0.0 \
--server-port 6006 \
--model-name internlm2-chat-7b \
--cache-max-entry-count 0.5

在这里插入图片描述

(3)启动 AgentLego WebU

conda activate agent
cd /root/agent/agentlego/webui
python one_click.py

在这里插入图片描述

(4)参数和使用设置
接下来在本地的浏览器页面中打开 http://localhost:7860 以使用 AgentLego WebUI。首先来配置 Agent,如下图所示。

点击上方 Agent 进入 Agent 配置页面。(如①所示)
点击 Agent 下方框,选择 New Agent。(如②所示)
选择 Agent Class 为 lagent.InternLM2Agent。(如③所示)
输入模型 URL 为 http://server_ip:6006(这块填写docker镜像往外发送的地址) 。(如④所示)
输入 Agent name,自定义即可,图中输入了 internlm2。(如⑤所示)
点击 save to 以保存配置,这样在下次使用时只需在第2步时选择 Agent 为 internlm2 后点击 load 以加载就可以了。(如⑥所示)
点击 load 以加载配置。(如⑦所示)
在这里插入图片描述
然后配置工具,如下图所示。

点击上方 Tools 页面进入工具配置页面。(如①所示)
点击 Tools 下方框,选择 New Tool 以加载新工具。(如②所示)
选择 Tool Class 为 ObjectDetection。(如③所示)
点击 save 以保存配置。(如④所示)

在这里插入图片描述
等待工具加载完成后,点击上方 Chat 以进入对话页面。在页面下方选择工具部分只选择 ObjectDetection 工具,如下图所示。为了确保调用工具的成功率,请在使用时确保仅有这一个工具启用。

在这里插入图片描述

结果如下所示
在这里插入图片描述

3.2.3 用 AgentLego 自定义工具

to-do

4 常见问题解决

(1) KeyError: 'choices'

Traceback:
File “/home/fusionai/anaconda3/envs/intern_demo/lib/python3.9/site-packages/streamlit/runtime/scriptrunner/script_runner.py”, line 542, in _run_script
exec(code, module.dict)
File “/home/fusionai/project/internllm/lagent/examples/internlm2_agent_web_demo.py”, line 333, in
main()
File “/home/fusionai/project/internllm/lagent/examples/internlm2_agent_web_demo.py”, line 286, in main
for agent_return in st.session_state[‘chatbot’].stream_chat(
File “/home/fusionai/project/internllm/lagent/lagent/agents/internlm2_agent.py”, line 287, in stream_chat
for model_state, res, _ in self._llm.stream_chat(prompt, **kwargs):
File “/home/fusionai/project/internllm/lagent/lagent/llms/lmdepoly_wrapper.py”, line 422, in stream_chat
resp += text[‘choices’][0][‘text’]

模型名称写的前后不对应,查找错误。
server里面的 model-name是什么就写什么,web前端和后面要对应好,最好使用默认的参数 internlm2-chat-7b模型也重下载一个7b的内容。使用1.8b模型搜索不到的。
在这里插入图片描述在这里插入图片描述

(2)不能正常显示搜索结果
在这里插入图片描述todo:
更换1.8b之后,根本就搜索不到了,这个有点问题,感觉不像是从axiv搜索。

5 ref

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/2872.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++笔记:类和对象(一)->封装

类和对象 认识类和对象 先来回忆一下C语言中的类型和变量,类型就像是定义了数据的规则,而变量则是根据这些规则来实际存储数据的容器。类是我们自己定义的一种数据类型,而对象则是这种数据类型的一个具体实例。类就可以理解为类型&#xff0c…

二维码存储图片如何实现?相册二维码的制作技巧

如何将照片生成二维码后存储展示?现在很多人会将图片生成二维码以后,用于分享或者储存的用途,减少个人内存的占用量,而且分享照片也会更加的方便,只需要扫描二维码就可以让其他人查看图片。 想要制作图片二维码的步骤…

CLHLS交叉滞后模型和广义估计方程一起用发文2区 | 公共数据库周报(4.10)

零基础CHARLS发论文,不容错过! 长期回放更新指导!适合零基础,毕业论文,赠送2011-2020年CHARLS清洗后的数据全套代码 CHARLS公共数据库 CHARLS数据库简介中国健康与养老追踪调查(China Health and Retirement Longitudi…

C. Inhabitant of the Deep Sea

本题链接:Problem - C - Codeforces 题目: 样例: 输入 6 4 5 1 2 4 3 4 6 1 2 4 3 5 20 2 7 1 8 2 2 2 3 2 2 15 1 5 2 7 5 2输出 2 3 5 0 2 2 思路: 数学模拟。 根据题意,一前一后的攻击,攻击k次后&…

Mysql联合索引和最左匹配例子说明

文章目录 前言联合索引最左匹配原则举例说明 前言 是什么是索引? 索引是一种数据结构,用于加速数据库查询。 当没有索引时,数据库系统需要执行全表逐行扫描来满足查询需求。这意味着它会逐行读取整个表中的数据,并在内存中进行比…

设计模式-状态模式在Java中的使用示例-信用卡业务系统

场景 在软件系统中,有些对象也像水一样具有多种状态,这些状态在某些情况下能够相互转换,而且对象在不同的状态下也将具有不同的行为。 为了更好地对这些具有多种状态的对象进行设计,我们可以使用一种被称之为状态模式的设计模式…

【提示学习论文】BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning论文原理

BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning BlackVIP:稳健迁移学习的黑盒视觉提示 问题 黑盒白盒? 黑盒和白盒的概念与对预训练模型内部参数的了解程度相关。黑盒指的是对预训练模型的参数和结构缺乏详细了解,通常只能通过使…

OpenCV 如何实现边缘检测器

返回:OpenCV系列文章目录(持续更新中......) 上一篇:OpenCV如何实现拉普拉斯算子的离散模拟 下一篇 :OpenCV系列文章目录(持续更新中......) 目标 在本教程中,您将学习如何: 使用 OpenCV 函数…

测试用例设计方法-异常测试

飞的最高的海鸥,能看到最远的奇景。大家好,继续给大家分享如何进行异常测试,首先要做好异常测试,需要我们对被测系统进行全面的了解,熟悉被测系统的功能、架构和运行机制,然后在这个基础上尽可能覆盖各种的…

MATLAB命令

MATLAB是一个用于数值计算和数据可视化的交互式程序。您可以通过在命令窗口的MATLAB提示符 ‘>>’ 处键入命令来输入命令。 在本节中,我们将提供常用的通用MATLAB命令列表。 用于管理会话的命令 MATLAB提供了用于管理会话的各种命令。下表提供了所有此类命令…

递归神经网络(RNN)在AI去衣技术中的深度应用

在人工智能(AI)技术飞速发展的今天,图像处理和计算机视觉领域不断取得新的突破。其中,AI去衣技术作为一个具有挑战性的研究方向,引起了广大研究者和公众的关注。递归神经网络(RNN)作为深度学习的…

《Python源码剖析》之PyTypeObject

前言 这一篇博客原本应该是写在上一篇关于pyObject对象的博客中的,但是为了不把内容写的又臭又长,给读者减轻痛苦,给我也减少压力,于是就专门用一篇介绍一下今天的主角—pyTypeObject。 开始 还记得在上一篇我们有聊到&#xf…

vscode 使用文件模板功能来添加版权信息

vscode 新建文件的时候,自动填充作者及版权信息 无需使用插件,操作如下: 选择 “首选项(Preferences)”。在搜索框中输入 “file template” 或者 “文件模板”,然后选择相关的设置项。 {"C_Cpp.clang_format_fallbackSt…

嵌入式虽然入门容易,但精通难度很大。

在开始前我有一些资料,是我根据网友给的问题精心整理了一份「嵌入式的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!!此外,嵌入式系统的…

蓝桥杯——分巧克力

思路非常简单,就是一个二分法。 注意一下l和r的取值,就可以了。 // 如何进行切分巧克力:横纵除法。例如:一块6*5的,欲切为3*3的小块,横:6/2 3;纵:5/31.所以可以切成3*…

职业技能鉴定服务中心(新闻系统+证书查询系统)

后端采用ThinkPHP8,最新tp框架 前端采用divcss布局 数据库采用MySQL 采用三种技术实现新闻系统和证书查询系统 源码:git clone https://gitee.com/3539949703/certificate-website.git 效果图如下:

[Linux_IMX6ULL驱动开发]-设备树简述

目录 设备树的引入 设备树具体框架 设备树的属性 label address-cells和size-cells compatible model status reg 设备树的编译 内核对设备树的处理 plateform_device如何对应plateform_driver 设备树的引入 之前已经学习了解过了总线驱动模型的概念,也…

webots学习记录8:R2023b如何在某个零件上添加一个恒定的力(矩)

在webots安装路径下,从include\controller\c\webots\supervisor.h中可以看到如下定义: void wb_supervisor_node_add_force(WbNodeRef node, const double force[3], bool relative); void wb_supervisor_node_add_force_with_offset(WbNodeRef node, c…

37-5 基于时间的盲注 SQL 注入 PoC 的 Python 编写

攻击目标就用sql靶场的第9关,手注与靶场搭建:22-5 SQL注入攻击 - 基于时间的盲注-CSDN博客 poc import concurrent.futures # 导入并发模块 import requests # 导入发送HTTP请求的库 import string # 导入处理字符串的库url = "http://127.0.0.1/sqli-labs-master…

AndroidStudio中虚拟机(AVD)无法启动,出现unable to locate adb错误

1.检查Android SDK Platform-Tools是否安装(个人是通过这个方法解决的) 首先通过File-Project Structure-Project SDK检查SDK有没有被选中 步骤:打开file -> settings ,搜索SDK 之后点击"-",在点击Apply进行安装 2.可能是驱动的问题 电脑…