- Paper: https://arxiv.org/pdf/2401.16158
- Github: https://github.com/X-PLUG/MobileAgent
- Author: Junyang Wang et al. 北交、阿里巴巴
Mobile-agent核心工作：
- 首先使用视觉感知工具(检测和OCR模型)识别前端界面中文本和图像元素的精确位置
- 检测图标：groundingdino，AI-ModelScope/GroundingDINO
- OCR检测：damo/cv_resnet18_ocr-detection-line-level_damo
- OCR识别：damo/cv_convnextTiny_ocr-recognition-document_damo
- CLIP：ViT-B/32
- 然后基于这些视觉元素，进行自动规划、任务分解和一步一步的任务执行
- 提出了一个评测数据集Mobile-Eval，评估操作的准确性
文章目录
- 1 Mobile-Agent框架介绍
- 1.1 视觉感知部分
- 1.2 指令执行
- 1.2.1 操作定义
- 1.2.2 自我规划(Self-Planning)
- 1.2.3 自我反省(Self-Reflection)
- 1.2.4 Prompt设计(启发自ReAct)
- 2 Mobile-Eval
- 2.1 Metrics
- 3 操作示例
- 4 操作工具
- 5 程序运行流程
1 Mobile-Agent框架介绍
1.1 视觉感知部分
- MLLM：GPT-4V
- 文本检测模型：文本定位，OCR tools
- OCR没有检测到指定文本：agent重新选择文本或者选择替代操作
- OCR检测到一个包含指定文本的实例：直接点击文本框的中心
- OCR检测到多个包含指定文本的实例：如果检测到的实例特别多，则需要重新选择文本实例；如果实例数量比较少，根据检测据区域外扩后截图，再将检测框画在截图上，最后让agent决策点击哪一个
- 图标检测模型：图标定位，icon检测工具+CLIP；
- 首先让agent提供需要点击的icon的属性（颜色和形状），
- 然后使用Grounding DINO通过prompt “icon”从屏幕截图中识别所有的图标；
- 最后使用CLIP根据第一步产生的图标的描述来检索需要点击的图标
1.2 指令执行
1.2.1 操作定义
定义了8种操作：
- Open APP(App): 打开桌面上的指定APP
- Click the text(Text): 点击指定区域内的文本
- Click the icon(Icon, Position)： 根据图标的描述和位置的坐标信息
- Type(Text): 在指定的文本输入框内输入文本
- Page up & down： 向上或者向下滑动页面
- Back： 退回上一个页面
- Exit： 回到主页面
- Stop： 任务完成的标志，结束整个进程
1.2.2 自我规划(Self-Planning)
Mobile-agent通过迭代的方式完成任务：
- 首先用户输入任务
- agent基于system prompt+历史操作记录+当前屏幕截图输出下一步的操作
- 直到输出stop，就结束迭代
1.2.3 自我反省(Self-Reflection)
当agent遇到错误导致无法完成任务时，该文章引入了一个自我反省self-reflection的机制，这个机制在以下两种情况生效：
（1）当agent生成无效或者错误操作，导致进程阻塞，具体地
- 当agent注意到在特定操作后，屏幕截图没有发生改变
- 屏幕节目展示出一个错误的页面
解决方案： 指导agent尝试其他可代替的操作或者改变当前操作的参数
（2）忽略某些复杂指令的某些要求
解决方案： 在每轮迭代结束后，使用agent去分析当前的屏幕截图、操作历史和用户指令，去判断任务有没有完成，没有完成则继续产生操作。
1.2.4 Prompt设计(启发自ReAct)
Output格式：
Observation: 对当前屏幕截图+历史操作的描述，帮助agent去发现屏幕截图是否有更新，并基于历史记录及时发现问题；
Thought: 基于Observation和用于指令去产生下一步的操作；
Action: 基于Thought从8个操作指令集中选择操作和参数；
2 Mobile-Eval
- 包含10个常用Apps
- 引入同时使用2种App的instruction，去验证agent多app调用的能力
- 每个App使用3种instruction：简单、复杂、包含抽象指示
2.1 Metrics
- Su（Success）： Agent完成用户指令，被认为是成功
- PS（Process Score）： 衡量agent在执行任务过程种，每一步的准确性，正确的步数除以总步数
- RE（Relative Efficiency）： 手动执行指令，并记录人类所采取的步骤，认为人类的操作是最优的操作，然后比较agent执行的步数和人类执行的步数，来评估agent是否更有效率
- CR（Completion Rate）： 计算agent采用跟人类相同操作的步数除以人类操作的总步数，表示agent在指定instruction下的完成率；
3 操作示例
4 操作工具
通过ADB来实现对手机的操控：
- 下载Android Debug Bridge。
- 在你的移动设备上开启`USB调试`或`ADB调试`，它通常需要打开开发者选项并在其中开启。
- 通过数据线连接移动设备和电脑，在手机的连接选项中选择`传输文件`。
- 用下面的命令来测试你的连接是否成功: ``/path/to/adb devices`。如果输出的结果显示你的设备列表不为空，则说明连接成功。
- 如果你是用的是MacOS或者Linux，请先为 ADB 开启权限: `sudo chmod +x /path/to/adb`。
- `/path/to/adb`在Windows电脑上将是`xx/xx/adb.exe`的文件格式，而在MacOS或者Linux则是`xx/xx/adb`的文件格式。
5 程序运行流程
- GDINO：AI-ModelScope/GroundingDINO
- CLIP：ViT-B/32
- ocr_detection：damo/cv_resnet18_ocr-detection-line-level_damo
- ocr_recognition：damo/cv_convnextTiny_ocr-recognition-document_damo
- LLM：ChatGPT-4V
)