前言
就在10月22日晚上,Anthropic发布重大升级,发布Claude 3.5 Sonnet和Claude 3.5 Haiku新版本。
新的 Claude 3.5 Sonnet 在所有指标上都优于其他模型,包括 OpenAI 的 GPT-4 和谷歌的 Gemini 1.5 Pro。
Claude 3.5 Haiku 与之前的顶级 Claude 3 Opus 性能相当,同时保持了与其前代产品相似的成本和速度,可以说是当今速度最快、最具成本效益的型号。
令人兴奋的是,此版本引入了一项新的"Computer Use(计算机使用)"功能,这意味着 Claude 现在可以控制计算机。
详情可看👇
claude3.5 demo1
例如,如果我们给它下达"创建会议通知"之类的指令,它可以自动打开 Word、创建新文档、撰写通知并保存。一切都是自动化的——人类只需给出口头指令即可。
新功能实操体验
虽然这项计算机控制功能仍处于早期阶段,但 Anthropic 已发布演示以供测试和反馈。
如果你发现前几个步骤很困难,请随意跳至步骤 4。今天主要是想分享此功能的工作原理。
-
需要一台运行 Windows 或 Linux 的计算机,最好能够直接访问美国服务器或者可以顺畅连接到美国网络
-
安装Docker(通过在线教程应该很容易找到)
-
为了更简单操作,只需打开终端并运行以下命令,记得将 %your_api_key% 替换成你的API密钥
(文章后面会讲解如何获取Claude API_KEY)
官方demo仓库链接已放至文末,请自行获取!
export ANTHROPIC_API_KEY=%your_api_key%
docker run \-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \-v $HOME/.anthropic:/home/computeruse/.anthropic \-p 5900:5900 \-p 8501:8501 \-p 6080:6080 \-p 8080:8080 \-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
- 在浏览器中输入
http://localhost:8080
,访问演示界面。
界面左侧是聊天区,右侧是电脑屏幕。
- 在聊天区输入了一条指令:“使用桌面任务栏中的 LibreOffice,创建一个新电子表格,输入特斯拉过去 5 年的收入数据,并将其保存为 tesla2.ods”
- 收到指令后,Claude首先对其进行分析,然后对桌面进行截图
- 然后定位图标位置并相应地执行鼠标点击
- 打开编辑软件后,再次截取屏幕截图并使用键盘命令输入数据
- 最后完成特斯拉5年营收的数据录入并保存文件。
从这些操作中我们可以看出,Claude 的Computer Use(计算机使用)功能的工作原理是捕获屏幕,分析指令以确定鼠标和键盘操作,然后执行这些操作。
大致的流程是:
- 接收用户指令
- 捕获屏幕,分析指令,确定所需输入
- 执行鼠标/键盘操作
- 检查任务完成情况并在必要时重复
这需要 Claude 根据指令精确定位屏幕坐标并执行鼠标和键盘操作。目前只有 Claude 可以实现这一点。
该功能本质上将现有的 API 工具调用与鼠标和键盘控制实用程序集成在一起,由模型的高级屏幕分析功能提供支持。
以下是官方的演示视频:
claude demo2
Claude API_KEY获取
Claude API是Anthropic公司发布的一款强大的AI聊天机器人API,可以用于各种应用场景,如撰写小说、编写代码等,大多数时候都是面向于开发者。
用户可以通过与Claude API进行对话来获取相关信息帮助,由于Computer Use(计算机使用)功能目前更多面向于开发者,所以也需要API才能使用。
这里推荐用WildCard的API随心用服务,比较方便简单,如果有其他更好的方法,也欢迎在评论区评论!!!
WildCard API 的底层通过对接由 OpenAI官方 和 Azure OpenAI 提供的 OpenAI模型、由Amazon Bedrock提供的Anthropic Claude模型 从而实现用户无需注册 OpenAI 和 Anthropic 账号绑卡即可任意网络直连GPT-4/Claude 3。
用户可以在WildCard API 管理界面创建专属于WildCard的API Key,无需开卡,用多少充多少,如果充值过多了也可0手续费提现
Wildcard网址:https://chatgptshow.com/bewildcard.html
(复制到浏览器中打开)
然后即可通过https://api.gptsapi.net
域名下的接口访问不同功能和价位的AI模型,claude模型如下:
教程定价表可能出现未实时更新的情况,具体价格以wildcard平台api页面展示的定价表为准。
官方文档:
https://docs.anthropic.com/en/docs/build-with-claude/computer-use
Demo仓库:https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo