实测体验Claude 3.5升级版:AI首次实现直接操控电脑!

前言

就在10月22日晚上,Anthropic发布重大升级,发布Claude 3.5 Sonnet和Claude 3.5 Haiku新版本。

新的 Claude 3.5 Sonnet 在所有指标上都优于其他模型,包括 OpenAI 的 GPT-4 和谷歌的 Gemini 1.5 Pro。

Claude 3.5 Haiku 与之前的顶级 Claude 3 Opus 性能相当,同时保持了与其前代产品相似的成本和速度,可以说是当今速度最快、最具成本效益的型号。

令人兴奋的是,此版本引入了一项新的"Computer Use(计算机使用)"功能,这意味着 Claude 现在可以控制计算机。

详情可看👇

claude3.5 demo1

例如,如果我们给它下达"创建会议通知"之类的指令,它可以自动打开 Word、创建新文档、撰写通知并保存。一切都是自动化的——人类只需给出口头指令即可。

新功能实操体验

虽然这项计算机控制功能仍处于早期阶段,但 Anthropic 已发布演示以供测试和反馈。

如果你发现前几个步骤很困难,请随意跳至步骤 4。今天主要是想分享此功能的工作原理。

  1. 需要一台运行 Windows 或 Linux 的计算机,最好能够直接访问美国服务器或者可以顺畅连接到美国网络

  2. 安装Docker(通过在线教程应该很容易找到)

  3. 为了更简单操作,只需打开终端并运行以下命令,记得将 %your_api_key% 替换成你的API密钥
    (文章后面会讲解如何获取Claude API_KEY)

官方demo仓库链接已放至文末,请自行​获取!

export ANTHROPIC_API_KEY=%your_api_key%
docker run \-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \-v $HOME/.anthropic:/home/computeruse/.anthropic \-p 5900:5900 \-p 8501:8501 \-p 6080:6080 \-p 8080:8080 \-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
  1. 在浏览器中输入http://localhost:8080,访问演示界面。

界面左侧是聊天区,右侧是电脑屏幕。

  1. 在聊天区输入了一条指令:“使用桌面任务栏中的 LibreOffice,创建一个新电子表格,输入特斯拉过去 5 年的收入数据,并将其保存为 tesla2.ods”

  1. 收到指令后,Claude首先对其进行分析,然后对桌面进行截图

  1. 然后定位图标位置并相应地执行鼠标点击

  1. 打开编辑软件后,再次截取屏幕截图并使用键盘命令输入数据

  1. 最后完成特斯拉5年营收的数据录入并保存文件。

从这些操作中我们可以看出,Claude 的Computer Use(计算机使用)功能的工作原理是捕获屏幕,分析指令以确定鼠标和键盘操作,然后执行这些操作。

大致的流程是:

  1. 接收用户指令
  2. 捕获屏幕,分析指令,确定所需输入
  3. 执行鼠标/键盘操作
  4. 检查任务完成情况并在必要时重复

这需要 Claude 根据指令精确定位屏幕坐标并执行鼠标和键盘操作。目前只有 Claude 可以实现这一点。

该功能本质上将现有的 API 工具调用与鼠标和键盘控制实用程序集成在一起,由模型的高级屏幕分析功能提供支持。

以下是官方的演示视频:

claude demo2

Claude API_KEY获取

Claude API是Anthropic公司发布的一款强大的AI聊天机器人API,可以用于各种应用场景,如撰写小说、编写代码等,大多数时候都是面向于开发者。

用户可以通过与Claude API进行对话来获取相关信息帮助,由于Computer Use(计算机使用)功能目前更多面向于开发者,所以也需要API才能使用。

这里推荐用WildCard的API随心用服务,比较方便简单,如果有其他更好的方法,也欢迎在评论区评论!!!

WildCard API 的底层通过对接由 OpenAI官方 和 Azure OpenAI 提供的 OpenAI模型、由Amazon Bedrock提供的Anthropic Claude模型 从而实现用户无需注册 OpenAI 和 Anthropic 账号绑卡即可任意网络直连GPT-4/Claude 3。

用户可以在WildCard API 管理界面创建专属于WildCard的API Key,无需开卡,用多少充多少,如果充值过多了也可0手续费提现

Wildcard网址:https://chatgptshow.com/bewildcard.html
(复制到浏览器中打开)

然后即可通过https://api.gptsapi.net 域名下的接口访问不同功能和价位的AI模型,claude模型如下:

教程定价表可能出现未实时更新的情况,具体价格以wildcard平台api页面展示的定价表为准。

官方文档:
https://docs.anthropic.com/en/docs/build-with-claude/computer-use


Demo仓库:https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/56832.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++开篇】

首先初阶的数据结构相信大家已经学习的差不多了,关于初阶数据结构排序的相关内容的总结随后我也会给大家分享出来。C语言和C有许多相同的地方,但也有许多不相同的地方。接下来的C部分,我们主要是针对C与C语言不同的地方来与大家进行分享。其中…

gin入门教程(7): 使用 Logrus + Lumberjack 创建日志中间件

结合 Logrus 和 Lumberjack,可以创建一个高效的日志中间件,用于记录请求和响应。以下是实现步骤: 1. 安装依赖 首先,确保安装了 Logrus 和 Lumberjack: go get github.com/sirupsen/logrus go get gopkg.in/natefin…

基于vite和vue3、 eslint、prettier、stylelint、husky规范

前言 在现代的前端开发中,代码规范非常重要。它可以提高团队的协作效率,减少代码错误,使代码更易于维护。为了实现代码规范化,我们可以使用一些工具来辅助我们的开发流程,包括eslint、prettier、stylelint、husky&am…

数据库表字段插入bug

瀚高数据库 目录 环境 BUG/漏洞编码 症状 触发条件 解决方案 环境 系统平台:Linux x86-64 Red Hat Enterprise Linux 7 版本:4.5.1 BUG/漏洞编码 3355 症状 数据库安全版v4.5.1,安装包为:hgdb4.5.1-see-centos7-x86-64-20210804.…

word中的内容旋转90度

在vsto、Aspose.Words 中,默认没有直接的 API 可以让表格整体旋转 90 度。然而,我们可以通过一些方式来实现类似的效果,具体思路如下: 将表格插入到一个形状(Shape)或文本框中,然后旋转该形状。…

DVD光盘解密工具 Xreveal v2.7.1 官方版

下载地址 【1】https://pan.quark.cn/s/a95d5fa38f48 【2】https://drive.uc.cn/s/1e81ba7ee01e4?public1 Xreveal是一款功能相当贴心给力的光碟工具,其功能可以帮助用户检测以及删除DVD、CD保护。它完全不含有任何的解密密钥以及BD转换表,它是基于官…

redis高级篇之IO多路复用select方法简介 第174节答疑

1、bitmap最大1024位,一个进程最多只能处理1024个客户端 2、&rset不可重用,每次socket有数据就相应的位会被置位 3、文件描述符数组拷贝到了内核态(只不过无系统调用切换上下文的开销。(内核层可优化为异步事件通知)),仍然有开销。select…

003 优秀学员统计

003 优秀学员统计 题目描述 公司某部门软件教导团正在组织新员工每日打卡学习活动,他们开展这项学习活动已经一个月了,所以想统计一下这个月优秀的打卡员工。每个员工对应一个id,每天的打卡记录当天打卡的员工的id集合,一共30天…

【Windows】电脑端口明明没有进程占用但显示端口被占用(动态端口)

TOC 一、问题 重启电脑后,启用某个服务显示1089端口被占用。 查看是哪个进程占用了: netstat -aon | findstr "1089"没有输出,但是换其他端口,是可以看到相关进程的: 现在最简单的方式是给我的服务指定另…

解決爬蟲代理連接的方法

爬蟲在運行過程中常常會遇到代理連接的問題,這可能導致數據抓取的效率降低甚至失敗。 常見的代理連接問題 代理IP失效:這是最常見的問題之一。有些代理IP可能在使用一段時間後失效,導致連接失敗。 連接超時:由於網路不穩定或代…

阿里云项目启动OOM问题解决

问题描述 随着项目业务的增长,系统启动时内存紧张,每次第一次启动的时候就会出现oom第二次或者第n的时候,就启动成功了。 带着这个疑问,我就在阿里云上提交了工单,咨询为什么第一次提交失败但是后面却能提交成功尼&a…

HarmonyOS 组件样式@Style 、 @Extend、自定义扩展(AttributeModifier、AttributeUpdater)

1. HarmonyOS Style 、 Extend、自定义扩展(AttributeModifier、AttributeUpdater) Styles装饰器:定义组件重用样式   ;Extend装饰器:定义扩展组件样式   自定义扩展:AttributeModifier、AttributeUpdater 1.1. 区…

SpringBoot 下的Excel文件损坏与内容乱码问题

序言 随着打包部署的方式的改变,原本正常运行的代码可能带来一些新的问题,比如我们现在使用SpringBoot 的方式生成Jar包直接运行,就会对我们再在Resource下的Excel文件产生影响,导入与预期不符的情况发生cuiyaonan2000163.com 比…

Educational Codeforces Round 170 C New Game

思路 滑动窗口 排完序后找左右边界差值小于等于k 的最长子序列长度即可 可以用map去重 代码 #include <bits/stdc.h> using namespace std;const int N 200010;int t, n, k; int a[N], b[N];void solve() {cin >> n >> k;for (int i 1; i < n; i …

计算机网络的主要知识点小结

计算机网络是指将多台计算机通过通信线路连接起来&#xff0c;实现资源共享和信息传递的系统。 一、计算机网络概述 1. 定义和功能 - 定义&#xff1a;计算机网络是将地理位置不同的具有独立功能的多台计算机及其外部设备&#xff0c;通过通信线路连接起来&#xff0c;在网络操…

Anchor DETR论文笔记

原文链接 [2109.07107] Anchor DETR: Query Design for Transformer-Based Object Detection (arxiv.org)https://arxiv.org/abs/2109.07107 原文笔记 What 提出了一种新的基于锚点的查询设计&#xff0c;即将锚点编码为对象查询。 Why 对象检测任务是预测图像中每个对象…

Python基础知识-异常处理篇

在Python中&#xff0c;异常处理是应对程序运行时错误的一种机制。它能帮助我们捕获和处理错误&#xff0c;防止程序崩溃。下面是异常处理的关键知识和实践示例&#xff1a; 1. 异常处理基础 Python中的异常处理使用 try, except, else, 和 finally 块来实现。 基本语法结构…

SQLite Having 子句

SQLite Having 子句 在SQLite数据库中&#xff0c;HAVING子句用于与GROUP BY子句配合使用&#xff0c;以便对分组后的结果进行条件过滤。当您需要对分组的数据应用条件时&#xff0c;HAVING子句变得非常有用。这与WHERE子句不同&#xff0c;后者用于在数据分组之前过滤行。 基…

el-table相关的功能实现

1. 表格嵌套表格时&#xff0c;隐藏父表格的全选框 场景&#xff1a;当table表格设置复选&#xff08;多选&#xff09;功能时&#xff0c;如何隐藏表头的复选框&#xff0c;不让用户一键多选。 <el-table :header-cell-class-name"cellClass">// 表头复选框禁…

通过HBase实现大规模日志数据存储与分析

通过HBase实现大规模日志数据存储与分析 I. 项目背景 随着互联网技术的迅速发展&#xff0c;各类应用和系统每天都会生成大量的日志数据。这些日志包括应用日志、服务器日志、数据库日志、安全日志等&#xff0c;它们不仅记录了系统的运行状况&#xff0c;还包含了许多关键的…