AGI来了?特拉斯用大模型帮助自动驾驶

Elon Musk 的 xAI 刚刚推出了Grok-1.5 Vision,这是对开源模型的多模式升级,允许处理视觉信息。 细节:

Grok 1.5V 现在可以处理文档、图表、屏幕截图和照片等视觉信息,重点是对现实世界的理解。 xAI 创建了一个新的“RealWorldQA”基准来评估空间理解,其中 Grok-1.5V 的性能优于 GPT-4V 和 Gemini。 xAI 表示 1.5-V 将很快向测试人员和现有用户推出,预计未来几个月将在图像、音频和视频方面实现重大改进。 关键:

Tesla FSD v13可能会是Grokking语言令牌。Grok-1.5V最让人兴奋的是解决自动驾驶中边缘情况的潜力。使用语言进行“思维链”将有助于汽车分解复杂的场景,用规则和反事实进行推理,并解释其决定。

Grok-1.5V能将“像素->动作”映射提升为“像素->语言->动作”。

网友认为:

这听起来像是通往AGI的最可行的道路。具有显式语言推理的多模态模型一致地推断出世界模型。

他们一直在使用一个LLM训练的“车道语言”的车道预测-可以说是最困难的问题之一。他们说,这个问题是棘手的。特斯拉发明了一种用于车道预测的“车道语言”。

假设FSD需要三个关键组成部分:感知、规划和控制,而Grok是实现这一目标的途径,这是否意味着我们解决了一个具有挑战性的物理世界问题,或者我们将进入AGI时代?

大模型不只是语言能力,还是对广阔世界的理解

机器人推理的通用智能AGI基础模型可能在今天就已经存在。LLM 不仅仅关乎特定语言的能力,还关乎对广阔世界的理解。

一种名为“Keypoint Action Tokens”(KAT)的框架,它使得机器人能够在上下文中进行模仿学习。

这项技术由Norman Di Palo和Edward Johns开发,展示了如何利用现成的基于文本的Transformers模型,在没有额外训练的情况下,进行少量样本的视觉模仿学习。这些模型能够将视觉观察(输入)和动作轨迹(输出)转换成一系列令牌(tokens),这些令牌可以被文本预训练的Transformer模型处理和生成。

KAT框架的核心思想是将文本预训练的Transformer模型重新用作序列到序列的模仿学习机器,通过视觉输入映射到动作输出。这种方法的一个关键优势是,尽管这些模型是在语言上训练的,但它们在将视觉关键点观察转换成动作轨迹方面表现出色,在数据量较少的情况下,性能与或优于现有的最先进技术。

KAT 并非在语言领域运行,而是利用基于文本的转换器(Transformers)在视觉和动作领域运行,从而实现高效的一般模仿学习,这为将自然语言模型重新应用于体现任务指明了前景广阔的新途径。

网友观点:

智能的重点是:"作为思想工具 "的语言,不是 "作为交流工具 "的语言

我们都同意人类语言本身存在缺陷这一事实。LLM大模型 的内部语言在功能上是相同的:一系列相互关联的已学概念,然后可以用来预测未来。当然,从本质上讲,它是完全不同的。

如果把这些权重和连接看作是 "内在思想的语言",那么从技术上讲,将其描述为模型在训练过程中创造的语言是正确的。

与人类语言打交道的部分只有输入层和输出层。

https://www.jdon.com/73342.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/821714.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习java第四十五天

Spring框架中有哪些不同类型的事件? 上下文更新事件(ContextRefreshedEvent):在调用ConfigurableApplicationContext 接口中的refresh()方法时被触发。 上下文开始事件(ContextStartedEvent):…

【鸿蒙开发】生命周期

1. UIAbility组件生命周期 UIAbility的生命周期包括Create、Foreground、Background、Destroy四个状态。 UIAbility生命周期状态 1.1 Create状态 Create状态为在应用加载过程中,UIAbility实例创建完成时触发,系统会调用onCreate()回调。可以在该回调中…

会议室预约小程序开源版开发

会议室预约小程序开源版开发 支持设置免费预约和付费预约、积分兑换商城、积分签到等 会议室类目,提供多种类型和设施的会议室选择,满足不同会议需求。 预约日历,展示会议室预约情况,方便用户选择空闲时段。 预约记录&#xff0…

秋招复习笔记——八股文部分:网络基础

TCP/IP 网络模型 应用层 最上层的,也是我们能直接接触到的就是应用层(Application Layer),我们电脑或手机使用的应用软件都是在应用层实现。那么,当两个不同设备的应用需要通信的时候,应用就把应用数据传…

java绘图在ubuntu报错

把JRT网站部署到ubuntu桌面系统上,开始没测试绘图部分功能,只试了连PostGreSql部分正常。后面试了生成位图部分发现报错。 报下面错误: (ColorModel.java:220)\n\tat java.desktop/java.awt.image.BufferedImage.(BufferedImage.java:286)\n…

【云原生数据库:原理与实践】2 -数据库与云原生

2-数据库与云原生 2.1 数据库在云时代的发展 云计算为计算问题提供了一个解决方案,即把信息化需要的基础设施作为一种服务来提供(Infrastructure as a Service,IaaS),就像生活领域的水电煤气服务一样,企业…

windows Webrtc +VS2019 (M124)下载编译以及调通测试demo

下载depot tools 设置梯子 git config --global http.proxy 127.0.0.1:10000 git config --global https.proxy 127.0.0.1:10000 下载 $ git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git 设置depot_tools目录为环境变量 下载webrtc # 设置系统代…

2024年4月最新版GPT

2024年4月最新版ChatGPT/GPT4, 附上最新的使用教程。 随着人工智能技术的不断发展,ChatGPT和GPT4已经成为了人们日常生活中不可或缺的助手。2024年4月,OpenAI公司推出了最新版本的GPT4,带来了更加强大的功能和更加友好的用户体验。本文将为大家带来最新版GPT4的实用…

微软提供用于测试框架的SDK

微软发布了 MSTest SDK。 MSTest SDK基于 MSBuild Project SDK 系统构建并基于MSTest 运行程序,旨在为开发人员提供更好的使用 Microsoft 单元测试框架 MSTest 进行测试的体验。 微软表示, 4 月 11 日发布的MSTest SDK通过合理的默认设置和灵活的选项使…

安全中级-环境安装(手动nginx以及自动安装php,mysql)

为了方便大家跟bilibili课程,出了第一节环境 bilibili搜凌晨五点的星可以观看相关的教程 一、环境 ubentu 二、nginx手动安装 2.1第一步 wget https://nginx.org/download/nginx-1.24.0.tar.gz 2.2下载好安装包以后解压 tar -zxvf nginx-1.21.6.tar.gz2.3安…

Keepalived+LVS+nginx搭建nginx高可用集群

一、简介 nginx是一款非常优秀的反向代理工具,支持请求分发,负载均衡,以及缓存等等非常实用的功能。在请求处理上,nginx采用的是epoll模型,这是一种基于事件监听的模型,因而其具备非常高效的请求处理效率…

安卓功耗分析

power profiler cpu profilerrecord traces find “System Tracing” in Developer Options in Settingschoose “long tracings” and add the tile to quick settingschoose necessary ones in Categories, such as idle, freq, powerturn on/off tracing between some work,…

IDEA: Unable to resolve table ‘xxx‘

描述: 在 IDEA 连接到数据库后,SQL 语句提示 Unable to resolve table 表名,且其它字段也飘红报错。 解决: 右键点击数据库,选择 Tools -> Manage Shown Schemas... 勾选你所使用的数据库即可: 1、2、3…

ShardingSphere:强大的分布式数据库中间件【图文】

ShardingSphere的诞生 ShardingSphere的结构 Sharding-JDBC :它提供了一个轻量级的 Java 框架,在 Java 的 JDBC 层提供额外的服务。使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动&…

华为OD-C卷-考勤信息[100分]

题目描述 公司用一个字符串来表示员工的出勤信息 absent:缺勤late:迟到leaveearly:早退present:正常上班现需根据员工出勤信息,判断本次是否能获得出勤奖,能获得出勤奖的条件如下: 缺勤不超过一次;没有连续的迟到/早退;任意连续7次考勤,缺勤/迟到/早退不超过3次。输…

模板小细节与了解STL

1、模板小细节 1、在C中&#xff0c;已经写好了有关swap函数来供我们使用&#xff1a; 2、编译器也会偷懒&#xff0c;除非我们给强制要求&#xff1a; 通过调试我们可以看到&#xff0c;编译器不会主动去找模板&#xff0c;这时候我们要在add后加<>即可让Add使用模板函…

免费的 ChatGPT、GPT4.0、GPTs、Midjourney-AI绘画(国内版)

&#x1f525;博客主页&#xff1a;只恨天高 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ ChatGPT3.5、GPT4.0、GPTs、AI绘画相信对大家应该不感到陌生吧&#xff1f;简单来说&#xff0c;GPT-4技术比之前的GPT-3.5相对来说更加智能&#xff0c;会根据用户的要求生成多种内容…

鸿蒙原生应用元服务-访问控制(权限)开发场景与权限声明

一、场景介绍 应用的APL&#xff08;Ability Privilege Level&#xff09;等级分为normal、system_basic和system_core三个等级&#xff0c;默认情况下&#xff0c;应用的APL等级都为normal等级。权限类型分为system_grant和user_grant两种类型。 二、配置文件权限声明 应用需要…

Docker 入门介绍及简单使用

Docker 的简单介绍 中文官网&#xff1a;Docker中文网 官网 英文官网&#xff1a;Docker: Accelerated Container Application Development Docker 是一个开源的应用容器引擎&#xff0c;它允许开发者打包应用及其依赖包到一个可移植的容器中&#xff0c;然后发布到任何流行的 …

Xcode15升级适配问题记录

文章目录 在iOS12及以下系统的设备上&#xff0c;Xcode15构建出的APP启动崩溃参考 近期把编译构建环境升级到Xcode15&#xff0c;在此统一记录遇到的问题跟解决方法 在iOS12及以下系统的设备上&#xff0c;Xcode15构建出的APP启动崩溃 崩溃报错如下。 Termination Descriptio…