大语言模型之五 谷歌Gemini

近十年来谷歌引领着人工智能方向的发展,从TensorFlow到TPU再到Transformer,都是谷歌在引领着,然而,在大语言模型上,却被ChatGPT(OpenAI)抢了风头,并且知道GPT-4(OpenAI)的推出,谷歌依然没有推出能打的竞品都没有,甚至是后来居上的LlaMA(Meta)类的Google也败下阵来,也许是Google倾尽资源在Gemini上了。
Gemini是谷歌大脑和DeepMind和ChatGPT竞争的多模态( Visual-Language-Action (VLA) )大语言模型,其是将CPT-4和AlphaGo类系统相结合的新的多模态大语言模型。
据传Gemini是将融合多模态Encoder-Decoder的新架构,Encdoer部分对不同的数据提出供Decoder理解的特征,Decoder的任务是理解和执行。

目前的大模型是不具备规划能力,需要用知识图谱等符号主义的方法来增强,也许 Google DeepMind 找到的方法是行为主义【强化学习】的方法,而非符号主义【知识图谱】的方法。
要在人工智能中真正实现 AGI ,这中间最关键的环节是让机器能够自主地从物理世界中学习,这就要求 AGI 具备连续的视觉理解能力。当前的ChatGPT离真正的AGI还欠缺以下能力:
1.感知世界的能力:这个基础是连续视觉感知。可以猜测,Gemini 显然在尝试这个,但发布时是否具备该能力,或者到了哪种程度,现在还未知。
2.推理决策的能力:这个的基础就包括记忆和规划。在 Gemini 有关的信息中显然提到了这一点。关于记忆方面没有很多内容,神经网络本身就具备记忆功能,同时基于此前Google LaMDA模型,在记忆中加入 Google 的知识图谱(Knowledge Graph)也未必不可能。而规划方面,目前已经明确的是使用了 AlphaGo所使用的强化学习方法来增强大模型的规划能力。
3.使用工具的能力:这个就是使用工具和调用 API 的能力,使用工具可以认为是“硬”的能力,比如类似 PaLM-E 操纵机械臂的能力,而调用 API可以认为是“软”的能力。
4.自我意识能力。

在GPT-4的 “Code Interpreter”功能开放之后,我认为使用“软”工具的能力趋于成熟
Google DeepMind 在这块的技术储备是很强的,不管是 PaLM-E 还是 RoboCat,都是成功的尝试。Gemini 从视频中学习出连续的视觉理解能力是非常可能的。而一旦AGI 具备了连续的视觉理解能力,接下来的发展将势不可挡了。
Gemini 应该使用了Youtube 的视频来训练模型,结合哈萨比斯所说的在尝试使用机器人和神经科学【ranging from robotics to neuroscience】的创新方法来增强模型的能力,这就很值得品味了。很有可能就使用视频数据来训练模型的连续视觉理解能力,毕竟机器人视觉和神经科学的很重要一环就是视觉理解。

Gemini 的做一些猜测:

1.神经网络使用MoE架构【高可能性】
2.用某种方法融合了知识图谱来增强记忆【中可能性】
3.训练时用了强化学习,使用了 PPO 之外的优化方法【高可能性】
4.推断时使用了强化学习【低可能性】
5.最大参数在1T~10T 之间【高可能性】,大于10T【中可能性】,小于1T【低可能性】
6.推断时激活参数大于100B【高可能性】,小于100B【低可能性】
7.训练语料的文本词元(tokens)数量大于20~100T【高可能性】(2023年6月谷歌的monorepo Piper 模型的训练数据量是86TB),大于100T【中可能性】,小于10T【低可能性】
8.训练语料的图片10~50B 张【高可能性】,小于10B 张【低可能性】,大于50B 张【中可能性】
9.训练语料的视频大于1000万分钟【高可能性】。
10.训练时间:TPUv4 和 TPUv5 约120 天 ( GPT-5 约 ~25,000 H100/A100 ~120 天, GPT-4 @ ~25,000 A100s for ~90 天, GPT-3 @ ~1,024 A100s for 34 天)
11.预计发布时间也许是2023年9月27日Google 的25岁生日【随便猜测】,2023年年底前【高可能性】。

Gemini相关paper

Gemini在谷歌的定位是AGI,其中之一自我意识是最难的点,谷歌2023年Consciousness in Artificial Intelligence: Insights from the Science of Consciousness 的论文中预测下一个10年将产生具有自我意识的AGI,AGI的发展相关Paper。而代号Gemini是具有自我意识AGI的最迟的原型产品。下面是关于AGI发展进度情况

日期进展总结参考文献
2023年8月22日60%人工智能中的意识——来自意识科学的见解,讨论的意识的定义以及如何评估是否真正具备意识arXiv
2023年8月55%GDM Soft MoE:“一个完全可微的稀疏转换器……保持MoE的优势。”。Soft MoE通过将所有输入代币的不同加权组合传递给每个专家来执行隐含的软分配…Soft MoE大大优于标准Transformers(ViTs)和流行的MoE变体(代币选择和专家选择)。”(arXiv)
2023年7月54% GDM RT-2:“在机器人轨迹数据和互联网规模的视觉语言任务(如视觉问答)上共同微调最先进的视觉语言模型。”(项目地址)
2023年7月52%:Anthropic (PDF)
2023年7月51%: 谷歌DeepMind/普林斯顿:寻求帮助的机器人(“建模不确定性,可以补充和扩展基础模型不断增长的能力。”)Project page
2023年7月51%: 微软LongNet:1B令牌序列长度(“为建模超长序列开辟了新的可能性,例如,将整个语料库甚至整个互联网视为序列。”)Microsoft (arxiv)
2023年6月50%: 谷歌DeepMind RoboCat(“自主改进循环……RoboCat不仅表现出跨任务转移的迹象,而且在适应新任务方面变得更加高效。”)DeepMind blog, Paper (PDF)
2023年6月50%: 微软推出了监视器引导解码(MGD)(“提高了LM…生成与基本事实相匹配的标识符的能力……提高了编译率并与基本事实保持一致。”)Paper (arxiv)
2023年6月50%:前OpenAI顾问使用GPT-4在化学中实现人工智能(“指令、机器人动作、合成分子”)Paper (arxiv), notes
2023年6月50%: 哈佛大学引入了“推理时间干预”(ITI)(“在高水平上,我们首先识别出一组稀疏的注意力头,这些注意力头对真实性的线性探测精度很高。然后,在推理过程中,我们沿着这些与真实性相关的方向转移激活。我们自回归地重复相同的干预,直到生成完整的答案。”)Harvard (arxiv)
2023年6月49%: Google DeepMind在其86TB代码库中对LLM(DIDACT)进行迭代代码训练(“经过训练的模型可以以各种令人惊讶的方式使用……通过将多个预测链接在一起,以展开更长的活动轨迹……我们从一个空白文件开始,并要求模型连续预测接下来会进行哪些编辑,直到它写下完整的代码文件。令人惊讶的是,该模型以一种循序渐进的方式开发代码开发者)Google Blog, Twitter
2023年5月49%: Ability Robotics将LLM与他们的人形机器人Digit相结合。Agility Robotics (YouTube)
2023年5月49%:PaLM 2打破了WinoGrande的90%大关。WinoGrande是一个“更具挑战性、对抗性”的Winograd版本,设计对人工智能来说非常困难,一个大型语言模型首次突破了90%的大关。微调后的PaLM 2得分为90.9%;人类占94%PaLM 2 paper (PDF, Google)
2023年5月49%: Robot+text-davinci-003(“……我们展示了LLM可以直接使用现成的LLM来实现机器人的泛化,利用它们从大量文本数据中学习到的强大摘要功能。”)Princeton/Google/others
2023年4月48%: 波士顿 Dynamics+ChatGPT(“我们将ChatGPT与我们的[波士顿 Dynamics Spot]机器人集成在一起。”)Levatas
2023年5月48%:微软推出了TaskMatrix.ai(“我们展示TaskMatrix.ai如何通过[LLM]在物理世界中执行任务与机器人和物联网设备交互……所有这些案例都已在实践中实施……通过摄像头API了解环境,并将用户指令转换为机器人提供的动作API……通过连接物联网设备,促进在机器人的帮助下处理体力工作和建造智能家居…”)。Microsoft (arxiv)
2023年5月48%: OpenAI引入了GPT-4,可考证的记录微软认为GPT-4是“早期AGI”(“鉴于GPT-4能力的广度和深度,以合理地被视为人工通用智能(AGI)系统的早期(但仍然不完整)版本。”)。微软删除的论文原标题是“首次接触AGI系统”。请注意,LLM仍然没有体现。Microsoft Research
2023年5月42%: 谷歌推出了PaLM-E 562B(PaLM体现。“PaLM-E可以根据视觉和语言输入成功规划多个阶段……成功规划长期任务……”)Google
2023年2月41%: 微软在机器人中使用了ChatGPT,它自我改进了(“我们对ChatGPT仅使用语言反馈进行本地化代码改进的能力印象深刻。”)Microsoft
2022年12月39%: 通过人工智能反馈强化学习(RLAIF)训练的人类RL-CAI 52B(“我们已经远离了对人类监督的依赖,更接近于自我监督的对齐方法”)LifeArchitect.ai, Anthropic paper (PDF)
2022年7月39%: NVIDIA的Hopper(H100)电路由人工智能设计(“最新的NVIDIA Hopper GPU架构有近13000个人工智能设计的电路实例”)。LifeArchitect.ai, NVIDIA
2022年5月39%: DeepMind Gato是第一个多面手特工,可以“玩Atari、配图片、聊天、用真正的机械臂堆叠区块等等”。Watch Alan’s video about Gato.
2021年6月31% 谷歌的TPUv4芯片由人工智能设计(“允许芯片设计由比任何人类设计师都更有经验的人工代理执行。我们的方法被用于设计谷歌的下一代人工智能(AI)加速器,有可能为每一代新产品节省数千小时的人力。”我们相信,更强大的人工智能设计硬件将推动人工智能的发展,在这两个领域之间建立共生关系”)。LifeArchitect.ai, Nature, Venturebeat
2020年11月30%: Connor Leahy,EleutherAI的联合创始人,GPT-2的再创造者,GPT-J和GPT-NeoX-20B的创造者,谈到OpenAI GPT-3时说:“我认为GPT-3是人工通用智能,AGI。我认为GPT-3和人类一样聪明。我认为它可能在某种程度上比人类更聪明……在很多方面,它比人类更纯粹聪明。我觉得人类正在接近GPT-3的所作所为,而不是相反。”视频 (timecode)
2017年8月20%: Google Transformer 架构对搜索、翻译以及语言模型产生了深远的影响初始报道文章.

Gemini团队组成

Gemini 将团队划分为约 10 个小组,分别负责预训练、数据、基础设施、模型微调、模型评估、代码库、多模态、强化学习、工具使用以及人工标注数据。
在这里插入图片描述

Gemini细节

实现Paper、技术report以及开源资料,待谷歌发布后

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/60678.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

7.Oracle视图创建与使用

1、视图的创建与使用 在所有进行的SQL语句之中,查询是最复杂的操作,而且查询还和具体的开发要求有关,那么在开发过程之中,程序员完成的并不是是和数据库的所有内容,而更多的是应该考虑到程序的设计结构。可以没有一个项…

【教程分享】Docker搭建Zipkin,实现数据持久化到MySQL、ES

1 拉取镜像 指定版本,在git查看相应版本,参考: https://github.com/openzipkin/zipkin 如2.21.7 docker pull openzipkin/zipkin:2.21.7 2 启动 Zipkin默认端口为9411。启动时通过-e server.portxxxx设置指定端口 docker run --name zi…

无涯教程-Android - RadioGroup函数

RadioGroup类用于单选按钮集。 如果我们选中属于某个单选按钮组的一个单选按钮,它将自动取消选中同一组中以前选中的任何单选按钮。 RadioGroup属性 以下是与RadioGroup控制相关的重要属性。您可以查看Android官方文档以获取属性的完整列表以及可以在运行时更改这些属性的相关…

可视化工具 netron pt 转 onnx 格式

用于学习记录 文章目录 前言一、Netron 在线使用二、pt 格式转换为 ONNX 格式总结 前言 Netron 是一个开源的网络可视化工具,可以帮助开发人员和数据科学家可视化、理解和调试深度学习模型。它支持多种常见模型格式,如 TensorFlow、PyTorch、ONNX、Caff…

企业网络安全:威胁情报解决方案

什么是威胁情报 威胁情报是网络安全的关键组成部分,可为潜在的恶意来源提供有价值的见解,这些知识可帮助组织主动识别和防止网络攻击,通过利用 STIX/TAXII 等威胁源,组织可以检测其网络中的潜在攻击,从而促进快速检测…

网络中的问题2

距离-向量算法的具体实现 每个routerY的路由表表项 involve<目的网络N&#xff0c;距离d&#xff0c;下一跳X> 对邻居X发来的报文,先把下一跳改为X,再把距离1,if original route table doesn’t involve N,add this item&#xff1b; else if original table’s relate…

SPSS--s04典型相关分析

典型相关基本原理 典型相关分析是主成分分析和因子分析的进一步发展 ,是研究两组变量间的相互依赖关系 ,把两组变量之间的相互关系变为研究两个新的变量之间的相关,而且又不抛弃原来变量的信息 ,这两个新的变量分别由第一组变量和第二组变量的线性组合构成 ,并且两组变量的个数…

「MySQL-00」MySQL在Linux上的安装、登录与删除

目录 一、安装MySQL 0. 安装前请先执行一遍删除操作&#xff0c;把预装或残留的MySQL删除掉 1. 安装yum源 &#xff08;解决了在哪里找MySQL的问题&#xff09; 2. 安装哪个版本的MySQL 二、启动和登录MySQL 三、删除MySQL / MariaDB 安装与卸载前&#xff0c;建议先将用户切换…

渲染如何做到超强渲染?MAX插件CG MAGIC中的渲染功能!

渲染工作应该算是设计师的日常工作流程中最重要的环节之一了。如果渲染速度加快&#xff0c;可能是要看渲染技巧掌握的有多少了。 大家熟悉的3d Max本地渲染通道&#xff0c;对于CG MAGIC渲染功能你也一定不能错过&#xff0c;要知道操作简单易使用&#xff0c;就完全拿捏了效率…

mojo初体验

目录标题 mojo初体验试用地址变量定义参数可变性和所有权Structures后续 mojo初体验 试用地址 https://www.modular.com/get-started 与python基础语法很相似。 变量定义 let定义不可变变量var定义可变变量 参数可变性和所有权 下面是一个基本的函数&#xff1a; fn add…

软件测试/测试开发丨Python 学习笔记 之 链表

点此获取更多相关资料 本文为霍格沃兹测试开发学社学员学习笔记分享 原文链接&#xff1a;https://ceshiren.com/t/topic/26458 链表与数组的区别 复杂度分析 时间复杂度数组链表插入删除O(n)O(1)随机访问O(1)O(n) 其他角度分析 内存连续&#xff0c;利用CPU的机制&#xff0…

【阻塞队列】

文章目录 普通队列存在的问题单锁实现双锁实现 普通队列存在的问题 大部分场景要求分离向队列放入&#xff08;生产者&#xff09;、从队列拿出&#xff08;消费者&#xff09;两个角色、它们得由不同的线程来担当&#xff0c;而之前的实现根本没有考虑线程安全问题队列为空&a…

10、【WebGIS实战】图层篇——通用服务图层加载全流程(适用于全部图层)

大家好,我是X北辰北。本文是「WebGIS实战」系列,关注这个标签,阅读所有文章,成为WebGIS开发高手。 图层可以理解为添加到地图上面的数据,比如我们要在地图上展示成都市所有大型公园的位置,那么当前地图中除了初始化地图时添加的底图之外,在底图的上面我们还叠加了一份关…

Jmeter接口测试+压力测试

接口测试 Jmeter-http接口脚本 一般分五个步骤:&#xff08;1&#xff09;添加线程组 &#xff08;2&#xff09;添加http请求 &#xff08;3&#xff09;在http请求中写入接入url、路径、请求方式和参数 &#xff08;4&#xff09;添加查看结果树 &#xff08;5&#xff09;…

关于浏览器中使用迅雷组件下载文件的问题

目录 前言 场景 问题 解决 前言 在项目开发中肯定会涉及到下载导出功能&#xff0c;对于开发人员来说一般习惯使用谷歌、火狐等其他浏览器进行功能测试&#xff0c;例如谷歌浏览器支持加入扩展程序&#xff0c;扩展程序的位置在&#xff1a;点击右上角三个点>找到设置点开…

QT下使用ffmpeg+SDL实现音视频播放器,支持录像截图功能,提供源码分享与下载

前言&#xff1a; SDL是音视频播放和渲染的一个开源库&#xff0c;主要利用它进行视频渲染和音频播放。 SDL库下载路径&#xff1a;https://github.com/libsdl-org/SDL/releases/tag/release-2.26.3&#xff0c;我使用的是2.26.3版本&#xff0c;大家可以自行选择该版本或其他版…

ARM开发,stm32mp157a-A7核IIC实验(采集温湿度传感器值)

1.实验目标&#xff1a;采集温湿度传感器值&#xff1b; 2.分析框图&#xff08;模拟IIC控制器&#xff09;&#xff1b; 3.代码&#xff1b; ---iic.h封装时序协议头文件--- #ifndef __IIC_H__ #define __IIC_H__ #include "stm32mp1xx_gpio.h" #include "st…

javaee之黑马乐优商城1

问题1&#xff1a;整体的项目架构与技术选型 技术选型 开发环境 域名测试 如何把项目起来&#xff0c;以及每一个目录结构大概是什么样子 通过webpack去启动了有个项目&#xff0c;这里还是热部署&#xff0c;文件改动&#xff0c;内容就会改动 Dev这个命令会生成一个本地循环…

html实现元素拖动替换

效果 实现 复制粘贴.html即可使用 <!DOCTYPE html> <html><head><meta charset"utf-8" /><title>拖动替换</title></head><style>.box {width: 500px;height: 500px;background: gainsboro;border-radius: 10px;}…

【python爬虫】7.爬到的数据存到哪里?

文章目录 前言存储数据的方式存储数据的基础知识基础知识&#xff1a;Excel写入与读取基础知识&#xff1a;csv写入与读取项目&#xff1a;存储周杰伦的歌曲信息 复习 前言 上一关我们以QQ音乐为例&#xff0c;主要学习了如何带参数地请求数据&#xff08;get请求&#xff09;…