Meta MobileLLM

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

人工智能在未来面临巨大的威胁:能源限制。以当前的标准来看,世界能源电网将无法满足对人工智能产品的预期需求。因此,拥有强大的、参数少于十亿的小语言模型(SLMs),即比GPT-4或Claude 3小数千倍的模型,不仅是一个很好的选择,而且是这个领域生存的必要条件。Meta提出了各种算法创新来创建MobileLLM,这是一种新的最先进模型,可能很快成为这一规模的标准,并防止所有人工智能爱好者预见的伟大承诺最终成为空话。

人工智能在未来将面临许多问题,其中一个主要问题是能源供应。假设技术现状保持不变,我们可能很快面临真正的GPU短缺。NVIDIA未能满足大科技公司在资本支出方面的投资需求,导致了一次由资本支出驱动的GPU短缺。然而,未来可能会出现相对于需求的真正GPU短缺,一旦世界开始大量使用LLMs。根据Meta的数据,在一个大多数人每天仅使用LLMs 5%的未来,我们将需要一亿个NVIDIA H100 GPU来为GPT-4提供服务,以达到每秒50个令牌的可接受延迟。

此外,全球对人工智能的预期需求将导致更严重的能源问题。大多数人认为搜索增强的LLMs(长时间推理模型)是解决方案。这些LLMs在直接响应您的请求之前探索解决方案空间,生成多达数百万个可能的响应,然后才定下来。这种范式不仅使平均令牌生成增加了数量级,还可能需要验证者,即在作者寻找解决方案时验证每个想法的附加模型。

然而,边缘人工智能或“设备上”的语言模型可能是一个解决方案,因为这些模型可以在我们个人设备的电池上运行,从而不需要GPU数据中心。然而,这需要克服质量和电池方面的挑战。目前,最好的AI结果来自文件大小远超TB(太字节)范围的模型,而这些模型在智能手机上的存储和运行存在困难。此外,Meta研究人员计算,在0.1 J/令牌消耗的情况下,一个每秒输出10个令牌的LLM将在两小时内耗尽整个电池。

为了应对这些挑战,Meta提出了一些创新方法,例如在较小规模上使用标准的SwiGLU激活函数,并且优先选择更深的网络结构而不是更宽的。研究人员还提出了共享嵌入和解嵌层,以及分组查询注意力来减少KV缓存的约束。此外,他们发现通过重复块来减少内存层次之间的通信开销可以提高准确性。

总的来说,Meta的研究专注于务实,而不是追求AGI或超级智能等遥远的目标。尽管资本支出投资巨大,但实际收入却相形见绌。过分关注“达到AGI”不仅对资本的有效使用不利,而且在能源方面也不可行。Meta的工作表明,提供卓越性能的次十亿LLMs是人工智能领域的未来方向,这将有助于缓解对云服务的巨大需求,并防止能源危机。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/46007.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

鸿蒙开发—基础组件

目录 安装介绍 1.Text 2.Image 3.Button 4.Slider 安装介绍 该文章介绍鸿蒙开发中的部分基础组件,适用于鸿蒙开发的初学者。 1.软件下载地址:DevEco Studio-HarmonyOS Next Beta版-华为开发者联盟 (huawei.com) 2.安装DevEco Studio:…

最新版智能修图-中文luminar ai 1.55(13797) 和 neo1.20,支持m芯片和intel芯片(绝对可用)

Luminar AI for macOS 完整版本 这个程序是第一个完全由人工智能驱动的图像编辑器。有了它,创建引人注目的照片是有趣的,令人惊讶的容易。它是一个独立的照片编辑器和macOS插件。 Luminar AI for macOS 轻轻地塑造和完善一个肖像打造富有表现力的眼睛…

增加内容曝光、获得更多粉丝 - 「评论发红包」功能

目录 博客发放以及领取红包规则 1. 发布博客评论社区红包规则: 2. 博客评论红包领取规则 如何发红包评论? 发布红包评论益处 不知道大家有没有注意到,我们的「评论发红包」功能已经上线啦~ 现在几乎所有的内容 -- 博客&…

qt 可以滚动区域实验举例

在 Qt 中,创建一个可以滚动的区域通常涉及到使用 QScrollArea 控件。下面是一个简单的实验举例,说明如何在 Qt 应用程序中创建一个可滚动的文本区域。 步骤 1: 创建一个新的 Qt Widgets 应用程序 首先,你需要有一个 Qt Widgets 应用程序。你…

力扣 哈希表刷题回顾

哈希表理论总结 什么时候用哈希表,快速判断一个元素是否出现在集合中时,用哈希这种空间换时间的方法。 哈希函数与哈希碰撞 哈希函数是指将key映射到对应的哈希表上 哈希碰撞是指映射的过程中容易出现多对一的情况,用什么方法解决拉链法和…

TCP连接的三次握手和断开的四次挥手

TCP连接的建立过程通过三次握手完成,‌而连接的关闭过程则通过四次挥手完成。‌ 三次握手:‌这是TCP连接建立的过程,‌主要目的是确保双方都准备好进行数据传输。‌具体步骤如下:‌ 客户端向服务器发送一个SYN报文,‌请…

Dubbo 负载均衡(Load Balance)

在分布式系统中,负载均衡是确保系统高效稳定运行的关键技术之一。Dubbo 作为一款高性能的 RPC 框架,提供了多种负载均衡策略以满足不同场景的需求。本文将深入介绍 Dubbo 中常用的几种负载均衡策略:随机(Random)、轮询…

QComboBox

构造函数: explicit QComboBox(QWidget *parent nullptr); 添加内容 QComboBox *comboBoxnew QComboBox(this);comboBox->addItem("A1");comboBox->addItem("A2");comboBox->addItem("A3");comboBox->addItem("…

独立开发者系列(24)——使用redis

(一)REdis的使用原理 在早期的网站的时候,如果系统本身功能不是很复杂,比如就是内部的几个用户使用,而且基本就是汇报一点简单的设备维护信息,还有日常公告。完全可以不使用数据库,直接使用jso…

IoTDB 集群高效管理:一键启停功能介绍

如何快速启动、停止 IoTDB 集群节点的功能详解! 在部署 IoTDB 集群时,对于基础的单机模式,启动过程相对简单,仅需执行 start-standalone 脚本来启动 1 个 ConfigNode 节点和 1 个 DataNode 节点。然而,对于更高级的分布…

【C语言】多线程服务器

多线程服务器 多线程服务器步骤代码 最后 多线程服务器 步骤 主线程创建子线程,用子线程和客户端通信。 步骤: 1.使用socket函数,获取一个socket文件描述符 2.使用setsockopt端口复用 3.使用bind函数允许客户端的哪些ip可以访问服务器 4.使…

02:项目二:感应开关盖垃圾桶

感应开关盖垃圾桶 1、PWM开发SG901.1、怎样通过C51单片机输出PWM波?1.2、通过定时器输出PWM波来控制SG90 2、超声波测距模块的使用3、感应开关盖垃圾桶 需要材料: 1、SG90舵机模块 2、HC-SR04超声波模块 3、震动传感器 4、蜂鸣器 5、若干杜邦线 1、PWM开…

7、y0usef

难度-低 局域网靶机地址发现 端口服务扫描 通过目录扫描发现adminstration目录,但是访问发现提升没有权限 尝试通过添加请求头X-Forwarded-For: http://127.0.0.1 成功绕过 访问发现是一个登录框 尝试admin admin发现成功登录。。。 发现文件上传功能点 尝试进…

Nikto 扫描 Web 服务器漏洞

目录 介绍 使用 进阶用法 示例命令 介绍 Nikto 是一个开源的 Web 服务器扫描工具,旨在帮助发现和修复 Web 服务器上的安全问题。它是渗透测试和安全审计中的常用工具之一。 已知漏洞:检测已知的 Web 服务器和应用程序的漏洞,如常见的安全…

JavaWeb后端学习

Web:全球局域网,万维网,能通过浏览器访问的网站 Maven Apache旗下的一个开源项目,是一款用于管理和构建Java项目的工具 作用: 依赖管理:方便快捷的管理项目以来的资源(jar包)&am…

鸿蒙系统在服装RFID管理中的应用:打造智能零售新时代

​随着物联网技术的迅速发展,服装零售行业正面临着新的变革与挑战。鸿蒙系统作为新一代智能操作系统,结合RFID技术,为服装行业提供了高效、智能的管理解决方案。常达智能物联,作为RFID技术的领先企业,致力于将鸿蒙系统…

Linux的世界 -- 初次接触和一些常见的基本指令

一、Linux的介绍和准备 1、简单介绍下Linux的发展史 1991年10月5日,赫尔辛基大学的一名研究生Linus Benedict Torvalds在一个Usenet新闻组(comp.os.minix)中宣布他编制出了一种类似UNIX的小操作系统,叫Linux。新的操作系统是受到另一个UNIX的…

jenkins系列-04-jenkins参数化构建

使用maven build之前,先checkout 指定分支或标签: 拖拽调整顺序:shell执行在前,构建在后: gitee新建标签tag:

如何使用Gunicorn配置SSL/TLS加密Web服务

如何使用Gunicorn配置SSL/TLS加密Web服务 目录 简介SSL/TLS的基本概念 SSL与TLS的区别为什么需要SSL/TLS Gunicorn的简介与安装 什么是Gunicorn安装Gunicorn 生成SSL/TLS证书 自签名证书从受信任的证书颁发机构获取证书 配置Gunicorn使用SSL/TLS 配置文件的使用命令行参数配置…

代理模式(大话设计模式)C/C++版本

代理模式 C #include <iostream> using namespace std;class Subject // Subject 定义了RealSubject和Proxy的共用接口..这样就在任何使用RealSubject的地方都可以使用Proxy { public:virtual void func(){cout << "Subject" << endl;} };class R…