AI大模型日报#0701:Meta发布LLM Compiler、扒一扒Sora两带头人博士论文

导读:AI大模型日报,爬虫+LLM自动生成,一文览尽每日AI大模型要点资讯!

目前采用“文心一言”(ERNIE-4.0-8K-latest)生成了今日要点以及每条资讯的摘要。欢迎阅读!

《AI大模型日报》今日要点:今日AI大模型领域的资讯涵盖了多个重要进展。在视频生成方面,Runway和Luma推出了新功能,尽管Yann LeCun指出这些模型与世界模型的目标仍有距离,但AI视频生成技术的进步仍激发了创造力。同时,教程详细介绍了如何使用英伟达T4、A10训练小型文生视频模型,为资源有限的开发者提供了实践指南。在模型可靠性方面,ICML 2024介绍了利用大语言模型提高分布外检测性能的新方法,而佐治亚理工、多伦多大学、康奈尔大学的研究则通过整合LLM到进化算法中,优化了分子设计。此外,韩国团队提出的Block Transformer架构通过拆分注意力机制,显著提升了大模型解码速度。微软AI CEO Mustafa Suleyman则讨论了AI的社会影响及监管必要性。在人才方面,Sora的两位核心人物Tim Brooks和Bill Peebles的博士论文为AI视觉生成领域提供了新方向。最后,华为诺亚方舟实验室和Meta的LLM Compiler分别在数学推理和代码优化方面取得了突破,为AI推理和开发者工具带来了新的可能性。这些进展共同展示了AI大模型在多个领域的广泛应用和快速发展。

标题: Runway和Luma又打起来了!Yann LeCun炮轰:你们再牛,也不是「世界模型」


摘要: 科技记者提炼要点: 人工智能(AI)正改变我们的生活和工作方式,但多数人仍不知如何使用。因此,「AI在用」专栏推出,通过直观案例介绍AI使用方法,并鼓励读者投稿创新型用例。在AI视频领域,竞争尤为激烈。Runway推出了Gen-3 Alpha模型,向部分用户开放测试,其效果在光影、质量等方面大幅提升,备受追捧。同时,Luma推出了关键帧新功能,免费向所有用户开放,可实现好莱坞级别特效。然而,图灵奖得主Yann LeCun指出,这些视频生成模型并不理解物理世界,与世界模型研究的目标相去甚远。尽管如此,AI视频生成技术仍在不断进步,激发着人们的创造力与想象力。
网址: Runway和Luma又打起来了!Yann LeCun炮轰:你们再牛,也不是「世界模型」 | 机器之心
 
标题: 从零开始,用英伟达T4、A10训练小型文生视频模型,几小时搞定
 


摘要: 科技记者提炼要点: 2024年最流行的AI趋势之一是文本生成视频模型,如OpenAI的Sora和Stability AI的Stable Video Diffusion。本教程详细介绍了如何从头开始构建一个小规模的文本生成视频模型,包括理解理论、编写架构和生成结果。作者因资源有限,仅创建了小规模架构,并建议使用Colab或Kaggle的T4 GPU进行高效训练。模型采用传统方法,在数据集上训练并测试。由于真实训练数据集算力要求高,作者使用Python生成的移动对象视频数据集和GAN架构。GAN由两个深度神经网络组成,相互竞争直至生成的数据与原始数据无法区分。教程解释了GAN的工作原理,并展示了如何使用Python库构建和训练模型。最终,通过一系列步骤,包括导入必要的库、定义训练数据和编码,读者可以构建自己的文本生成视频模型。
网址: 从零开始,用英伟达T4、A10训练小型文生视频模型,几小时搞定 | 机器之心
 
标题: ICML 2024| 大语言模型助力基于CLIP的分布外检测任务
 


摘要: 本文介绍了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方法,旨在提高机器学习模型在开放世界环境中的可靠性。该方法通过利用大型语言模型(LLM)来想象潜在的异常值,从而提升视觉语言模型(VLMs)的OOD检测性能,且无需访问实际的OOD数据。EOE通过设计基于视觉相似性的LLM提示和新的评分函数,有效区分难以识别的OOD样本。实验表明,EOE在不同OOD任务中实现了优越性能,并可扩展到大规模数据集如ImageNet-1K。该方法不依赖于未知OOD数据的先验知识,具有零样本特性,即同一预训练模型可应用于各种特定任务的ID数据集,无需单独训练。此外,EOE的有效性分析显示,即使生成的异常类标签未命中真实OOD类,仍能提高OOD检测表现。该研究为OOD检测领域提供了新的思路。
网址: ICML 2024| 大语言模型助力基于CLIP的分布外检测任务 | 机器之心
 
标题: 击败25个分子设计算法,佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO
 


摘要: 佐治亚理工学院、多伦多大学和康奈尔大学的研究者合作提出了分子语言增强进化优化(MOLLEO),通过整合化学知识的预训练大语言模型(LLMs)到进化算法中,显著改善了分子优化能力。这项研究旨在解决分子发现中的计算挑战,通过减少昂贵的目标评估来加速优化过程。MOLLEO利用LLM作为遗传操作符,生成高质量候选物,在多项黑箱优化任务中表现出优越性能。实验证明,该方法在单目标和多目标优化任务中均优于基线方法,展示了LLM在分子生成中的有效性与前景。
网址: 击败25个分子设计算法,佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO | 机器之心
 
标题: 拆分Transformer注意力,韩国团队让大模型解码提速20倍
摘要: 韩国科学技术研究院、LG和DeepMind的研究团队提出了一种名为Block Transformer的新架构,通过拆分Transformer的注意力机制,将全局注意力分解为块级和块内注意力,使大模型解码提速最高达20倍,同时大幅降低了内存开销。该架构通过减少全局KV缓存的频繁访问,提高了推理吞吐量和GPU利用率,且在多个零样本任务上保持了与原始Transformer相当甚至略高的准确率,展现了优异的训练效率。论文地址:https://arxiv.org/abs/2406.02657。
网址: 拆分Transformer注意力,韩国团队让大模型解码提速20倍 | 量子位
 
标题: 深度|微软 AI CEO Mustafa Suleyman:今年年底,我们将拥有实时的语音界面,允许完全动态的交互
摘要: 在阿斯彭思想节上,微软AI负责人Mustafa Suleyman与财经记者Andrew Ross Sorkin进行了对话。Suleyman强调AI将对社会产生深远影响,与加密货币的热潮不同,AI已在多个领域展现价值。他呼吁中美在技术竞争中寻求合作,指出全球化背景下合作的重要性。Suleyman还讨论了AI监管的必要性,强调监管可以确保技术为人类服务,并提到历史上技术被成功监管的先例。对于OpenAI内部的安全团队离职和公开反对情况,他表示支持举报人,并尊重OpenAI的成就,同时强调他们在推进技术发展的同时重视安全。
网址: 深度|微软 AI CEO Mustafa Suleyman:今年年底,我们将拥有实时的语音界面,允许完全动态的交互|ai|应用程序|微软|源代码|语音界面|财务会计|财务报表_手机网易网
 
标题: 人刚毕业,颠覆整个AI界:扒一扒Sora两带头人博士论文
 


摘要: 2024年,生成式AI蓬勃发展,OpenAI推出的Sora将视频生成技术推向新高度,其背后的主要推动者为Tim Brooks和Bill Peebles,二人被誉为“Sora之父”。他们均于2023年从加州大学伯克利分校博士毕业,师出同门,并在博士期间专注于AI视频生成研究。Tim Brooks的博士论文深入探讨了长视频生成、基于人体姿态的场景图像生成,以及通过结合大型语言模型和文本到图像模型的能力来创建监督训练数据的方法。这些研究共同提升了生成模型合成图像和长视频的能力。而Bill Peebles的博士论文则以图像生成模型为主题。他们的研究为AI视觉生成领域的发展奠定了坚实基础,并指明了未来方向。
网址: 人刚毕业,颠覆整个AI界:扒一扒Sora两带头人博士论文 | 机器之心
 
标题: 等不来OpenAI的Q*,华为诺亚探索LLM推理的秘密武器MindStar先来了
 


摘要: 机器之心AIxiv专栏报道了华为蒙特利尔诺亚方舟实验室的研究,提出了一种名为MindStar的新方法,通过树搜索增强预训练大型语言模型(LLMs)在数学推理上的能力。该方法在推理时通过过程监督奖励模型(PRM)评估中间步骤,有效提升了开源模型如Llama-13-B和Mistral-7B的推理能力,接近闭源大模型GPT-3.5和Grok-1的表现,同时大幅节省计算资源。研究表明,将计算资源从微调转移到推理时间搜索有助于高效增强推理能力,为未来研究开辟了新途径。
网址: 等不来OpenAI的Q*,华为诺亚探索LLM推理的秘密武器MindStar先来了 | 机器之心
 
标题: 开发者狂喜!Meta最新发布的LLM Compiler,实现77%自动调优效率
 


摘要: Meta推出了一项名为LLM Compiler的人工智能突破,这是一套旨在优化代码并彻底改变编译器设计的强大开源模型。该模型通过在庞大的语料库上训练,增强了对编译器中间表示、汇编语言和优化技术的理解,能够执行以前仅限于人类专家或专业工具的任务。LLM Compiler在代码大小优化方面取得了显著成果,优化潜力达到自动调优搜索的77%,可显著减少编译时间并提高代码效率。此外,该模型在反汇编方面表现出色,往返反汇编成功率为45%,对逆向工程任务和旧代码维护具有巨大价值。该技术的推出有望改变开发者处理代码优化的方式,使其更快、更高效、更经济。
网址: 开发者狂喜!Meta最新发布的LLM Compiler,实现77%自动调优效率 | 机器之心
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/38713.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

09 - matlab m_map地学绘图工具基础函数 - 绘制区域填充、伪彩色、加载图像和绘制浮雕效果的有关函数

09 - matlab m_map地学绘图工具基础函数 - 绘制区域填充、伪彩色、加载图像和绘制浮雕效果的有关函数 0. 引言1. 关于m_pcolor2. 关于m_image3. 关于m_shadedrelief4. 关于m_hatch5. 结语 0. 引言 本篇介绍下m_map中区域填充函数(m_hatch)、绘制伪彩色图…

数据库连接池满问题

概述 当数据库连接池满时,可能会导致新的数据库连接请求无法被处理,进而影响应用程序与数据库的交互。以下是针对数据库连接池满问题的详细分析和解决策略: 问题分析 连接泄漏:应用程序在使用完数据库连接后没有正确地关闭连接&…

2.2章节python的变量和常量

在Python中,变量和常量有一些基本的概念和用法,但需要注意的是,Python本身并没有内置的“常量”类型。然而,程序员通常会遵循一种约定,即使用全部大写的变量名来表示常量。 一、变量 在Python中,变量是一…

唯一ID:雪花算法介绍与 Go 语言实现

介绍 snowflake 雪花算法可以在不依赖数据库的情况下,生成全局唯一的ID。雪花算法生成的ID是一个64位的整数,它由以下4部分组成: 时间戳:占用41位,精确到毫秒级,用于记录时间戳,差值形式可以使用69年。数…

数据库设计规范详解

一、为什么需要数据库设计 1、我们在设计数据表的时候,要考虑很多问题。比如: (1) 用户都需要什么数据?需要在数据表中保存哪些数据? (2) 如何保证数据表中数据的 正确性,当插入、删除、更新的时候该进行怎样的 约束检査 ?. (3) 如何降低数据表的 数据…

每天一个数据分析题(三百八十五)- 回归模型

在回归模型中,下列哪一项在权衡欠拟合(under-fitting)和过拟合(over-fitting)中影响最大? A. 多项式阶数 B. 更新回归参数w时,使用的是协方差矩阵求逆还是梯度下降 C. 使用常数项 D. 以上都…

python导入未找到tensorrt,No module named ‘tensorrt‘

(2024.7.1) 这个错误可能比较少见,是因为本人先装了tensorrt 10.1(能够正常运行),后面又装了nvidia-tensorrt 7,后面不想用7了就把7卸了用回10,结果即使同一版本的tensorrt和nvidia-tensorrt都装了&#x…

毫米波雷达深度学习技术-2.1~2.2深度度量学习和成对方法

2 深度度量学习 有几种雷达应用程序旨在对一组预定义的类别进行分类,例如不同的人类活动或手势。然而,在实际环境中,存在的类不仅仅是预定义的类,这就把问题变成了一个开放集的分类任务。开放集分类意味着网络应该能够检测输入是否…

[AIGC] StarRocks 快速了解

星石数据库(StarRocks)是一种高性能、分布式的列式存储数据库系统,旨在为大规模数据分析提供快速和可靠的解决方案。它由StarRocks团队于2015年开始开发,最初是由中国电子科技集团公司(CETC)内部项目&#…

Chapter 8 Feedback

Chapter 8 Feedback 这一章我们介绍feedback 反馈运放的原理. 负反馈是模拟电路强有力的工具. 8.1 General Considerations 反馈系统如下图所示 Aolamp open-loop gain即开环增益. Aolxo/xi β \beta β 是 feedback factor, 注意方向. β x f x o \beta\frac{x_{f}}{x_{o…

Python内置函数enumerate 将可迭代对象组合成索引序列列举出数据和数据下表

enumerate 是一个内置的 Python 函数,用于将一个可迭代对象(如列表、元组、字符串等)组合为一个索引序列,同时列出数据和数据下标。 参数说明: enumerate(iterable, start0) 接受两个参数: iterable&…

从零开始:Java开发者的设计模式指南

从零开始:Java开发者的设计模式指南 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将深入探讨Java开发中的设计模式,这是每位J…

一、课程介绍,基础—环境安装、判断、循环语句等(爬虫及数据可视化)

一、课程介绍,基础—环境安装、判断、循环语句等(爬虫及数据可视化) 1. 课程介绍1.1 相关内容1.2 学习目标1.3 学习内容安排 2. python2.1 环境配置2.2 标识符和关键字2.3 运算符2.4 判断语句2.5 循环语句 1. 课程介绍 1.1 相关内容 10天的…

【pytorch11】高阶操作

高阶操作 WhereGather where 三个参数,第一个是condition,第二个参数是源头A,第三个参数是源头B,也就是说有两项数据A和B,C有可能来自于A也有可能来自于B,如果全部来自于A的话直接赋值给A,如果…

算法金 | Transformer,一个神奇的算法模型!!

大侠幸会,在下全网同名「算法金」 0 基础转 AI 上岸,多个算法赛 Top 「日更万日,让更多人享受智能乐趣」 抱个拳,送个礼 在现代自然语言处理(NLP)领域,Transformer 模型的出现带来了革命性的变…

推送本地代码库到gitee

方式一: 1、在gitee创建代码库 2、下拉到本地 git clone https:xxxx 3、将要上传的代码复制进去 4、git add . 5、git commit -m 6、git push -u origin master 成功 方式二: 1、在gitee创建代码库 2、将要上传的代码库执行 git init 3、gi…

无线物联网练习题

文章目录 选择填空简答大题 选择 不属于物联网感知技术的是(A) A:ZigBee B:红外传感器 C:FRID D:传感器 ZigBee是一种无线通信技术,虽然它常用于物联网中作为设备之间的通信手段,但它本身并不是一种感知技术 关于物联网于与互联网的区别的描述&#xff…

【机器学习】基于Transformer的迁移学习:理论与实践

引言 在机器学习领域,迁移学习已成为提升模型训练效率和性能的重要策略,特别是在标注数据稀缺的场景下。Transformer模型自2017年由Google提出以来,在自然语言处理(NLP)领域取得了突破性进展,并逐渐扩展到…

map和set的底层实现

前言 map和set的底层都是由红黑树构成&#xff0c;但是map是kv模型&#xff0c;set是k模型。如何用一颗子树来同时封装map和set&#xff0c;还有怎么实现map/set的迭代器是这节重点 map和set的模板参数 struct MapKeyOfT{const K& operator()(const pair<K, V>&am…

XF 533-2012 挡烟垂壁

挡烟垂壁是指用不燃材料制成&#xff0c;垂直安装在建筑顶棚、横梁或吊顶下&#xff0c;能在火灾时形成一定的蓄烟空间的挡烟分隔设施。 XF 533-2012 挡烟垂壁测试项目 测试要求 测试标准 外观 XF 533 材料 XF 533 尺寸与极限偏差 XF 533 漏烟量 XF 533 耐高温性能 …