每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

介绍Genie，一款基于互联网视频训练的基础世界模型，能够从合成图像、照片乃至草图中生成各式各样的可玩（可控制动作的）世界。

【时尚重磅来袭】Genie：玩转虚拟世界的创新大师
近年来，创意AI技术如雨后春笋般涌现，能够通过语言、图像甚至视频生成新奇有趣的内容。如今，我们带来了一种全新的创意AI范式——Genie。这不仅仅是个AI模型，它是一位虚拟世界的魔法师，可以根据一张图片创造出互动性十足、玩家可控制的环境。不管是现实世界的照片，还是你随手画的草图，Genie都能让你的想象瞬间变为虚拟现实。

【天马行空的创意实验室】
Genie的独到之处在于，它完全通过观看互联网视频来学习精细的控制技巧。你可能会问，互联网视频有那么多，它是怎么学的呢？神奇的是，Genie不需要任何动作标签，它能够识别哪些部分是可以控制的，甚至还能推断出各种环境中一致的潜在动作。这就意味着，无论是哪种风格的图片，Genie都能让它们动起来。

【创造者的新天地】
想象一下，只需一张图片，你就能创造出一个全新的互动环境。这为创造和体验虚拟世界开辟了全新的途径。无论是使用最先进的文本到图像生成模型创造出的画面，还是你自己设计的草图，甚至是真实世界的照片，Genie都能为它们注入生命。

【AI通用代理的跳板】
Genie不仅仅是关于创造虚拟世界的工具，它对培养通用AI代理也有重要意义。以往，游戏环境被视为开发AI代理的有效试验场，但我们总受限于可用游戏的数量。有了Genie，我们的未来AI代理可以在无尽的新生成世界中接受训练。我们的论文中展示了一个概念验证，即Genie学习到的潜在动作能够转移到真实的人类设计环境中，这只是揭示未来可能性的冰山一角。

【生成虚拟世界的未来】
虽然我们的展示集中在平台游戏上，但Genie是一种通用方法，可以应用于多种领域，而且无需任何额外的领域知识。我们还训练了一个小型的2.5B模型，在没有动作的视频上进行学习，显示出Genie能够学习到一致的动作空间，这可能有助于训练体现式的通用代理。

Genie开启了从图像或文本生成整个互动世界的新时代，我们相信它也将成为培养未来通用AI代理的催化剂。

论文： https://arxiv.org/abs/2402.15391