日内瓦大学、微软研究院和爱丁堡大学的研究人员联合开源了,基于扩散模型的世界模型—DIAMOND。
研究人员之所以选择扩散模型作为基础,是因为可以更好地捕捉视觉细节,同时具有建模复杂多模态分布的能力,以便在不同的环境下进行训练和细致的行为观察。
DIAMOND主要用于智能体训练、世界建模、多模态分布建模等多种强化学习应用。为了评估其性能,研究人员在Atari 100k上进行了综合测试。
结果显示,DIAMOND不仅在视觉复杂度高的环境中能够生成连贯且高质量的轨迹,还取得了平均为1.46的测试分数,在训练智能体方面非常强。
论文地址:https://arxiv.org/abs/2405.12399
Github地址:https://github.com/eloialonso/diamond
最近几年,强化学习在游戏、机器人控制和自动驾驶等领域得到了应用,但其样本、训练效率低的问题仍是扩大应用范围的关键难点。
为了克服这一困难 “世界模型”作为一种辅助工具应运而生,使智能体能够在模拟环境中学习规划、决策等拟人化思维。
但现有世界模型多依赖于序列化的离散潜变量,来模拟环境动态,这可能导致视觉细节的损失,而这些细节对于强化学习至关重要。所以,DIAMOND使用了一种基于扩散模型的创新架构,可以捕捉更丰富的视觉信息。
扩散模型
扩散模型是DIAMOND的核心模块,主要通过逆向学习噪声过程来生成高质量的视觉数据。这种模型与传统的基于离散潜在变量的方法有显著不同,因为它能够生成更加丰富和细致的视觉信息。
扩散模型不仅能生成数据,还构成了世界模型的基础,负责模拟环境的动态变化。这意味着,给定过去的观察和动作,DIAMOND能够预测未来的观察、奖励和终止状态。
DIAMOND通过扩散模型可以生成连续的潜在变量序列,这些序列捕捉了环境状态的细微变化。对于强化学习智能体来说至关重要,因为它们需要准确地理解环境的动态,才能制定有效的策略。
奖励模型
在强化学习中,智能体的行为是由环境提供的奖励信号来引导的,可预测智能体在执行特定动作后所获得的奖励。奖励模型使得智能体能够评估其行为,并据此调整其决策能力。
在DIAMOND中,奖励模型可以采用多种不同的形式,如神经网络或其他机器学习模型。这些模型通过学习大量的交互数据,能够捕捉到观察和动作与奖励之间的复杂映射关系。
终止模型
终止模型的作用是可以帮助智能体,识别何时一个任务已经完成或需要重新开始。例如,在自动驾驶的场景中,智能体需要知道何时到达了目的地。
终止模型的工作原理基于对智能体历史行为和观察的分析。它通过学习智能体与环境交互的数据来预测,何时结束当前执行的各种事件。
终止模型通常采用机器学习算法来实现,如决策树、逻辑回归或神经网络等。这些算法能够从历史数据中学习事件结束的模式,并据此进行预测。
例如,在一个游戏场景中,智能体需要再失去所有生命时来预测结束。而终止模型便能够识别导致游戏结束的行为和状态,并预测未来可能出现的类似情况。
本文素材来源DIAMOND论文,如有侵权请联系删除
END