就在今日,英伟达投资的旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine,可以文生视频,图生视频,人人免费可用。同时,Luma AI 称 Dream Machine 可以从文本和图像生成“高质量”的视频,效果堪比OpenAI推出的Sora。
画面逼真,视频质量高
Dream Machine 可在 120 秒生成 120 帧,目前单个视频最长为 5 秒;根据Luma AI官方放出的视频看,其生成的视频具有逼真的流畅运动、电影摄影和戏剧效果;还可以匹配摄像机运动,创造出“惊艳”的画面,虽然高需求可能会导致生成时间和队列延迟,但该模型始终可以很好地表示字符,尽管它在变形、移动和文本呈现方面存在一些限制。根据官方给出的实例,我们可以看到眼部特写清眼球中变幻的色彩,老虎在雪地中行走动作自然,脸部特写光影斑驳、镜头移动自然,人物动作衔接流畅。已有网友在社交平台上放出用Dream Machine制作的视频,画面看上去颇为真实:
除了生成逼真视频外,Dream Machine 也可以尝试不同风格。
比如日本动漫风:
迪士尼风格:
热度非常高,使用需排队
据了解,起初官方表示模型可以在120秒内生成120帧视频,但发布后的真实情况是太多人挤入,网站流量过大,现在生成一个视频甚至需要排队几个小时。此外,在推出免费公开测试版前,已经有少数AI视频创作者和电影制作人测试上了Dream Machine,他们也发布了不少作品。
使用的方式也很简单,只要在输入框输入提示词,提出你想要的图像包括理想的画风以及效果,随后等待几分钟后即可;同时输入框下面还有“推荐提示词”以及“提示词强化”的选项功能来助你一臂之力。输入的关键词越详细,生成的视频就越逼真动人。
比如我们在此输入“A teddy bear in sunglasses playing electric guitar, dancing and headbanging in the jungle in front of a large beautiful waterfall”即“一只戴着墨镜的泰迪熊弹着电吉他,在丛林里、在美丽的大瀑布前摇头晃脑地跳舞” 的指令后,在等待大约两分钟后可以得到以下视频:
怎么样,很逼真吧!
不过,Luma Ai仍旧存在着一些相关的问题,比如切换视角时汽车会变形,狗的运动没有用到爪子,显示文字会有问题(将 Luma 显示成 Lumma),北极熊在转身时出现了两个头(Janus 是罗马人的门神,具有前后两个面孔),官方表示他们仍将继续优化模型。
谁创造了它?
Dream Machine的背后是一家新兴Ai智能公司:Luma AI
Luma AI 成立于 2021 年,最初只是一家聚焦于 3D 内容生成的技术公司。
首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师,首席技术官 Alex Yu 曾是加州大学伯克利分校的研究生(放弃博士学业创办了 Luma AI )。二人在 3D 视觉、机器学习、实时图形学等领域都有所建树。
据悉,这家公司已经历数轮融资。A 轮融资由 Amplify Partners、Nvidia 投资部门 和 General Catalyst 领投,共筹集 2000 万美元;B 轮融资则由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投,筹集 4300 万美元。截至目前,公司共融资 7000 多万美元,估值在 2 亿到 3 亿美元之间。
而在Dream Machine之前,Luma AI凭借去年发布的一个文本到3D生成的模型Genie 1.0,已经打出了一波知名度。Genie能够在10秒内创建3D物体,可生成四边形网格和材料,支持任意多边形数量的标准格式。Genie现在可以通过网页版、Luma iOS APP以及Discord社区使用,而这次最新推出的Dream Machine,是Luma AI打造的第一个视频生成AI。感兴趣的小伙伴可以亲自试一下。 链接: Luma Dream Machine (lumalabs.ai)
高性价比GPU平台:https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_wenzhang_617_shemei