Stable Diffusion 3 发布,AI生图效果,再次到达全新里程碑!

AI生图效果,再次到达全新里程碑!

alt

Prompt:Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy
提示(意译版):在一幅充满史诗感的动漫画面中,一位巫师屹立于夜幕笼罩的山巅之上,正用他的法杖向漆黑无垠的夜空中施展一道震撼宇宙的魔法。这道法术在夜空中绽放,化作由五彩缤纷的能量构成的「Stable Diffusion 3」字样,犹如夜空中最璀璨的星辰。

网友复刻版,同样惊艳:

alt

网友惊呼:这种prompt的一致性是我见过最好的!

alt

这次的Stable Diffusion 3,在图像质量、多个对象、拼写能力方面,都得到了显著提升。

甚至,它似乎还涌现出了对物理世界的「理解」。

alt

Prompt: A horse balancing on top of a colorful ball in a field with green grass and a mountain in the background.
提示(意译版):一匹马优雅地站在一个五彩斑斓的球上,周围是一片生机勃勃的绿色草地。远处,一座雄伟的山峦巍峨地矗立。

alt

Prompt:Photo of a red sphere on top of a blue cube. Behind them is a green triangle, on the right is a dog, on the left is a cat
提示:一个红色的球体放在一个蓝色的立方体上面。在它们后面是一个绿色的三角形,在右边是一只狗,在左边是一只猫。

而DALL-E 3就相形见拙了。

alt

关于Stable Diffusion 3.0的核心技术进展,CEO Emd总结了一份「太长不看版」摘要——

alt

- 采用了与Sora类似的Diffusion Transformer技术,并结合了流匹配(Flow Matching)等多项技术改进。
- 通过利用对Transformer的改进,不仅使得系统扩展性更强,还能处理多种类型的输入数据。
- 将以开源形式发布,通过预览版的测试来进一步提升系统的质量和安全性。
- 发布时,将包含一套完整的工具。
- 基于最新硬件技术打造的新平台,可以支持多种规模的版本。
- 支持生成视频、3D以及更多类型的内容创作。
- 需要更多的GPU来实现更强大的计算能力。

不得不说,最近这段时间,DiT实火!

目前,模型可选择的参数范围在800M到8B之间。

现在,已经可以在这里加入候补名单,申请SD3的访问权限了:https://stability.ai/stablediffusion3

Stable Diffusion 3,文字渲染能力超进化

按照prompt生成指定文字,一直以来都是文生图模型的老大难问题。

alt

从左到右:DeepFloyd IF、DALLE-2、Bing Image Creator、Midjourneyv5.2、SDXL v0.9(2023年7月)

但是这次,SD3模型对于prompt理解得很好,在黑板上正确写出了「go big or go home」。

而且画面非常写实,远近位置、光影,都显得极其自然。

alt

Prompt: cinematic photo of a red apple on a table in a classroom, on the blackboard are the words "go big or go home" written in chalk.
提示(意译版):这张电影级视觉效果的照片,捕捉到了一个静谧的教室瞬间,一颗鲜红的苹果静静地躺在桌子上,而在它背后的黑板上,则用醒目的粉笔字写着——「要么做大,要么回家」。

相比之下,Midjourney的图是这样的:

alt

Gemini Advanced / Ultra的图是这样的:

alt

DALL-E 3的图是这样的:

alt

各种形式的文字渲染,SD3 都出色地完成了。

alt

Prompt:Resting on the kitchen table is an embroidered cloth with the text 'good night' and an embroidered baby tiger. Next to the cloth there is a lit candle. The lighting is dim and dramatic.
提示:厨房桌上铺着一块精美的绣布,上面绣着「good night」字样和一只可爱的小老虎。旁边,一支蜡烛静静燃烧,散发出柔和而略带戏剧性的光影。

alt

Prompt:Photo of an 90's desktop computer on a work desk, on the computer screen it says "welcome". On the wall in the background we see beautiful graffiti with the text "SD3" very large on the wall.
提示:一台放在工作桌上的90年代的台式电脑,屏幕上写着「welcome」。在背后的墙面上,有一幅醒目的涂鸦艺术作品,写的是「SD3」。

alt

Prompt: Anime style illustration of a newsstand on top of a small grassy hill, on top of the newsstand we see the text "it's here!". In the background we see a big rain approaching.
提示:这是一幅充满动漫特色的插画,一个报刊亭坐落在一片绿意盎然的小山丘上,亭顶醒目地展示着「it's here!」的字样。而在这个宁静的场景背后,一场壮观的暴雨即将来临。

alt

Prompt: Night photo of a sports car with the text "SD3" on the side, the car is on a race track at high speed, a huge road sign with the text "faster".
提示:在这幅夜幕下的摄影作品中,一辆标有「SD3」字样的运动赛车正在赛道上疾驰。背景里,一块巨大的路牌显眼地展示着「faster」一词。

alt

Prompt: Three transparent glass bottles on a wooden table. The one on the left has red liquid and the number 1. The one in the middle has blue liquid and the number 2. The one on the right has green liquid and the number 3.
提示:一张木桌上摆放着三个透明的玻璃瓶。从左至右,每个瓶子内分别充满了鲜艳的红、蓝、绿色液体。瓶子上,用数字1、2、3进行了标记。

alt

Prompt: Photo of a rectangular orange neon sign with the text "even more stable", the sign is on the wall in a metro station, subway speeding by in the background, perspective photo.

Stable Diffusion 3.0能在文字渲染能力上取得显著提升,是因为Stability AI在新模型中采用了全新技术——Transformer和新增的文本编码功能。

CEO Emad Mostaque解释说,因为上述原因,现在SD 3不仅能生成完整句子,还能保持风格的一致性。

宇航员骑着粉色芭蕾舞裙猪,除SD 3竟然全军覆没?

处理包含多个对象的Prompt的能力,也是考核AI生图模型的一大关键指标。

下面这个prompt,着实难倒了一大片选手——

一幅宇航员撑着粉色雨伞、骑着一只穿着芭蕾舞短裙的猪的画,猪旁边的地上是一只戴着高顶帽子的知更鸟,画面的角落里写着「stable diffusion」。

这个prompt,要求模型正确理解对象的属性、位置,以及正确呈现字体很小的文本,着实是一道难题。

如此要素拉满的细节要求,SD3.0全部理解,并且精确地完成了!

宇航员,粉色雨伞、穿着粉芭蕾舞裙的猪、戴高帽的知更鸟、角落里的字,100%符合prompt的要求。这就表明:模型很好地理解了prompt。

alt

Prompt: a painting of an astronaut riding a pig wearing a tutu holding a pink umbrella, on the ground next to the pig is a robin bird wearing a top hat, in the corner are the words "stable diffusion"

对于同一prompt,其他模型的表现就落后了。

DALL-E 3画出的画倒是过关了,但它把「Diffusion」拼错了。

alt

Bing的表现就更是离谱了,有的图中芭蕾舞裙的颜色不对,有的知更鸟站在了猪脑袋上,有的更是画面中飞满了知更鸟。而「Stable Diffusion」更是错得离谱。

alt

Gemini Advanced这个差生的答案就更惨不忍睹了,除了拼写问题,画也没画对。

alt

下面出场的,就是以画面质量精美著称的优秀文生图选手Midjourney了。

从画面美感上说,MJ依然甩其他模型一条街,但是考试就是考试,「Stable Diffusion」,它也没拼对。

alt
alt

总结下来,这一道考题唯一的满分选手,就是Stable Diffusion 3!

和Sora同样的Diffusion Transformer架构

所以,Stable Diffusion 3.0为何有如此突飞猛进的表现?

原因在于,它采用了全新的架构设计。

Stability AI的首席执行官Emad Mostaque表示——

「Stable Diffusion 3 采用了Diffusion Transformer架构,这是一种新型的架构设计,与OpenAI最近推出的Sora模型采用的架构相似。」

在以前的Stable Diffusion版本中,并未采用Transformer技术。

而Stable Diffusion 3.0采用了一种全新的方法,引入了Diffusion Transformer 技术。如果你对最近的爆火的sora有所了解,肯定对这个技术已经耳熟能详了。

alt

Transformer技术是,当前生成式AI革命的核心,广泛应用于文本生成模型中。而图像生成技术,则主要基于Diffusion模型。

Sora作者之一William和谢赛宁,在这篇论文中共同提出了Sora的基础架构。

alt

论文地址:https://arxiv.org/abs/2212.09748

这篇详细介绍DiTs的论文指出,这种基于扩散模型的新架构,可以用在图像patch上运行的Transformer替代了传统的U-Net架构。

这样,DiTs方法就可以更高效地利用计算资源,并且在图像生成方面超越了其他扩散模型技术。

一篇因「缺乏创新性」被CVPR 2023拒收的论文,竟成了Sora和Stable Diffusion 3.0的奠基之作,学术创新和工程创新的区别,着实引人深究。

alt

Stable Diffusion 3.0 的另一个创新亮点,就是流匹配技术。

一篇关于流匹配的研究论文介绍了这一新方法,它可以用于训练连续归一化流(Continuous Normalizing Flows, CNFs),以便更准确地模拟复杂的数据分布。

论文地址:https://arxiv.org/abs/2210.02747

研究表明,通过结合使用条件流匹配(Conditional Flow Matching, CFM)和最优传输路径,可以实现更快的训练速度、更高效的样本生成,并且在性能上超越传统的扩散路径方法。

alt

其实,Stability AI一直在探索多种新颖的图像生成技术。

就在本月初,他们就推出了一项名为Stable Cascade的新技术。

它基于一种名为Würstchen的先进架构,旨在提升生成图像的性能和精确度。

alt

一大波整活来了

在图像质量上,SD 3.0也取得了令人震惊的进步。

「变色龙在黑色背景上的摄影棚照片特写」,它生成的图是这样的。

alt

Prompt:studio photograph closeup of a chameleon over a black background.

Gemini Advanced/Ultra生图是这样的。

alt

Midjourney是这样的。

alt

因为题干没有区分度,所以大家表现差不多。

从更多的演示中可以看出,无论是在自然写实风景,还是在漫画、海报中,SD 3不仅做到了正确还原文字,还让文字和画面做到了很好的融合,一点都不突兀。

alt

Prompt: Trees photographed under the Milky Way, the moon and twilight shine on the Valley. The full moon appears high in the sky and the twilight glow can still be seen.

再比如黑客帝国中的Neo狗。

alt

威尔史密斯吃面,AI模型的终极图灵测试。

alt
alt
alt
alt
alt
alt
alt
alt
alt
alt
alt
alt
alt
alt
alt

Stable Video同时发力

此外,就在不久前,Stable Video也正式开放公测了。

背后还是基于Stable Video Diffusion 1.1。

alt

体验地址:https://www.stablevideo.com/

从前,这个模型需要用户自己上手部署,现在已经人人可用了,甚至不需要排队!

虽然跟登月级的Sora还有很大差距,但视频效果已经可以和Runway一拼。

alt

2024年才一开年,节奏就已经这么炸裂了。今年注定是AIGC史上不平凡的一年。

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/699637.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

靡语IT:JavaScript函数

目录 一、基本概念 二、函数的声明和调用: 1、创建函数: ​编辑 2 、函数调用: 3、函数参数: 三、全局变量和局部变量 1、局部JavaScript 变量 2 、全局 JavaScript 变量 四、arguments 对象: 五、return 作用 六、嵌…

172基于matlab的MPPT智能算法

基于matlab的MPPT智能算法,通过细菌觅食进行优化。算法引入了趋向性操作,用以进行局部范围内的最优寻找;引入了复制操作,用以避免种群更新盲目随机性,加快了算法的收敛速度;引入了迁徙操作用以避免算法陷入…

【深度学习笔记】卷积神经网络——填充和步幅

填充和步幅 在前面的例子 fig_correlation中,输入的高度和宽度都为 3 3 3,卷积核的高度和宽度都为 2 2 2,生成的输出表征的维数为 2 2 2\times2 22。 正如我们在 sec_conv_layer中所概括的那样,假设输入形状为 n h n w n_h\tim…

【Flink精讲】Flink组件通信

主要指三个进程中的通讯 CliFrontendYarnJobClusterEntrypointTaskExecutorRunner Flink内部节点之间的通讯使用Akka,比如JobManager和TaskManager之间。而operator之间的数据传输是利用Netty。 RPC是统称,Akka,Netty是实现 Akka与Ac…

Java实现毕业生追踪系统 JAVA+Vue+SpringBoot+MySQL

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 登陆注册模块2.2 学生基本配置模块2.3 就业状况模块2.4 学历深造模块2.5 信息汇总分析模块2.6 校友论坛模块 三、系统设计3.1 用例设计3.2 实体设计 四、系统展示五、核心代码5.1 查询我的就业状况5.2 初始化就业状况5.…

蜂窝物联网咖WiFi认证解决方案

项目背景 随着目前网咖模式越来越流行,给网吧部署一套无缝漫游的WIFI网络势在必行。同时,网吧无线准入的验证码在客户机上面进行更新,以防周边的人员进行蹭网,损失网吧的外网带宽。 01 需求分析 1. 网吧服务区域全部覆盖无盲区…

FastJson中AutoType反序列化漏洞

文章目录 1、频繁出现的反序列化漏洞2、parse()及parseObject()3、AutoType及安全校验3.1 AutoType安全校验3.2 AutoType黑名单机制3.3 SafeMode安全机制3.4 攻击思路4、反序列化攻击模拟4.1 TemplatesImpl攻击调用链路4.2 攻击类Translet生成4.3 构造攻击JSON串4.4 攻击模拟5、…

Linux之用户跟用户组

目录 一、简介 1.1、用户 1.2用户组 1.3UID和GID 1.4用户账户分类 二、用户 2.1、创建用户:useradd 2.2、删除用户:userdel 2.3 、修改用户 usermod 2.4、用户口令的管理:passwd 2.5、切换用户 三、用户组 3.1、增加一个用户组:groupadd 3.…

基于yolov5的水果成熟度检测,可进行图像目标检测,也可进行视屏和摄像检测(pytorch框架)【python源码+UI界面+功能源码详解】

功能演示: 基于yolov5的水果成熟度检测系统,支持图像检测,视频检测和实时摄像检测功能_哔哩哔哩_bilibili (一)简介 基于yolov5的水果成熟度检测系统是在pytorch框架下实现的,这是一个完整的项目&#x…

React18源码: reconcliler启动过程

Reconcliler启动过程 Reconcliler启动过程实际就是React的启动过程位于react-dom包&#xff0c;衔接reconciler运作流程中的输入步骤.在调用入口函数之前&#xff0c;reactElement(<App/>) 和 DOM对象 div#root 之间没有关联&#xff0c;用图片表示如下&#xff1a; 在启…

电商+支付双系统项目------电商系统中订单模块的开发

这篇文章是关于项目的订单模块的设计。这个模块其实相对来讲比之前的模块复杂了点&#xff0c;我这里说的复杂并不是说难以理解&#xff0c;而是说文件比较多&#xff0c;理解起来还是蛮轻松的。 我们还是老方法&#xff0c;一步一步的去设计&#xff0c;按照Dao->service-&…

建立不同类型网站分别大概需要多少钱??

如今&#xff0c;越来越多的企业会考虑建立一个企业官方网站来展示企业形象&#xff0c;或者建立一个电子商务网站平台来拓展业务渠道&#xff0c;或者建立一个企业内部网来协助企业进行网上工作。 网站建设的类型有很多种&#xff0c;不同类型的网站成本差异很大。 因此&#…

FairyGUI × Cocos Creator 3.x 场景切换

前言 前文提要&#xff1a; FariyGUI Cocos Creator 入门 FairyGUI Cocos Creator 3.x 使用方式 个人demo&#xff1a;https://gitcode.net/qq_36286039/fgui_cocos_demo_dust 个人demo可能会更新其他代码&#xff0c;还请读者阅读本文内容&#xff0c;自行理解并实现。 官…

C++的文件操作详解

目录 1.文本文件 1.写文件 2.读文件 2.二进制文件 1.写文件 2.读文件 1.文本文件 1.写文件 #include<bits/stdc.h> #include<fstream> using namespace std;int main() {ofstream ofs;ofs.open("text.txt",ios::out);ofs << "abc&qu…

2024最新版Python 3.12.2安装使用指南

2024最新版Python 3.12.2安装使用指南 Installation and Usage Guide to the Latest Version - Python 3.12.2 for Windows in 2024 By JacksonML 0. Python的受欢迎程度 据TechRepublic报道&#xff0c;截至2024年2月16日&#xff0c;全球最流行的编程语言之中&#xff0c…

go使用trpc案例

1.go下载trpc go install trpc.group/trpc-go/trpc-cmdline/trpclatest 有报错的话尝试配置一些代理&#xff08;选一个&#xff09; go env -w GOPROXYhttps://goproxy.cn,direct go env -w GOPROXYhttps://goproxy.io,direct go env -w GOPROXYhttps://goproxy.baidu.com/…

普中51单片机学习(红外通信)

红外通信 红外线系统的组成 外线遥控器已被广泛使用在各种类型的家电产品上&#xff0c;它的出现给使用电器提供了很多的便利。红外线系统一般由红外发射装置和红外接收设备两大部分组成。红外发射装置又可由键盘电路、红外编码芯片、电源和红外发射电路组成。红外接收设备可由…

igolang学习2,golang开发配置国内镜像

go env -w GO111MODULEon go env -w GOPROXYhttps://goproxy.cn,direct

Modern C++ std::visit从实践到原理

前言 std::visit 是 C17 中引入的一个模板函数&#xff0c;它用于对给定的 variant、union 类型或任何其他兼容的类型执行一个访问者操作。这个函数为多种可能类型的值提供了一种统一的访问机制。使用 std::visit&#xff0c;你可以编写更通用和灵活的代码&#xff0c;而无需关…

持续集成,持续交付和持续部署的概念,以及GitLab CI / CD的介绍

引言&#xff1a;上一期我们部署好了gitlab极狐网页版&#xff0c;今天我们介绍一下GitLabCI / CD 目录 一、为什么要 CI / CD 方法 1、持续集成 2、持续交付 3、持续部署 二、GitLab CI / CD简介 三、GitLab CI / CD 的工作原理 4、基本CI / CD工作流程 5、首次设置 …