生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作

6d78244c93669055d0ee5ba690e36cf1.gif

感谢大家阅读《生成式 AI 行业解决方案指南》系列博客,全系列分为 4 篇,将为大家系统地介绍生成式 AI 解决方案指南及其在电商、游戏、泛娱乐行业中的典型场景及应用实践。目录如下:

  • 《生成式 AI 行业解决方案指南与部署指南》

  • 《生成式 AI 在电商行业的应用场景实践 – 赋能营销物料高效生产》

  • 《生成式 AI 在游戏行业的应用场景实践 – 加速游戏美术内容生产》

  • 《生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作》(本篇)

背景介绍

从 2022 年以来生成式 AI 发展迅猛,特别是在文生图领域,在扩散模型为主、其他模型的加持下,新的文生图、图生图技术层出不穷。在媒体与娱乐领域已经被广泛应用,主要的场景有:1. 分镜头剧本插图;2. 漫画创作;3. 概念图生成。并随着技术的进步,形成比较完善的工具链。

尽管扩散模型和其应用在生成图片方面的能力出众,但是视频生成领域发展依然是滞后的。其原因主要有:没有高质量的训练集;没有很好描述视频的方式;生成式视频模型的训练需要极高的算力。

所以现在主流的利用扩散模型生成视频的方式是: 利用模版视频,拆解为视频帧图片,利用各种插件逐帧按照提示词和图片特征进行风格化,最后组合成风格化视频。

在本篇文章中,我们基于生成式 AI 行业解决方案指南,针对泛娱乐行业的风格化视频生成,介绍生成式 AI 的使用和参数配置,以及配合传统工具,以协助内容创作,达到一定的创意效果。

生成式 AI 在泛娱乐行业中视频创作

在泛娱乐行业,短视频是最流行的一种内容表达形式,其特点是制作成本较低,传播率高。传统的生成短视频的方式既有 UGC 模式,也有 PGC 模式,虽然他们的制作周期和制作成本远低于传统媒体,但是还是脱离不了“策划-剧本-台词-选角-排练-正式演出-录制-校验-剪辑-后期-审核-发布”这些基本的步骤。综合来说,一个 5 分钟左右的短视频制作平均时长大概 2-3 天左右。生成式 AI 的出现可以大大提高制作效率,缩短制作周期,甚至可以简化制作步骤。 

现在有生成风格化图片和生成风格化视频的生成方式,根据一些现有的图片和视频,或者初期拍摄的视频直接进入后期步骤。进行风格化是现在短视频生成的一种尝试,虽然现在这类视频依然有闪烁跳跃等问题,通过社区的不断进步,效果正越来越好。当然这类视频本身因为自由度较高,创意属性强,本身就具有较强的话题性和传播度。

主流的风格化视频的生产的方法是利用连续风格化图片作为序列帧串联起来的视频。包括:

1)通过原视频提取每一帧,逐帧通过提示词进行图生图,最后将图片重新组装起来生成风格化视频;

2)生成数张创意图片,作为关键帧,相似图片作为过渡帧,组装成风格化视频。

这两种风格化视频,都可以通过 Stable Diffusion WebUI 的插件来实现。但是这两种风格化视频生产方式依然具有一定需要解决的问题,各自分别是:

1) 模版视频拍摄依然需要一定投入,包括编排,表演,以及原始视频的版权问题等;

2 )风格化视频的主题难以定义。

本文给出了两种风格化视频的组合生成方式,可以充分利用目前风格化视频的插件,又可以部分解决风格化视频生产的上述问题:

  1. 利用 3D 模型的动态画面作为蓝本,生成风格化视频的方法

  2. 利用短暂的普通视频作为起点(或者中间节点)生成具有一定主题的风格化视频的方法

架构与工作原理

本篇以生成式 AI 行业解决方案指南为基础,其工作原理如下图:

70faf008a89094d69d432c7b8e9d092b.jpeg

生成式 AI 行业解决方案指南,将前端 Stable Diffusion WebUI 部署在容器服务 Amazon ECS 上,后端使用无服务器服务 Amazon Lambda 进行处理,前后端通过 Amazon API Gateway 调用进行通信。模型训练及部署均通过 Amazon SageMaker 进行。同时使用 Amazon S3、Amazon EFS、Amazon DynamoDB 分别进行模型数据、临时文件、使用数据的存储。快速部署流程可参考该系列博客的第一篇,本篇不再赘述。

3D 模型为蓝本生产风格化视频

首先我们先了解一下由原视频转换为风格化视频的基本原理,如下图所示:

15ba437fd5539400dc35cccc63aeea9f.jpeg

参考步骤为:

  1. 原始视频拆解为视频帧序列

  2. 针对每一帧通过 Stable Diffusion 进行风格化,并用 ControlNet 对人物轮廓和姿态进行控制

  3. 将生成的新的序列帧重新组合成为视频

从视频生成视频的角度,原视频只是用于风格化视频的轮廓或者动作,使用真人或者实景拍摄的原视频成本还是比较高的;我们不妨使用一些低成本的 3D 模型,比如只有轮廓,没有贴图,调色器,面数很低的模型,作为蓝本进行视频生成。这里采用一个例子:生成一个具有 cyberpunk 风的女孩跳桑巴舞,和一般的视频风格化不同,这个例子中舞蹈动作比较复杂,并且没有版权的原视频作为模版,那么我们可以采用具体步骤如下:

1. 将低成本人物模型导入 Blender 或者 Unity3D,并生成桑巴舞蹈动画。这里我们选择从 mixamo.com 网站上下载一个人物跳舞的模型组件,并转换为原视频如下:

a84e2eaa02a219bbc978dc0be97b4b64.gif

搭建基础 WebUI 环境并导入模型,按照根据生成式 AI 解决方案指南部署后,操作即可:

32180f9dd44c6eb27e5edd0d32cebd2d.jpeg

2. 导入视频,并输入提示词

使用提示词

Hyper realistic painting of a beautiful girl in a cyberpunk plugsuit, hyper detaled ,anime trending on artstation with mask (masterpiece:1.4), (best quality:1.2), (ultra highres:1.2) ,(8k resolution:1.0)

反向提示词

text, letters, logo, brand, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

3. 进行视频风格化生成,打开 Mov2Mov 插件,这里的参数推荐如下:

Sample steps=20-30,
Generate movie mode=XVID,
CFG scale=7-10,
Denoising strength=0.2-0.3,
Movie frames=30,
Maxframe=60-90,
Controlnet 选择enabled,
Control weight 0.2-0.25。

点击生成后,得到的视频和原视频比较如下:

251d4cc2f2ab367b4976df71439c3776.gif

f0c5c7747291e004f6a89ae83f3e77cf.gif

20d0514201f989d53311e80d41541833.gif

具有主题的风格化视频

Stable Diffusion 社区具有丰富的风格化视频生成插件,其中 Deforum 是热度最高的插件之一,其原理是确定时间轴上的关键帧使用明确 Prompt 生成的创意图片,关键帧之间的过渡视频帧采用渐进的方式,并配合一定的 2D,3D 空间旋转,产生独特的效果,这种方式的提示词一般都是剧本的形式,原理如图所示:

f3885c85d68da948521cb8ed12fe5c20.jpeg

从风格化视频或者创意视频的角度,通过一定剧本转换为 prompt,再经过 Deforum 的串联,能达到表达一定主题的创意视频的效果,从制作角度这里还是有两个难点:

  1. 凭空写剧本很难将现实主题和创意视频进行关联;

  2. 创意视频/风格化视频效果本身还是由创意图片连接而成,很难把控其效果,并且视频生成消耗算力远大于图片生成,造成废片会导致算力浪费。

所以这里我们不妨在用简单的现实视频与创意视频交叉呼应的方式进行创作,这里的现实视频可能只需 2-3 秒的手机拍摄视频,并作为起始视频即可。这里采用一个例子:笔者参观某省级博物馆叙利亚文物展,突发感慨,想制作一个几十秒的风格化短视频,表达自己观看文物时感受的千年时代变迁,我们可以采用具体步骤如下:

1. 拍摄一段 3-5 分钟的自拍视频,表示初始主题,作为初始视频。由于目标是创意视频要发在社交媒体上,需要适配手机的尺寸,所以视频分辨率为 540*960

2. 准备 Web UI 的基本环境,包括模型和插件

3. 设置初始视频的某帧为初始帧,我们这里截取最后一帧为初始帧, 图像分辨率为 540*960,并在 Deforum 里设置初始帧,在 init tab 里选择 Use init,并填入文件地址

f84d9f7cede31942991a732c7c0d19fb.jpeg

4. 设置提示词,并设置旋转参数。这里有参数列表和推荐值如下表

864b9f7baef03088b86c97281b528e45.png

5. 编排适当的风格化提示词,并生成视频,这里提示词必须按照 JSON 格式,在这个规则的基础上,编排视频的情节

提示词如下:

{
“0”: “A Warrior in desolate landscape in Syria, with cracked earth, under a dark and stormy sky, Picasso style”,
“50”: ”  sunshine from the earth, ancient relics and mysterious symbols in Syria, Picasso style “,
“150”: “Egypt style building in Syria , Picasso style “,
“200”: “Rome style city with people from different races and cultures mingle and trade in the streets, markets in Syria, Picasso style “,
“250”: ” war between nations east and west of Syria,  the kings are seeking to preserve the balance of nature and magic, the other wanting to exploit it for power and profit, Picasso style “,
“300”: “gun smoke and flowers ,generals speech, Picasso style  “,
“450”: “bomb explosion on the sky, fires ,flames and smoke, blood and ashes , Picasso style -neg magnificent”,
“500”: “fate of people in the nation, peaceful hope, Picasso style”
}

反向提示词:

NSFW, worst quality, low quality, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

6. 通过剪辑软件将现实视频与创意视频首尾呼应进行连接,得到完整视频,参考如下:

总结

在本文中,我们大致介绍了泛娱乐行业的视频内容制作场景中,通过不同插件和工具的配合,可以达到生成风格化视频和创意视频的目标。当然这只是冰山一角,在泛娱乐行业应用中,我们通过不断跟踪新的插件和模型,可以根据技术上的迭代达到泛娱乐内容的不断创新,同时和一些标准的媒体制作工具相结合,通过步骤的不断优化,达到可以高效生产创意内容的目的。

参考资料

1. 生成式 AI 行业解决方案指南:

https://aws.amazon.com/cn/campaigns/aigc/

2. 生成式 AI 行业解决方案指南 Workshop:

https://catalog.us-east-1.prod.workshops.aws/workshops/bae25a1f-1a1d-4f3e-996e-6402a9ab8faa

3. Stable-diffusion-webui:

https://github.com/AUTOMATIC1111/stable-diffusion-webui

4. Hugging Face:

https://huggingface.co/

本篇作者

3cdef00920e38cace3b177f3027bc00b.jpeg

明琦

亚马逊云科技行业解决方案架构师,主要负责媒体行业相关技术方案,并致力于泛娱乐行业中创新技术和客户体验相关解决方案的构建和推广,包括,虚拟现实,混合现实,生成式 AI,数字人等方向,具有多年的架构设计和产品开发经验。

a2083992d513a02363f951e78349a4d7.jpeg

白鹤

教授级高级工程师,亚马逊云科技媒体行业资深解决方案架构师,重点从事融合媒体系统、内容制作平台、超高清编码云原生能力等方面架构设计工作,在围绕媒体数字化转型的多个领域有丰富的实践经验。

6ce66ca10b750d3dcfe15440272ab45a.jpeg

汤哲

亚马逊云科技行业解决方案架构师,负责基于 Amazon Website Service 的云计算方案的咨询与架构设计,同时致力于亚马逊云服务知识体系的传播与普及。在软件开发、安全防护等领域有实践经验,目前关注电商、直播领域。

b0b0b6c3b1da8d345f58ba0edb261db1.gif

00cb5bf1f713102fb4066c393a2d9b9b.gif

听说,点完下面4个按钮

就不会碰到bug了!

aa0cc73952ec849b22fa855b2f462538.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/37362.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一个概率论例题引发的思考

浙江大学版《概率论与数理统计》一书,第13章第1节例2: 这个解释和模型比较简单易懂。 接下来,第13章第2节的例2也跟此模型相关: 在我自己的理解中,此题的解法跟上一个题目一样,其概率如下面的二维矩阵&a…

聊聊计算机技术

目录 1.计算机的概念 2.计算机的发展过程 3.计算机的作用 4.计算机给人类带来的福利 1.计算机的概念 计算机是一种用于处理和存储数据的电子设备。它能够执行各种操作,比如计算、逻辑操作、数据存储和检索等。计算机由硬件和软件两部分组成。 计算机的硬件包括中…

Go 语言并发编程 及 进阶与依赖管理

1.0 从并发编程本质了解Go高性能的本质 1.1 Goroutine 协程可以理解为轻量级线程; Go更适合高并发场景原因之一:Go语言一次可以创建上万协成; “快速”:开多个协成 打印。 go func(): 在函数前加 go 代表 创建协程; time.Sleep():…

基于深度信念网络的西储大学轴承故障分类识别,基于EMD+DBN的西储大学轴承故障识别,LCD+DBN,LMD+DBN

目录 背影 DBN神经网络的原理 DBN神经网络的定义 受限玻尔兹曼机(RBM) (EMD,LCD,LMD)+DBN的深度信念网络的西储大学轴承故障分类识别 基本结构 主要参数 数据 MATALB代码 结果图 展望 背影 DBN是一种深度学习神经网络,拥有提取特征,非监督学习的能力,是一种非常好的分类…

Nacos使用SpringCloudAlibaba+Dubbo实现

Nacos简介 Nacos是阿里的一个开源产品,它是针对微服务架构中的服务发现、服务治理、配置管理的综合型解决方案。 官方介绍是这样的: Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您实现动态服务发现、…

CSDN编程题-每日一练(2023-08-14)

CSDN编程题-每日一练(2023-08-14) 一、题目名称:小股炒股二、题目名称:王子闯闸门三、题目名称:圆小艺 一、题目名称:小股炒股 时间限制:1000ms内存限制:256M 题目描述: …

ISIS技术(第三十七课)

1 分享一下华为官网上的一张地图 官网地址:https://support.huawei.com/hedex/hdx.do?docid=EDOC1000105967&id=ZH-CN_CONCEPT_0000001501534705 2 路由的分类 -直连路由 直接连接的路由,且配置了IP地址之后(在同一网段内),就是直连路由。 -非直连路由 -静态路由…

2021年06月 C/C++(二级)真题解析#中国电子学会#全国青少年软件编程等级考试

第1题:数字放大 给定一个整数序列以及放大倍数x,将序列中每个整数放大x倍后输出。 时间限制:1000 内存限制:65536 输入 包含三行: 第一行为N,表示整数序列的长度(N ≤ 100); 第二行为N个整数(不超过整型范围…

(css)点击前隐藏icon图表 点击后显示

(css)点击前隐藏icon图表 点击后显示 效果 html <liv-for"(item,index) in sessionList":key"index"class"liClass":class"{ active: change2 index }"tabindex"2">...<el-tooltip class"item" effec…

分布式监控平台——Zabbix

市场上常用的监控软件&#xff1a; 传统运维&#xff1a;zabbix、 Nagios 一、zabbix概述 作为一个运维&#xff0c;需要会使用监控系统查看服务器状态以及网站流量指标&#xff0c;利用监控系统的数据去了解上线发布的结果&#xff0c;和网站的健康状态。 利用一个优秀的监…

Dedecms V110最新版RCE---Tricks

前言 刚发现Dedecms更新了发布版本&#xff0c;顺便测试一下之前的day有没有修复&#xff0c;突然想到了新的tricks去实现RCE。 文章发布的时候估计比较晚了&#xff0c;一直没时间写了。 利用 /uploads/dede/article_string_mix.php /uploads/dede/article_template_rand.…

Blender增强现实3D模型制作指南【AR】

推荐&#xff1a;用 NSDT编辑器 快速搭建可编程3D场景 将静态和动画 3D 内容集成到移动增强现实 (AR) 体验中是增强用户沉浸感和参与度的高效方法。 然而&#xff0c;为 AR 创建 3D 对象可能相当艰巨&#xff0c;尤其是对于那些缺乏 3D 建模经验的人来说。 与添加视频或照片 AR…

THUDM/chatglm2-6b-int4体验

在gpu下 gpu&#xff1a; Telsa T4 资源消耗&#xff1a;RAM大概4G&#xff0c;GPU显存大概6G # 安装transformers等包 !pip install protobuf transformers4.30.2 cpm_kernels torch>2.0 gradio mdtex2html sentencepiece accelerate# 导入AutoTokenizer, AutoModel from…

CSAPP Lec01

1. CMU 15213_15513 CSAPP 深入理解计算机系统 Lecture 01 Course Overview 中英字幕_哔哩哔哩_bilibili 从这个课程中可以学到什么&#xff1f;&#xff08;为什么要学这门课&#xff09; Great Reality #1&#xff08;数字类型&#xff09;: Ints are not Integers, Floats…

idea打jar包

目录 1、打包设置 2、打包介绍 3、开始打包 1、打包设置 先设置要打包的模块信息&#xff0c;即打包进去的内容。如下图所示&#xff1a;File --> Project Structure --> Artifacts&#xff0c;点击&#xff0b;号完成模块创建&#xff0c;其中有两种方式&#xff1a;…

《零基础实践深度学习》(第2版)学习笔记,(二)机器学习和深度学习综述

文章目录 1. 人工智能、机器学习、深度学习的关系2. 机器学习2.1 实现原理2.2 如何实施 3. 深度学习神经网络核心概念 1. 人工智能、机器学习、深度学习的关系 **人工智能&#xff08;Artificial Intelligence&#xff0c;AI&#xff09;**是研发用于模拟、延伸和扩展人的智能…

微服务系列(2)--注册中心

在博文&#xff1a;微服务系列(1)里我们提到过注册中心的概念&#xff0c;简单来说微服务注册中心是一个用于存储和管理微服务实例信息的组件&#xff0c;它提供了服务注册、服务发现、服务健康检查等功能&#xff0c;以确保微服务之间的稳定通信。在微服务架构中&#xff0c;各…

应用层协议——TCP(上)

文章目录 1. TCP协议1.1 TCP协议段格式1.2 确认应答(ACK)机制1.3 16位窗口大小1.4 6位标志位1.4.1 TCP三次握手 1.5 确认应答(ACK)机制1.6 超时重传机制1.7 连接管理机制1.7.1 理解TIME_WAIT状态1.7.2 理解 CLOSE_WAIT 状态 1. TCP协议 TCP全称为传输控制协议&#xff0c;意思…

〔AI 绘画〕Stable Diffusion 之 VAE 篇

✨ 目录 &#x1f388; 什么是VAE&#x1f388; 开启VAE&#x1f388; 下载常见的VAE&#x1f388; 对比不同VAE生成的效果 &#x1f388; 什么是VAE VAE&#xff1a;是 Variational Auto-Encoder 的简称&#xff0c;也就是变分自动编码器可以把它理解成给图片加滤镜&#xff…

JavaWeb-Filter过滤器

目录 Filter过滤器 1. Filter的生命周期 2.Filter的配置 3.拦截路径 4.拦截具体的使用 5.拦截方式配置&#xff08;资源被访问方式&#xff09; 6.FilterChain拦截链 Filter过滤器 filter是过滤器&#xff0c;相比于Servlet的发送请求&#xff0c;filter是用于拦截请求。…