前言
MusicGen是基于单个语言模型(LM)的音乐生成模型,使用文本描述或音频提示生成高质量的音乐样本。它基于Transformer结构,包括文本编码器模型和音频压缩模型,以及一个解码器来预测离散的隐形状态音频token。与传统方法不同,MusicGen采用单个stage的Transformer LM结合高效的 token 交织模式,取消了多层级的多个模型结构,使得其能够生成高质量音乐样本,并提供更好的生成输出控制。
下载模型
生成音乐
MusicGen支持两种生成模式:贪心(greedy)和采样(sampling)。在实际执行过程中,采样模式得到的结果要显著优于贪心模式。因此我们默认启用采样模式,并且可以在调用MusicgenForConditionalGeneration.generate
时设置do_sample=True
来显式指定使用采样模式。
%%time
unconditional_inputs = model.get_unconditional_inputs(num_samples=1)audio_values = model.generate(**unconditional_inputs, do_sample=True, max_new_tokens=256)
文本提示生成
首先,使用AutoProcessor对输入进行预处理。然后,将预处理后的输入传递给.generate方法生成文本条件音频样本,启用采样模式。guidance_scale用于控制生成模型与输入文本的紧密程度,设置条件对数和无条件对数之间的权重。通过设置guidance_scale>1来启用CFG,最佳效果是使用guidance_scale=3生成文本提示音频。
%%time
from mindnlp.transformers import AutoProcessorprocessor = AutoProcessor.from_pretrained("facebook/musicgen-small")inputs = processor(text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],padding=True,return_tensors="ms",
)audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)
生成配置
如何在模型的生成配置中找到并更新控制生成过程的默认参数,例如采样、指导比例和生成的令牌数量。
总结
MusicGen采用单个stage的Transformer语言模型架构,提供更好的生成输出控制,不仅能生成符合文本描述的音乐,还能通过旋律条件控制音调结构。