Stable Audio-Stability AI 推出的AI生成音乐平台

Stable Audio是什么？

Stable Audio是Stability AI 推出的AI生成音乐平台，你只需要输入描述性文本提示以及所需的音频长度即可生成高质量的音乐和音效。

你可以通过文本提示就能直接生成摇滚、爵士、电子、嘻哈、重金属、民谣、流行、朋克、乡村等20多种类型背景音乐。

例如，输入迪斯科、鼓机、合成器、贝司、钢琴、吉他、欢快、115BPM等关键词，就能生成背景音乐。

Stable Audio官网地址：http://stableaudio.com

Stable Audio工作原理

Stable Audio是一种基于文本元数据以及音频文件持续时间和开始时间的潜在扩散模型架构，允许控制生成音频的内容和长度。这种额外的时序条件使我们能够生成指定长度的音频，直到训练窗口大小。

Stable Audio主要特点

• 潜在扩散模型：Stable Audio模型是由几个不同部分组成的潜在扩散模型，包括变分自编码器（VAE）、文本编码器和基于U-Net的条件扩散模型。
• 高效的音频表示：使用重度下采样的音频潜在表示，与原始音频相比，可以实现更快的推理时间。
• 文本提示条件：为了在模型上设置文本提示，我们使用在我们的数据集上从头开始训练的CLAP模型的冻结文本编码器。
• 时序嵌入：在训练时，计算两个属性：音频块开始的秒数和原始音频文件中的总秒数。这些秒数值被转化为每秒离散的学习嵌入，并与提示令牌连接。
• 数据集：Stable Audio模型，使用了一个由超过800,000个音频文件组成的数据集，这些文件包含音乐、音效和单一乐器茎，以及相应的文本元数据。

Stable Audio产品价格

• 免费版：每月可生成20个音乐，最大时长45秒，不能用于商业使用；
• 付费版：收费11.99美元/月，每个月可生成500个音乐，最大时长90秒，可用于商业用途。
• 企业版：与Stability AI官方联系沟通。联系邮箱：[email protected]

如何使用Stable Audio？

打开Stable Audio网站：http://stableaudio.com ，注册一个账号，进入使用界面。

如下图所示，在使用界面左上方的输入框中，输入你想让AI生成的音乐描述，点击生成按钮，即可生成音乐。

注意：目前用户量比较大，有时候可能会出现白屏现象，刷新几次就可以了。

详细介绍：https://stability.ai/research/stable-audio-efficient-timing-latent-diffusion