Voicebox-Meta旗下语音合成模型

Voicebox是什么？

Voicebox 是由 Meta AI 研究团队开发的一款领先的语音生成模型。Voicebox 能够在六种语言中合成语音，消除瞬态噪声，编辑内容，在语言之间转移音频风格，并生成多样的语音样本。此外，它生成语音的速度比最先进的自回归模型快 20 倍。

官网：https://voicebox.metademolab.com/

产品功能

Voicebox 是一个非自回归的流匹配模型，训练用于在给定音频上下文和文本的情况下填充语音。我们在 60K 小时的数据上训练了一个仅英语的 Voicebox，并在覆盖六种语言（英语、法语、德语、西班牙语、波兰语和葡萄牙语）的 50K 小时的数据上训练了一个多语言版本。

Voicebox 可以通过上下文学习来执行没有明确训练的任务。它比自回归模型更灵活，因为它可以根据过去和未来的上下文进行条件化。我们展示了 Voicebox 可以用于单语和跨语言的零射击文本到语音合成、风格转换、瞬态噪声去除、内容编辑和多样性样本生成。

使用场景

1. 瞬态噪声去除：在录制语音时被门铃或狗叫声打断？现在不再需要重新录制语音了。Voicebox 可以像魔术橡皮擦一样用于去除瞬态噪声，通过重新生成噪声污染的语音。
2. 内容编辑：Voicebox 也可以帮助纠正错误的单词，而无需让说话者重新录制音频。
3. 零射击文本到语音合成：通过上下文学习，Voicebox 可以通过将所需风格的参考音频和要合成的文本作为输入来合成语音。它产生的语音在各个方面都与参考音频保持一致，包括声音、背景噪声和说话风格。
4. 跨语言风格转换：Voicebox 不仅可以使用英语音频提示生成英语语音，还可以跨语言转换风格。