M2UGen-腾讯发布的多模态音乐生成模型

M2UGen是什么？

M2UGen是一个多模态音乐理解和生成模型的项目。该项目利用大型语言模型的能力，结合MU-LLaMA模型、MosaicML的MPT-7B-Chat模型、BLIP图像字幕模型和VideoMAE字幕模型，生成音乐相关的数据集，并使用M2UGen模型进行音乐生成和理解。

M2UGen可以做什么？

M2UGen模型具有以下功能：

• 文本到音乐生成：根据给定的文本生成相应的音乐。
• 图像到音乐生成：根据给定的图像生成相应的音乐。
• 视频到音乐生成：根据给定的视频生成相应的音乐。
• 音乐编辑：对已有的音乐进行编辑和修改。

如何体验M2UGen？

demo体验地址：https://crypto-code.github.io/M2UGen-Demo/