Monkey：华中科技大学开源的多模态大模型
Monkey 是华中科技大学与金山软件联合推出的一种高性能多模态大模型，通过提高输入分辨率和引入多级描述生成方法，解决了现有模型在复杂场景和视觉细节处理方面的挑战。Monkey 可以基于现有视觉编辑器进行构建，无需从0预训练，大大提高了研发效率。,Monkey 是华中科技大学与金山软件联合推出的一种高性能多模态大模型，通过提高输入分辨率和引入多级描述生成方法，解决了现有模型在复杂场景和视觉细节处理方面的挑战。Monkey 可以基于现有视觉编辑器…
MusicGen是什么？
MusicGen 是一个由Meta发布的开源 AI 音乐生成模型，可以根据你输入的描述文本生成新的音乐，也可以上传现有的音乐旋律作为参考。
MusicGen基于 Transformer 架构，可以高效处理音频和文本数据。测试表明，MusicGen 的性能可与 Google 的 MusicLM 媲美。
MusicGen可以做什么？
- 文本提示音乐生成：MusicGen 可以根据文本提示生成新的音乐片段，这些提示可以选择性地与现有的旋律对齐。
- 高质量样本生成：通过使用高效的令牌交错模式和单阶段方法，MusicGen 可以生成高质量的音乐样本，无需复杂的级联模型。
如何使用MusicGen？
MusicGen在线体验地址：https://huggingface.co/spaces/facebook/MusicGen；
使用步骤如下：
- 打开：https://huggingface.co/spaces/facebook/MusicGen；
- 如下图所示，输入文本描述，即你想生产的音乐描述；
- 上传参考的音乐旋律，这是个可选项，也可以不上传；
- 点击下方的生成【Generate】按钮，等待几十秒即可生成音乐；
- 点击播放最右边生成的音乐，即可播放和下载。
另外，在操作下方，也提供了一些参考demo，点击即可体验。
相关资源链接
- 论文地址：Paper
- 谷歌实验室：Google Colab
- 源代码：Github
- 在线体验：Demo
数据统计
相关导航
Segment Anything（SAM）
Meta最新推出的AI图像分割模型
Yi大模型-零一万物发布的开源大模型
Yi系列模型是由来自“零一万物”的开发者研发的大型语言模型。第一个公开版本包含两个双语版（英语/中文）基础模型，参数规模分别为6B和34B。两者都使用4K序列长度进行训练，并在推理时可以扩展到32K。,Yi系列模型是由来自“零一万物”的开发者研发的大型语言模型。第一个公开版本包含两个双语版（英语/中文）基础模型，参数规模分别为6B和34B。两者都使用4K序列长度进行训练，并在推理时可以扩展到32K。
LaVie：上海人工智能实验室开源的视频生成模型
LaVie是一个高质量视频生成项目，使用级联潜在扩散模型。这个项目是由Vchitect开发的官方PyTorch实现。LaVie是一个文本到视频（T2V）生成框架，是视频生成系统Vchitect的主要部分。它还包括一个针对图像到视频（I2V）模型SEINE的微调版本。,LaVie是一个高质量视频生成项目，使用级联潜在扩散模型。这个项目是由Vchitect开发的官方PyTorch实现。LaVie是一个文本到视频（T2V）生成框架，是视频生成系统Vchitect的主要部…
Gradio
Gradio是一个开源的Python库，用于构建演示机器学习或数据科学，以及web应用程序。用户可以使用Gradio基于自己的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面，让用户可以尝试拖放他们自己的图像、粘贴文本、录制他们自己的声音，并通过浏览器与您的演示程序进行交互。
GPT-4o
GPT-4o是OpenAI最新推出的一款先进的人工智能模型，具备强大的多模态推理能力，能够处理语音、文本和视觉信息。目前，该模型的文本和图像处理功能已在ChatGPT中逐步推出，用户可免费体验，后续将推出音频和视频功能。
ModelScope魔搭-阿里机器学习模型平台
ModelScope是阿里达摩院发布的汇聚各领域先进的机器学习模型的平台，提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里，你可以共建模型开源社区，发现、学习、定制和分享你心仪的模型。,ModelScope是阿里达摩院发布的汇聚各领域先进的机器学习模型的平台，提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里，你可以共建模型开源社区，发现、学习、定制和分享你心仪的模型。
BLOOM
HuggingFace推出的大型语言模...
