DreaMoving：基于扩散模型的可控视频生成框架

DreaMoving是什么？

DreaMoving是一个基于扩散模型的可控视频生成框架，专门用于生成高质量的定制化人类视频。具体来说，DreaMoving可以根据目标身份和姿势序列生成目标身份在任何地方跳舞的视频。为此，DreaMoving提出了一个用于运动控制的视频控制网（Video ControlNet）和一个用于身份保持的内容引导器（Content Guider）。这个模型易于使用，并且可以适应大多数风格化的扩散模型，以生成多样化的结果。

项目地址：https://dreamoving.github.io/dreamoving/

体验地址：https://www.modelscope.cn/studios/vigen/video_generation/summary

DreaMoving官网演示视频：

DreaMoving可以做什么？

DreaMoving能够根据指导序列和简单的内容描述（如文本和参考图像）生成高质量、高保真度的视频。具体来说，DreaMoving在身份控制方面表现出色，通过面部参考图像进行精确的运动操控，并通过特定的文本提示进行全面的视频外观控制。它的视频控制网处理控制序列（姿势或深度）以产生额外的时间残差，而去噪U-Net是一个派生的稳定扩散U-Net，带有用于视频生成的运动块。内容引导器将输入的文本提示和外观表达（如人脸，衣服可选）转换为交叉注意力的内容嵌入。

DreaMoving使用场景示例

1. 影视制作中的角色替换

在影视制作中，DreaMoving可以用于创建或替换特定场景中的角色。例如，如果需要在一个场景中添加一个未能到场的演员，可以使用DreaMoving根据该演员的面部参考和预设的姿势序列生成视频，从而在不需要实际演员到场的情况下完成拍摄。

2. 虚拟时尚展示

时尚设计师可以使用DreaMoving来展示他们的服装设计。通过输入模特的参考图像和一系列动作姿势，设计师可以创建一个虚拟模特在不同环境中展示服装的视频，这对于线上时尚展或虚拟试衣非常有用。

3. 个性化视频内容创作

内容创作者可以利用DreaMoving来制作个性化视频。例如，一个旅游博主可以创建一个系列视频，展示自己在世界各地的不同地标前跳舞或进行其他活动，即使他们实际上没有访问所有这些地方。

4. 教育和培训

在教育和培训领域，DreaMoving可以用来创建教学视频，其中教师或讲师的动作和表情可以根据需要进行调整，以更好地传达信息或展示特定的教学内容。

5. 虚拟现实和游戏

在虚拟现实和游戏开发中，DreaMoving可以用来生成角色的动作和互动，提供更加逼真和个性化的用户体验。开发者可以根据游戏的情节和环境需求，快速生成各种角色动作。

6. 艺术创作和展览

艺术家可以使用DreaMoving来创作新颖的视频艺术作品。通过结合不同的文本提示和参考图像，艺术家可以创造出独特的视觉表现，用于展览或数字艺术项目。

这些示例展示了DreaMoving在多个领域的广泛应用潜力，特别是在需要高度定制化和创意表达的场合。