Tora-阿里推出的以轨迹为导向的AI视频生成框架

4个月前更新 194 0 0

Tora是阿里巴巴推出的以轨迹为导向的基于扩散变换器(DiT)的视频生成框架,它能够整合文本、视觉和轨迹数据,精确控制视频内容的动态变化,在不同的时间长度、纵横比和分辨率条件下生成高质量的视频。Tora包括轨迹提取器和运动引导融合器,确保生成的视频能够精确地遵循预定义的轨迹,支持不同分辨率和时长的

收录时间:
2024-09-11
Tora-阿里推出的以轨迹为导向的AI视频生成框架Tora-阿里推出的以轨迹为导向的AI视频生成框架

Tora是什么?

Tora是阿里巴巴推出的以轨迹为导向的基于扩散变换器(DiT)的视频生成框架,它能够整合文本、视觉和轨迹数据,精确控制视频内容的动态变化,在不同的时间长度、纵横比和分辨率条件下生成高质量的视频。Tora包括轨迹提取器和运动引导融合器,确保生成的视频能够精确地遵循预定义的轨迹,支持不同分辨率和时长的视频制作。

Tora演示demo:

Tora的主要特点

  • 轨迹控制:Tora能够确保视频中的动作精确地遵循预定义的轨迹,提供精确的运动控制。
  • 高保真度:Tora生成的视频在视觉上具有高保真度,能够细致地模拟现实世界中的运动和动态。
  • 多模态输入:Tora能够处理和整合文本、视觉和轨迹条件,使得视频生成过程更加丰富和灵活。
  • 创新架构:Tora采用了Diffusion Transformer(DiT)架构,这是生成高质量视频内容的先进技术。
  • 动态内容生成:它能够根据轨迹提取器(TE)和运动引导融合器(MGF)的协同工作,生成具有动态一致性的视频内容。
  • 高分辨率和长时序视频:Tora支持生成高分辨率和长时序的视频,适用于需要长时间连续镜头的应用场景。

如何使用Tora?

Tora目前提供了论文和演示视频demo,暂未对外开放使用。感兴趣的话,可以访问下方地址了解。

  • Tora项目官网:https://ali-videoai.github.io/tora_video
  • 论文地址:https://arxiv.org/abs/2407.21705
  • GitHub地址:https://github.com/ali-videoai/Tora

数据统计

相关导航

Genmo翻译站点

Genmo是一个创造和分享交互式、沉浸式生成艺术的平台。通过创建视频、3D场景、动画、矢量设计资产等,超越Genmo上的2D图像。

Kaiber翻译站点

Kaiber是一个视频生成引擎,用户可以根据自己的图片或文字描述创建视频。它为音乐家提供了Spotify Canvas等功能,为艺术家提供了灵感,为创作者提供了内容,为未来主义者提供了乐...

Waymark翻译站点

Waymark是一个视频制作工具,可以帮助企业快速轻松地制作高影响力的广告。它允许用户导入商业信息,然后由人工智能根据他们的品牌生成视频。该视频可以进行最后的调整,并在电视、...

暂无评论

none
暂无评论...