CogVideoX-智谱推出的开源AI视频生成模型

2个月前发布 14 00

CogVideoX是由智谱AI开发的视频生成大模型,具备强大的视频生成能力、只需输入文本或图片就可以轻松完成视频制作。此次开源的是CogVideoX-2B,20亿参数规格的模型,是CogVideoX 系...

收录时间:
2024-09-11
CogVideoX-智谱推出的开源AI视频生成模型CogVideoX-智谱推出的开源AI视频生成模型
CogVideoX-智谱推出的开源AI视频生成模型

CogVideoX是什么?

CogVideoX是由智谱AI开发的视频生成大模型,具备强大的视频生成能力、只需输入文本或图片就可以轻松完成视频制作。此次开源的是CogVideoX-2B,20亿参数规格的模型,是CogVideoX 系列视频生成模型中的第一个模型,与智谱推出的AI视频生成产品清影同源。功能更强大、参数更大的模型即将推出。

CogVideoX-2B支持以英语输入最长226个tokens的提示词,消耗36GB显存,生成分辨率为720*480的6秒视频。

CogVideoX-智谱推出的开源AI视频生成模型
CogVideoX-智谱推出的开源AI视频生成模型

CogVideoX的核心技术

  • 三维变分自编码器结构(3D VAE):智谱AI自主研发的这一结构能将原始视频数据压缩至原始大小的2%,降低训练成本和难度。结合3D RoPE位置编码模块,提升了时间维度上帧间关系的捕捉能力,建立视频中的长期依赖关系。
  • 端到端视频理解模型:增强了模型对文本的理解和对指令的遵循能力,确保生成的视频更符合用户需求,能处理超长且复杂的prompt指令。
  • 文本、时间、空间三维一体融合的transformer架构:创新性设计了Expert Block实现文本与视频模态空间的对齐,并通过Full Attention机制优化模态间交互效果。

CogVideoX的生成案例

生成该视频的提示词:

A detailed wooden toy ship with intricately carved masts and sails is seen gliding smoothly over a plush, blue carpet that mimics the waves of the sea. The ship’s hull is painted a rich brown, with tiny windows. The carpet, soft and textured, provides a perfect backdrop, resembling an oceanic expanse. Surrounding the ship are various other toys and children’s items, hinting at a playful environment. The scene captures the innocence and imagination of childhood, with the toy ship’s journey symbolizing endless adventures in a whimsical, indoor setting.
一艘精致的木制玩具船,桅杆和船帆上雕刻着复杂的图案,在模拟海浪的蓝色长毛绒地毯上平稳地滑行。船身漆成浓郁的棕色,并带有小窗户。地毯柔软而有质感,提供了一个完美的背景,就像一片广阔的海洋。船的周围环绕着各种玩具和儿童用品,暗示着一个充满童趣的环境。这个场景捕捉到了童年的天真和想象力,玩具船的旅程象征着在异想天开的室内环境中的无尽冒险。

生成该视频的提示词:

The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from its tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.
镜头跟在一辆带黑色车顶行李架的白色复古越野车后面,越野车在陡峭的山坡上沿着松树环绕的陡峭土路上飞驰,轮胎上的尘土飞扬,阳光照在越野车上,越野车在土路上飞驰,给整个场景投下了温暖的光辉。土路缓缓弯向远方,看不到其他车辆。道路两旁的树木都是红杉,还有零星的绿色植物。从后方看,汽车轻松地沿着弯道行驶,仿佛在崎岖的地形上行驶。土路本身被陡峭的丘陵和山脉环绕,头顶是晴朗的蓝天和飘渺的白云。

生成该视频的提示词:

A street artist, clad in a worn-out denim jacket and a colorful bandana, stands before a vast concrete wall in the heart, holding a can of spray paint, spray-painting a colorful bird on a mottled wall.
一位街头艺术家身着破旧的牛仔夹克,扎着彩色头巾,站在市中心一堵巨大的水泥墙前,手持一罐喷漆,在斑驳的墙面上喷绘着一只色彩斑斓的小鸟。

生成该视频的提示词:

In the haunting backdrop of a war-torn city, where ruins and crumbled walls tell a story of devastation, a poignant close-up frames a young girl. Her face is smudged with ash, a silent testament to the chaos around her. Her eyes glistening with a mix of sorrow and resilience, capturing the raw emotion of a world that has lost its innocence to the ravages of conflict.
在一个饱受战争蹂躏的城市,废墟和残垣断壁诉说着满目疮痍,在这个令人心碎的背景下,一个凄美的特写镜头定格了一个年轻的女孩。她的脸上沾满了灰烬,无声地证明着周围的混乱。她的眼睛里闪烁着悲伤和坚韧,捕捉到了这个因冲突而失去天真世界的原始情感。

如何使用CogVideoX?

CogVideoX已提供模型下载、在线体验和官方API服务。

1、模型和代码下载:

2、企业和开发者:通过智谱大模型开放平台bigmodel.cn调用API服务https://open.bigmodel.cn/dev/howuse/cogvideox

3、个人用户:CogVideoX模型已在智谱清言的PC端、移动应用端及小程序端上线,可通过清影免费体验。

数据统计

相关导航

讯飞星火语音大模型

讯飞星火语音大模型

讯飞星火认知大模型是科大讯飞推出的AI大语言模型,专注于提供高精度的语音识别和超拟人化的语音合成服务。它支持多种语言和方言,具备自动语种判断和智能标点功能,能够实现流畅的语音转文字和自然口语的语音输出。该模型适用于语音搜索、聊天输入、游戏娱乐、人机交互、智能客服等多个场景,为企业和开发者提供了强大的语音交互解决方案。,讯飞星火认知大模型是科大讯飞推出的AI大语言模型,专注于提供高精度的语音识别和超拟人化的语音合成服务。它支持多种语言和方言,具备自动语种判断和智能标点功能,能够实现流畅的语音转文字和自然口语的语音输出…
云知声-山海大模型

云知声-山海大模型

山海大模型是最新一代认知智能大模型,拥有丰富的知识储备,涵盖科学、技术、文化、艺术、医疗、通识等领域。与她对话即可获取信息、知识和灵感,是人类的良师益友,也是灵动强大的智能助理。,山海大模型是最新一代认知智能大模型,拥有丰富的知识储备,涵盖科学、技术、文化、艺术、医疗、通识等领域。与她对话即可获取信息、知识和灵感,是人类的良师益友,也是灵动强大的智能助理。
金蝶云·苍穹GPT

金蝶云·苍穹GPT

金蝶云·苍穹GPT是由国内ERP龙头金蝶在2023全球创见者大会上发布的企业级大模型平台。它被定位为最懂管理的企业级大模型平台,也被称作金蝶云的智能新引擎。金蝶云·苍穹GPT拥有多模型能力、多任务编排、知识智能引擎、个性化扩展、安全可信任等特点。,金蝶云·苍穹GPT是由国内ERP龙头金蝶在2023全球创见者大会上发布的企业级大模型平台。它被定位为最懂管理的企业级大模型平台,也被称作金蝶云的智能新引擎。金蝶云·苍穹GPT拥有多模型能力、多任务编排…
携程问道:首个旅游行业垂直AI大模型

携程问道:首个旅游行业垂直AI大模型

7 月 17 日,携程发布旅游行业首个垂直大模型“携程问道”。 据介绍,在大模型的基础上,“携程问道”筛选高质量非结构性旅游数据 200 亿,结合携程现有精确的实时数据进行了自研垂直模型的训练。 用户提出想法,问道可从地域、主题特色等维度,推荐旅行目的地、酒店、景点、行程规划和实时优惠的选项; 在用户需求相对明确时,提供智能查询结果,用户可用文字和语音以自然语言长句的形式进行复杂条件的机票和酒店产品的查询。 携程集团董事局主席梁建章表示,“希望用户从包括‘携程问道’在内的产品获得旅游行业‘可靠的内容,放心的推荐’。,7 月 17 日,携程发布旅游行业首个垂直大模型“携程问道”。 据介绍,在大模型的基础上,“携程问道”筛选高质量非结构性旅游数据 200 亿,结合携程现有精确的实时数据进行了自研垂直模型的训练。 用户…
360智脑

360智脑

360智脑是一个由 360 公司开发的 AI 平台,旨在探索全新的人机协作模式,激活用户的创造力和想象力。它提供了一系列的 AI 工具和服务,包括 API 开放平台、360鸿图、360AI搜索、360AI浏览器、360智脑桌面版和企业数字员工等。,360智脑是一个由 360 公司开发的 AI 平台,旨在探索全新的人机协作模式,激活用户的创造力和想象力。它提供了一系列的 AI 工具和服务,包括 API 开放平台、360鸿图、360AI搜索、360…
Octopus V2-斯坦福推出的可在设备上运行的大模型

Octopus V2-斯坦福推出的可在设备上运行的大模型

Octopus v2是一个拥有20亿参数的模型,能够在智能手机、汽车、个人电脑等设备上运行。它在准确性和延迟方面超越了GPT-4,且将上下文长度减少了95%。与基于RAG的Llama7B模型相比,Octopus v2的速度快了36倍。,Octopus v2是一个拥有20亿参数的模型,能够在智能手机、汽车、个人电脑等设备上运行。它在准确性和延迟方面超越了GPT-4,且将上下文长度减少了95%。与基于RAG的Llama7B模型相比,Oc…