中科院自动化研究所-紫东太初大模型

7个月前发布 34 00

业界首个三模态千亿参数大模型,支持文本、视觉、语音不同模态间的高效协同,可支撑影视创作、工业质检、智能驾驶等产业应用。,业界首个三模态千亿参数大模型,支持文本、视觉、语音不同模态间的高效协同,可支撑影视创作、工业质检、智能驾驶等产业应用。

收录时间:
2024-09-11
中科院自动化研究所-紫东太初大模型中科院自动化研究所-紫东太初大模型

中科院自动化研究所-紫东太初大模型

紫东太初大模型

“紫东太初”跨模态通用人工智能平台是由中国科学院自动化研究所研发的以多模态大模型为核心、基于全栈国产化基础软硬件平台,可支撑全场景AI应用。

依托面向超大规模的高效分布式训练框架,自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型,并开拓性地通过跨模态语义关联实现了视觉-文本-语音三模态统一表示,构建了三模态预训练大模型,赋予跨模态通用人工智能平台多种核心能力。

可实现文本、图片、语音、视频、3D点云、传感信号等不同模态的统一表征和学习,助推通用人工智能时代加速到来。

“紫东太初”兼具跨模态理解和生成能力,具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。对更广泛、更多样的下游任务提供模型基础支撑,达成AI在如视频配音、语音播报、标题摘要、海报创作等更多元场景的应用。

在线体验:https://xihe.mindspore.cn/modelzoo/taichu

了解更多:https://gitee.com/mindspore/zidongtaichu

紫东太初特色

  • 全球首个多模态图文音预训练模型
  • 多层次多任务自监督学习
  • 弱关联多模态数据语义统一表达
  • 兼顾任务感知和推理增强的中文预训练模型
  • 多粒度学习与注意力指导的视觉预训练模型
  • 基于自监督预训练的多任务语音建模技术

中文预训练模型

文本预训练模型使用条件语言模型作为自监督目标进行训练,和GPT一样,模型根据上文来预测当前词汇,最终训练得到的模型可以生成流畅的中文表达。

本次开源的中文文本预训练模型由40层Transformer组成,隐层维度2560,包含32个注意力头,共32亿参数。训练语料丰富多样,包括新闻、百科、散文等,文本生成能力强大。

中文预训练模型基础上还可以进行微调操作,充分利用少量有监督数据增强模型在下游任务上的表现,如文本分类,对话生成、古诗创作等;除此之外,中文预训练模型还能够实现简单的少样本学习,如下图所示,输入已知的部分样例,模型能够捕捉类似的规律进行文本生成。

数据统计

相关导航

SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错, 适合跑在手机这种终端设备上。,SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosm…
Qwen2-Math:阿里巴巴最新开源的数学推理大模型

Qwen2-Math:阿里巴巴最新开源的数学推理大模型

Qwen2-Math是阿里巴巴最新开源的数学推理大模型,是基于 Qwen2 LLM 构建的专门用于数学解题的一系列语言模型。Qwen2-Math 提供了基础和指令微调两种版本,分别有1.5B(15亿)、7B(79亿)和72B(720亿)三种参数规模,以适应不同的应用需求。,Qwen2-Math是阿里巴巴最新开源的数学推理大模型,是基于 Qwen2 LLM 构建的专门用于数学解题的一系列语言模型。Qwen2-Math 提供了基础和指令微调两种版本,分别有1.5B(15亿)…
SAM 2-Meta推出的图像和视频对象分割模型

SAM 2-Meta推出的图像和视频对象分割模型

SAM 2(Segment Anything Model 2)是由Meta推出的新一代AI分割模型,能够在图像和视频中实现高度精确、实时的对象分割。它在不需要定制适配的情况下,能够对任何未曾见过的对象进行分割,适用于各种视觉领域。这一模型在原有的Segment Anything Model (SAM)基础上进行了扩展和改进,支持更广泛的应用场景。,SAM 2(Segment Anything Model 2)是由Meta推出的新一代AI分割模型,能够在图像和视频中实现高度精确、实时的对象分割。它在不需要定制适配的情况下,能够对任何未曾见过的对象…