悟道

5个月前发布 51 0 0

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。

收录时间:
2025-04-22

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练:

  • 1.2TB中文文本数据
  • 2.5TB中文图形数据
  • 1.2TB英文文本数据

悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:

将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。

数据统计

相关导航

云从从容大模型

云从从容大模型

云从从容大模型是由中国领先的人工智能公司云从科技推出的一种先进的人机协同操作系统(CWOS)。这个系统采用了多模态的人工智能技术,包括但不限于视觉识别、自然语言处理、语音识别等。它的目标是实现数字世界与物理世界之间的无缝连接,为各种应用和服务提供智能化的解决方案。,云从从容大模型是由中国领先的人工智能公司云从科技推出的一种先进的人机协同操作系统(CWOS)。这个系统采用了多模态的人工智能技术,包括但不限于视觉识别、自然语言处理、语音识别等。它的目标是实现数字世界…
SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错, 适合跑在手机这种终端设备上。,SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosm…
Qwen2-Math:阿里巴巴最新开源的数学推理大模型

Qwen2-Math:阿里巴巴最新开源的数学推理大模型

Qwen2-Math是阿里巴巴最新开源的数学推理大模型,是基于 Qwen2 LLM 构建的专门用于数学解题的一系列语言模型。Qwen2-Math 提供了基础和指令微调两种版本,分别有1.5B(15亿)、7B(79亿)和72B(720亿)三种参数规模,以适应不同的应用需求。,Qwen2-Math是阿里巴巴最新开源的数学推理大模型,是基于 Qwen2 LLM 构建的专门用于数学解题的一系列语言模型。Qwen2-Math 提供了基础和指令微调两种版本,分别有1.5B(15亿)…