悟道

19小时前发布 3 0 0

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。

收录时间:
2025-04-22

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练:

  • 1.2TB中文文本数据
  • 2.5TB中文图形数据
  • 1.2TB英文文本数据

悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:

将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。

数据统计

相关导航

GPT-4o mini:OpenAI最新推出的AI模型,更快更便宜更智能

GPT-4o mini:OpenAI最新推出的AI模型,更快更便宜更智能

GPT-4o mini是由OpenAI推出的一款高性价比小型模型,具有成本低、性能强、功能多样和安全可靠等特点。它在多项评测中表现优异,在 MMLU 上得分 82%,目前优于 GPT-4,比 GPT-3.5 Turbo 便宜 60% 以上。目前支持文本和视觉,未来将支持更多形式。,GPT-4o mini是由OpenAI推出的一款高性价比小型模型,具有成本低、性能强、功能多样和安全可靠等特点。它在多项评测中表现优异,在 MMLU 上得分 82%,目前优于 GPT-4,比 GPT-…
浦语灵笔-上海AI实验室开源图文混合创作大模型

浦语灵笔-上海AI实验室开源图文混合创作大模型

浦语灵笔是上海人工智能实验室推出的首个图文混合创作大模型,该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。,浦语灵笔是上海人工智能实验室推出的首个图文混合创作大模型,该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。