SmolLM-HuggingFace发布的高性能小型语言模型

2年前发布 236 0 0

SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错, 适合跑在手机这种终端设备...

收录时间:
2024-09-11
SmolLM-HuggingFace发布的高性能小型语言模型SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM是什么?

SmolLM是由 Huggingface 最新发布的一系列最先进的小型语言模型,有三种规格:1.35亿、3.6亿和17亿个参数。这些模型建立在 Cosmo-Corpus 上,Cosmo-Corpus 是一个精心策划的高质量训练数据集。Cosmo-Corpus 包括 Cosmopedia v2(由 Mixtral 生成的 280 亿个合成教科书和故事词块)、Python-Edu(由 The Stack 提供的 40 亿个 Python 教育样本词块)和 FineWeb-Edu(由 FineWeb 提供的 2200 亿个重复教育网络样本词块)。

SmolLM模型适合需要在本地设备上运行语言模型的开发者和研究人员。它们特别适合那些需要在资源受限的环境中进行高效推理的应用场景,如智能手机、笔记本电脑等。

SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM的测试结果

Hugging Face 团队将开发出的 SmolLM 模型与相同参数量的其他模型进行了基准测试,其中 SmolLM-135M 在多项测试中超越了小于 2 亿参数的其他模型;而 SmolLM-360M 的测试成绩优于所有小于 5 亿参数以下的模型,不过某些项目逊于 Meta 刚刚公布的 MobileLLM-350M;SmolLM-1.7B 模型则超越了所有参数量小于 20 亿参数的模型,包括微软 Phi-1.5、MobileLLM-1.5B 及 Qwen2。

SmolLM-HuggingFace发布的高性能小型语言模型
在不同的推理和常识基准上评估 SmolLM 模型


如何使用SmolLM?

数据统计

相关导航

Audiobox-Meta推出的新一代音频生成模型

Audiobox-Meta推出的新一代音频生成模型

Audiobox是Meta发布的一款基于语音和自然语言提示生成音频的先进研究模型。通过结合语音输入和文本提示,Audiobox可以轻松生成各种声音,包括语音、音效和音景,从而为多种用例提供定制音频。,Audiobox是Meta发布的一款基于语音和自然语言提示生成音频的先进研究模型。通过结合语音输入和文本提示,Audiobox可以轻松生成各种声音,包括语音、音效和音景,从而为多种用例提供定制音频。
GPT-4o mini:OpenAI最新推出的AI模型,更快更便宜更智能

GPT-4o mini:OpenAI最新推出的AI模型,更快更便宜更智能

GPT-4o mini是由OpenAI推出的一款高性价比小型模型,具有成本低、性能强、功能多样和安全可靠等特点。它在多项评测中表现优异,在 MMLU 上得分 82%,目前优于 GPT-4,比 GPT-3.5 Turbo 便宜 60% 以上。目前支持文本和视觉,未来将支持更多形式。,GPT-4o mini是由OpenAI推出的一款高性价比小型模型,具有成本低、性能强、功能多样和安全可靠等特点。它在多项评测中表现优异,在 MMLU 上得分 82%,目前优于 GPT-4,比 GPT-…