Gemma-谷歌发布的最新开放模型,小尺寸可商用

2个月前发布 18 00

Gemma是谷歌最新发布的一款开放模型,属于轻量级开放模型系列。它采用了与创建Gemini模型相同的研究和技术,是一个小尺寸的大语言模型。,Gemma是谷歌最新发布的一款开放模型,属于...

收录时间:
2024-09-11
Gemma-谷歌发布的最新开放模型,小尺寸可商用Gemma-谷歌发布的最新开放模型,小尺寸可商用
Gemma-谷歌发布的最新开放模型,小尺寸可商用

Gemma是什么?

Gemma是谷歌最新发布的一款轻量级开放模型,它采用了与创建Gemini模型相同的研究和技术,是一个小尺寸的大语言模型。Gemma是由Google DeepMind和Google其他团队合作开发的,并用拉丁语中意为“宝石”的gemma为其命名。

Gemma共有两个版本:Gemma 2B(20亿参数)和Gemma 7B(70亿参数),每种规模都提供了预训练和指令微调版本。这些模型尺寸相对较小,应用成本也更低,适合各种规模的组织(无论规模大小)进行商用和分发。未来,Gemma这个系列还会发布更大尺寸的模型。

训练数据上,Gemma主要在大量英文文本数据上进行训练的,这些数据主要来源于网络文档、数学和代码。具体来说,Gemma 2B模型训练了大约2万亿(2T)个token,而Gemma 7B模型则训练了大约6万亿(6T)个token。

不过,Gemma没有接受过处理图像或视频等非文本数据的训练,也没有专门针对多语言任务进行优化。

为了方便开发者,谷歌不仅开源模型,还附带开发套装,包括全新的“负责任生成式AI工具包”,为基于Gemma开发安全的人工智能应用程序提供了必要指导和工具,以及跨主流框架(如JAX、PyTorch及原生Keras 3.0下的TensorFlow)的推理和监督微调(SFT)工具链。

各种设备也已经适配好。谷歌已经基于英伟达的GPUs和谷歌云TPUs等多个AI硬件平台,对Gemma进行优化,让模型可以直接在笔记本电脑或台式机上运行。

Gemma官网入口:https://ai.google.dev/gemma

Gemma-谷歌发布的最新开放模型,小尺寸可商用

Gemma的主要特点

以下是Gemma模型的一些主要特点:

  1. 模型大小:Gemma提供了两种大小的模型权重,分别是Gemma 2B和Gemma 7B,每种大小都有预训练和指令调整(instruction-tuned)的变体。
  2. 负责任的生成AI工具包:Google发布了一个新的工具包,提供指导和必要工具,帮助开发者使用Gemma创建更安全的AI应用。
  3. 工具链支持:Gemma模型支持在所有主要框架(JAX、PyTorch和TensorFlow通过原生Keras 3.0)上进行推理和监督式微调(SFT)。
  4. 易用性:提供了预制的Colab和Kaggle笔记本,以及与Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成,使得开始使用Gemma变得容易。预训练和指令调整的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行,并且可以轻松部署在Vertex AI和Google Kubernetes Engine(GKE)上。
  5. 性能优化:Gemma模型在多个AI硬件平台上进行了优化,包括NVIDIA GPU和Google Cloud TPUs,确保了行业领先的性能。
  6. 负责任的设计:Gemma在设计时遵循了Google的AI原则。为了确保预训练模型的安全和可靠性,Google使用了自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外,通过人类反馈的强化学习(RLHF)对指令调整模型进行了广泛的微调,以确保模型行为的负责任性。Google还进行了包括手动红队测试、自动化对抗性测试和模型能力评估在内的严格评估。
  7. 跨框架、工具和硬件优化:Gemma模型可以在多种工具和系统上进行微调,以适应特定应用需求,如摘要或检索增强生成(RAG)。Gemma支持多种工具和系统,包括跨设备兼容性和与NVIDIA GPU的优化。
  8. 免费资源:为了支持开发者和研究人员,Google提供了Kaggle的免费访问、Colab笔记本的免费层级,以及首次使用Google Cloud的300美元信用额度。研究人员还可以申请高达50万美元的Google Cloud信用额度以加速他们的项目。

Google期待随着Gemma模型家族的扩展,将引入更多针对不同应用的新变体,并在接下来的几周内提供连接、学习和与Gemma共同构建的活动和机会。

Gemma的评测结果

在Gemma的技术报告中,谷歌放出了大量训练细节,其中就包括Llama-2的测试对比结果图,大多数指标都超过了Llama-2。

Gemma-谷歌发布的最新开放模型,小尺寸可商用 Gemma与Llama-2的测试对比结果图

在测试中,Gemma模型在18个文本任务中的11个上超越了同样规模的开放模型。它在问答、常识推理、数学和科学以及编程等领域表现出色。Gemma 7B模型在70亿参数规模的语言模型中表现最佳,甚至超过了一些参数量更大的模型。

Gemma-谷歌发布的最新开放模型,小尺寸可商用 Gemma模型在18个文本任务中的评测结果

而最近风头正盛,号称要做“欧洲版OpenAI”的MistralAI是开源领域的新势力,旗下的Mistral 7B被誉为是“最强7B模型”。

在问答、推理、数学/科学、代码场景里,Gemma的表现同样领先。

Gemma-谷歌发布的最新开放模型,小尺寸可商用 Gemma与Mistral 7B的评测结果

如何使用Gemma?

1、个人用户体验地址:https://huggingface.co/chat,模型里选择Gemma即可体验。

2、开发者使用:Gemma提供了面向开发者的快速入门指南,开发者和研究人员可以通过ai.google.dev/gemma了解更多关于Gemma的信息,并获取快速入门指南。

Gemma-谷歌发布的最新开放模型,小尺寸可商用

数据统计

相关导航

天擎-美亚柏科旗下公共安全大模型

天擎-美亚柏科旗下公共安全大模型

天擎是美亚柏科发布的国内首个公共安全大模型。它在2023年的美亚柏科“智会”生态合作大会上正式发布。这个大模型拥有丰富的公共安全行业知识,具备强大的警务意图识别、警务情报分析、案情推理等业务理解和推理能力。,天擎是美亚柏科发布的国内首个公共安全大模型。它在2023年的美亚柏科“智会”生态合作大会上正式发布。这个大模型拥有丰富的公共安全行业知识,具备强大的警务意图识别、警务情报分析、案情推理等业务理解和推理…
携程问道:首个旅游行业垂直AI大模型

携程问道:首个旅游行业垂直AI大模型

7 月 17 日,携程发布旅游行业首个垂直大模型“携程问道”。 据介绍,在大模型的基础上,“携程问道”筛选高质量非结构性旅游数据 200 亿,结合携程现有精确的实时数据进行了自研垂直模型的训练。 用户提出想法,问道可从地域、主题特色等维度,推荐旅行目的地、酒店、景点、行程规划和实时优惠的选项; 在用户需求相对明确时,提供智能查询结果,用户可用文字和语音以自然语言长句的形式进行复杂条件的机票和酒店产品的查询。 携程集团董事局主席梁建章表示,“希望用户从包括‘携程问道’在内的产品获得旅游行业‘可靠的内容,放心的推荐’。,7 月 17 日,携程发布旅游行业首个垂直大模型“携程问道”。 据介绍,在大模型的基础上,“携程问道”筛选高质量非结构性旅游数据 200 亿,结合携程现有精确的实时数据进行了自研垂直模型的训练。 用户…
CogVideoX-智谱推出的开源AI视频生成模型

CogVideoX-智谱推出的开源AI视频生成模型

CogVideoX是由智谱AI开发的视频生成大模型,具备强大的视频生成能力、只需输入文本或图片就可以轻松完成视频制作。此次开源的是CogVideoX-2B,20亿参数规格的模型,是CogVideoX 系列视频生成模型中的第一个模型,与智谱推出的AI视频生成产品清影同源。,CogVideoX是由智谱AI开发的视频生成大模型,具备强大的视频生成能力、只需输入文本或图片就可以轻松完成视频制作。此次开源的是CogVideoX-2B,20亿参数规格的模型,是CogVideoX …
MusicFX-谷歌发布的免费AI音乐生成工具

MusicFX-谷歌发布的免费AI音乐生成工具

MusicFX为音乐创作者提供了丰富的音效和声音素材,用户可以创作各种类型的音乐,同时支持调整音调、节奏和音量,还可以添加混响、回声等效果。无论是想要营造舒缓的氛围还是冒险紧张的氛围,MusicFX都可以满足。,MusicFX为音乐创作者提供了丰富的音效和声音素材,用户可以创作各种类型的音乐,同时支持调整音调、节奏和音量,还可以添加混响、回声等效果。无论是想要营造舒缓的氛围还是冒险紧张的氛围,MusicFX都…
ModelScope魔搭-阿里机器学习模型平台

ModelScope魔搭-阿里机器学习模型平台

ModelScope是阿里达摩院发布的汇聚各领域先进的机器学习模型的平台,提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里,你可以共建模型开源社区,发现、学习、定制和分享你心仪的模型。,ModelScope是阿里达摩院发布的汇聚各领域先进的机器学习模型的平台,提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里,你可以共建模型开源社区,发现、学习、定制和分享你心仪的模型。
CodeShell-北京大学开源的代码大模型

CodeShell-北京大学开源的代码大模型

CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。CodeShell具有70亿参数,在五千亿Tokens进行了训练,上下文窗口长度为8192。在权威的代码评估Benchmark(HumanEval与MBPP)上,CodeShell取得同等规模最好的性能。,CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。CodeShell具有70亿参数,在五千亿Tokens进行了训练,上下文窗口长度为8192。在权威的代码评…