谷歌Gemma入场,笔记本可运行可商用大模型，开源大模型王座易主

2月22日，谷歌在官网宣布，开源大语言模型Gemma。开源领域大模型，迎来了重磅新玩家。

谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时坚持其开源和免费的原则，模型权重的开源及商用许可，预示着它将为开源社区和商业世界带来前所未有的机遇和挑战。

Gemma与谷歌最新发布的Gemini 使用了同一架构，有20亿、70亿两种参数，每种参数都有预训练和指令调优两个版本。

根据谷歌公布的测试显示，在MMLU、BBH、GSM8K等主流测试平台中，其70亿模型在数学、推理、代码的能力超过Llama-2的70亿和130亿，成为最强小参数的类ChatGPT模型。

在「Gemma」的开发理念中，谷歌进一步突破了技术限制，实现了对普遍计算设备的兼容。现在，即便是配置普通的笔记本或台式机，也能毫无压力地运行「Gemma」，摆脱了对高端AI算力矩阵的依赖。这一进步不仅推动了技术的民主化，还为更多的商业用户和开发者提供了实用、高效的AI工具。

Kaggle地址：https://www.kaggle.com/models/google/gemma/code/

huggingface地址：https://huggingface.co/models?search=google/gemma

技术报告：https://goo.gle/GemmaReport

Gemma 官方网站：https://ai.google.dev/gemma/

本次发布包含两种权重规模的模型：Gemma 2B 和 Gemma 7B。每种规模都有预训练和指令微调版本。想使用的人可以通过 Kaggle、谷歌的 Colab Notebook 或通过 Google Cloud 访问。

尽管体量较小，但谷歌表示 Gemma 模型已经「在关键基准测试中明显超越了更大的模型」，对比的包括 Llama-2 7B 和 13B，以及风头正劲的 Mistral 7B。

当然，Gemma 也第一时间上线了 HuggingFace 和 HuggingChat，每个人都能试一下它的生成能力：

谷歌作为贡献出Transformers、TensorFlow、BERT、T5、JAX、AlphaFold等一系列改变世界AI发展的宗师级大师，在生成式AI领域却一直落后于OpenAI。

不仅如此，开源领域还打不过类ChatGPT开源鼻祖Meta的Llama系列。痛定思痛之后，谷歌决定重新加入开源阵营，以抢夺开发者和用户。

Gemma简单介绍

谷歌表示，Gemma之所以性能如此强悍，主要是使用了与Gemini相同的技术架构。

更详细的开发者指南：https://ai.google.dev/gemma/docs?utm_source=agd&utm_medium=referral&utm_campaign=quickstart-docu

Gemini的基础架构建立在Transformer编码器结构之上，通过多层自注意力和前馈神经网络来建模序列依赖性。不同的是Gemini采用了多查询注意力机制，可处理超复杂长文本。

「Gemma」模型将每个输入位置转化为查询向量，通过批量注意力运算精准处理信息。随附的Responsible Generative AI Toolkit工具套件，确保其应用既高效又安全。

目前，Gemma开放了两个版本：预训练，该版本未针对 Gemma 核心数据训练集以外的任何特定任务或指令进行训练；指令微调，通过人类语言互动进行训练，可以响应对话输入，类似ChatGPT聊天机器人。

跨框架、工具和硬件，对Gemma进行优化

开发者可以根据自己的数据微调 Gemma 模型，以适应特定的应用程序需求，例如，生成摘要/文本或检索增强生成 (RAG)等。

多框架工具：可跨多框架 Keras 3.0、本机 PyTorch、JAX 和 Hugging Face Transformers 进行推理和微调。

跨设备兼容性：Gemma可以跨多种设备类型运行，包括笔记本电脑、台式机、物联网、移动设备和云，从而实现广泛的 AI 功能。

高级硬件平台：通过与NVIDIA的深度合作，「Gemma」模型在NVIDIA GPU上获得了显著的性能优化。这种优化覆盖了从数据中心到云计算，再到配备RTX AI的个人电脑，确保了「Gemma」在不同环境下均能发挥出行业领先的性能，并与最新AI技术紧密结合。

针对 Google Cloud 进行了优化：Vertex AI以其广泛的MLOps工具集为基础，提供了丰富的调整选项和内置的推理优化功能，支持一键式部署。用户既可以选择完全由Vertex AI管理的高级定制服务，也可以通过自我管理的GKE进行定制，实现在GPU、TPU和CPU等多种平台上部署，同时确保成本效率。

**轻量:**「Gemma」模型的轻量级设计使其能够直接在开发者的笔记本或台式电脑上运行，无需依赖于高端计算资源。谷歌不仅提供了这种灵活性，还推出了旨在促进协作和负责任使用模型的工具及指南。

Keras 作者 François Chollet 对此直接表示：最强开源大模型的位置现在易主了。

在 HuggingFace 的 LLM leaderboard 上，Gemma 的 2B 和 7B 模型已经双双登顶。

Gemma性能测试

谷歌在多个主流AI测试平台，包括MMLU、BBH和GSM8K上，对其70亿参数的「Gemma」模型进行了深入测试，与Llama-2和Mistral模型在数学、逻辑推理和编程等方面进行了比较。测试结果显示，「Gemma」在标准学术基准测试中的平均得分超过了与其规模相当的Llama-2和Mistral，甚至在一些关键技能上超越了130亿参数的Llama-2模型，证明了其在AI领域的先进性和应用潜力。

也就是说，Gemma是一款参数很小，性能却异常强悍的大模型。

谷歌通过「Gemma」模型采取了与「Gemini」相同的研究和技术基础，但其走向开源生态系统的方式大相径庭。这一策略的转变打破了谷歌去年设定的「不再开放核心技术」原则。尽管「Gemini」允许开发者在API或Vertex AI平台上进行开发，但这被视为较为封闭的模式，与OpenAI的闭源路线相似，未能展现出明显的优势。然而，「Gemma」的开源可能为谷歌吸引更多使用者，减少向Meta或Mistral等竞争对手转移的情况。

谷歌这次没有预告的开源，或许是想抢在 Meta 的 Llama 3 之前一天，毕竟此前有消息称 Llama 系列本周就要上新（让我们期待第一时间的评测对比）。

虽然才发布几个小时，但 X 平台上已经有不少用户晒出了使用体验。有位用户表示，Gemma -7B 速度很快，输出也很稳定，好过 Llama-2 13B。

谷歌发布了两个版本的 Gemma 模型，分别是 20 亿参数和 70 亿参数，并提供了预训练以及针对对话、指令遵循、有用性和安全性微调的 checkpoint。其中 70 亿参数的模型用于 GPU 和 TPU 上的高效部署和开发，20 亿参数的模型用于 CPU 和端侧应用程序。不同的尺寸满足不同的计算限制、应用程序和开发人员要求。

Gemma 在 18 个基于文本的任务中的 11 个上优于相似参数规模的开放模型，例如问答、常识推理、数学和科学、编码等任务。

下图为 Gemma（7B）与 LLaMA 2（7B）、LLaMA 2（13B）和 Mistral（7B）在问答、推理、数学和科学、编码等任务上的性能比较。可以看到，Gemma（7B）表现出了优势（除了在问答任务上弱于 LLaMA 2（13B））。

谷歌通过「Gemma」的开源策略已经向市场发出了强有力的信号，挑战了Meta Llama在开源模型界的主导地位。如何从这一“跌落神坛”的局面中反弹，是否能够展示出足够的创新和竞争力来再次占据领先位置，是Meta Llama面临的重要考验。