IBM发布小型开源Granite 4模型，专为移动设备和浏览器设计

IBM公司今日宣布发布Granite 4 Nano，这是一系列专为边缘计算、设备端或浏览器运行而设计的超小型生成式人工智能模型。

该公司表示，这些模型在体积方面展现出极高的性能，代表了公司迄今为止最小的模型。

Granite 4.0 Nano系列包括四个指令模型及其对应的基础模型，参数量从15亿到3.5亿不等。参数是大语言模型在训练过程中学习的内部数值，用于理解用户文本查询的上下文并生成答案。

更大的大语言模型需要更多的计算能力和能源，导致运营成本增加。它们还需要专门的硬件，如强大的图形处理单元和大量的机器内存。而微型大语言模型所需的计算和内存要少得多，这意味着它们可以在消费级硬件上运行，如笔记本电脑、个人电脑和移动设备。

代价是准确性和上下文知识的降低，这些被从模型中精简以减小其尺寸。但通过先进的压缩技术，可以将大量知识和能力打包到更小的尺寸中。

极小型大语言模型增强了隐私和安全性，提供离线推理访问，并允许完全控制和定制。通过避免向云服务器传输敏感数据，本地大语言模型还具有成本效益，因为它们不会产生云费用。

这些模型包括Granite 4.0 H 1B和350M，即15亿和3.5亿参数模型，具有该模型系列的混合架构，以及两个替代的传统基于Transformer的版本，旨在兼容混合工作负载可能没有优化支持的情况。

Granite 4模型采用IBM开发的专门架构，将附加算法与驱动大多数大语言模型的Transformer设计相结合。Transformer使用注意力算法，通过关注输入的最重要部分来理解和生成文本。IBM将Transformer与基于Mamba神经网络架构的处理组件混合，该架构比传统Transformer更具硬件效率。

在次十亿到接近十亿参数模型设计市场中存在激烈竞争，开发者专注于性能和能力。竞争对手包括阿里巴巴集团的Qwen模型、Liquid AI公司的liquid foundation模型和谷歌设计的Gemma模型。

IBM表示，Granite Nano模型在通用知识、数学、编程和安全等各种基准测试中表现优于几个类似规模的模型。此外，Nano模型在智能体工作流程方面表现优于竞争对手，包括在IFEval（指令跟随评估）和伯克利函数调用排行榜v3中的指令跟随和工具调用。

Granite 4.0 H 1B在IFEval准确性方面达到最高分78.5，而Quen3 1.7B为73.1，Gemma 3 1B得分59.3。在工具调用方面，同一模型在伯克利排行榜上获得54.8分，而Quen3为52.2，Gemma 3为16.3。

IBM在高度宽松的开源Apache 2.0许可证下发布了所有Granite 4 Nano模型。该许可证允许广泛的商业使用，并包括对研究的特殊考虑。

Q&A

Q1：Granite 4 Nano模型有什么特点？

A：Granite 4 Nano是IBM发布的超小型生成式AI模型系列，专为边缘计算、设备端或浏览器运行而设计。该系列包括四个指令模型及其基础模型，参数量从15亿到3.5亿不等，具有极高的性能表现。

Q2：小型大语言模型相比大型模型有什么优势？

A：小型大语言模型需要的计算和内存更少，可以在消费级硬件上运行，如笔记本电脑和移动设备。它们增强隐私和安全性，提供离线推理访问，允许完全控制和定制，还能避免云费用，具有成本效益。

Q3：Granite 4模型在性能测试中表现如何？

A：Granite 4.0 H 1B在IFEval准确性测试中达到78.5分，超过Quen3 1.7B的73.1分和Gemma 3 1B的59.3分。在工具调用测试中获得54.8分，也优于Quen3的52.2分和Gemma 3的16.3分。