北京
IBM公司今日宣布发布Granite 4 Nano，这是一系列专为边缘计算、设备端或浏览器运行而设计的超小型生成式人工智能模型。
该公司表示，这些模型在体积方面展现出极高的性能，代表了公司迄今为止最小的模型。
Granite 4.0 Nano系列包括四个指令模型及其对应的基础模型，参数量从15亿到3.5亿不等。参数是大语言模型在训练过程中学习的内部数值，用于理解用户文本查询的上下文并生成答案。
更大的大语言模型需要更多的计算能力和能源，导致运营成本增加。它们还需要专门的硬件，如强大的图形处理单元和大量的机器内存。而微型大语言模型所需的计算和内存要少得多，这意味着它们可以在消费级硬件上运行，如笔记本电脑、个人电脑和移动设备。
代价是准确性和上下文知识的降低，这些被从模型中精简以减小其尺寸。但通过先进的压缩技术，可以将大量知识和能力打包到更小的尺寸中。
极小型大语言模型增强了隐私和安全性，提供离线推理访问，并允许完全控制和定制。通过避免向云服务器传输敏感数据，本地大语言模型还具有成本效益，因为它们不会产生云费用。
这些模型包括Granite 4.0 H 1B和350M，即15亿和3.5亿参数模型，具有该模型系列的混合架构，以及两个替代的传统基于Transformer的版本，旨在兼容混合工作负载可能没有优化支持的情况。
Granite 4模型采用IBM开发的专门架构，将附加算法与驱动大多数大语言模型的Transformer设计相结合。Transformer使用注意力算法，通过关注输入的最重要部分来理解和生成文本。IBM将Transformer与基于Mamba神经网络架构的处理组件混合，该架构比传统Transformer更具硬件效率。
在次十亿到接近十亿参数模型设计市场中存在激烈竞争，开发者专注于性能和能力。竞争对手包括阿里巴巴集团的Qwen模型、Liquid AI公司的liquid foundation模型和谷歌设计的Gemma模型。
IBM表示，Granite Nano模型在通用知识、数学、编程和安全等各种基准测试中表现优于几个类似规模的模型。此外，Nano模型在智能体工作流程方面表现优于竞争对手，包括在IFEval（指令跟随评估）和伯克利函数调用排行榜v3中的指令跟随和工具调用。
Granite 4.0 H 1B在IFEval准确性方面达到最高分78.5，而Quen3 1.7B为73.1，Gemma 3 1B得分59.3。在工具调用方面，同一模型在伯克利排行榜上获得54.8分，而Quen3为52.2，Gemma 3为16.3。
IBM在高度宽松的开源Apache 2.0许可证下发布了所有Granite 4 Nano模型。该许可证允许广泛的商业使用，并包括对研究的特殊考虑。
Q&A
Q1：Granite 4 Nano模型有什么特点？
A：Granite 4 Nano是IBM发布的超小型生成式AI模型系列，专为边缘计算、设备端或浏览器运行而设计。该系列包括四个指令模型及其基础模型，参数量从15亿到3.5亿不等，具有极高的性能表现。
Q2：小型大语言模型相比大型模型有什么优势？
A：小型大语言模型需要的计算和内存更少，可以在消费级硬件上运行，如笔记本电脑和移动设备。它们增强隐私和安全性，提供离线推理访问，允许完全控制和定制，还能避免云费用，具有成本效益。
Q3：Granite 4模型在性能测试中表现如何？
A：Granite 4.0 H 1B在IFEval准确性测试中达到78.5分，超过Quen3 1.7B的73.1分和Gemma 3 1B的59.3分。在工具调用测试中获得54.8分，也优于Quen3的52.2分和Gemma 3的16.3分。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
