山东
分享至
IT之家 1 月 17 日消息，研究公司Snowflake公布了一款名为“SwiftKV”的AI模型调校技术，并在 Hugging Face开源三款利用“SwiftKV”技术进行调校的Llama 3.1 AI模型（点此访问）。
IT之家获悉，SwiftKV 技术的核心在于优化模型提示词处理过程。研究人员指出，通常情况下大模型最为消耗计算资源的环节在于处理用户为模型输入的提示词，而许多企业为模型自定义了极长的提示词，据称平均情况“大约是输出生成内容的 10 倍”。
据 Snowflake 介绍，这一“SwiftKV”模型调校技术专门为相应预制的提示词处理进行优化，号称突破了传统的键值（Key-Value，KV）缓存压缩技术，还在模型推理过程中引入模型重组与知识保存自我蒸馏方法，从而有效提升模型吞吐量、降低了延迟和运算成本，号称可以帮助AI模型显著缩短推理时间，可以降低模型 50% 推论时间。
实验结果表明，在利用 SwiftKV 技术优化 Llama 3.1 的 80 亿和 700 亿参数模型后，相应模型的整体吞吐量可提升两倍，同时相应模型也在代码自动补全、文本摘要等方面表现出色。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
