北京
分享至
据报道，苹果提出“多token预测”（MTP）技术，在不牺牲输出质量的情况下，可将大语言模型响应速度提升2至3倍，特定场景下最高可达5倍。传统大语言模型逐个输出token，速度受限。苹果研究发现模型内部蕴含对后续多个词的潜在判断能力，据此提出MTP框架，支持模型一次生成多个词。该技术通过“掩码”token作为占位符，并行推测后续多个词，并在推测结果与标准自回归解码结果不符时自动回退，确保输出质量。实验基于开源模型Tulu3 - 8B进行，训练其最多推测8个后续token，在问答和对话等通用任务中，响应速度平均提升2至3倍；在代码生成、数学推理等结构化场景中，提速可达5倍。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
