当所有大模型都在一条路上走到黑时,苹果换了个思路:让AI同时试几条路。
4月30日,苹果联合加州大学圣迭戈分校发布论文,推出名为LaDiR的推理框架。这不是新模型,而是套在现有模型上的"思考方式改造器"——让大语言模型在给出答案前,先并行探索多条推理路径。
![]()
扩散+自回归:两种范式的混搭实验
LaDiR的核心是混合架构。推理阶段用扩散模型(Diffusion),输出阶段用自回归模型(Autoregression)。
扩散模型的优势是并行处理:从随机噪声出发,多条路径同时优化。自回归模型则保证最终输出的连贯性。苹果团队试图兼得两者。
这种设计直接针对现有大模型的痛点:自回归模型只能一步步生成,一旦开头走错,后面全崩。扩散模型虽然能并行探索,但直接用于文本生成效果不佳。
LaDiR的解法是分阶段——让扩散负责"想",自回归负责"说"。
多样性机制:防止AI"集体跟风"
并行推理有个隐患:多条路径可能很快收敛到同一个答案,等于白并行。
LaDiR为此设计了多样性鼓励机制。系统在推理时启动多条独立路径,每条从随机噪声开始,通过扩散过程逐步优化成连贯步骤。关键约束在于:刻意让路径保持差异,形成多样化的候选答案池,而非复制粘贴式的雷同思路。
这类似于人类解题时的策略——同时尝试代数法、几何法、枚举法,再挑最优解。
实测结果:通用性强,专精稍弱
研究团队在Meta的LLaMA 3.1 8B和阿里Qwen3-8B-Base上测试。
数学基准中,LaDiR准确率高于现有方法,分布外难题表现更突出。HumanEval代码生成测试中,输出代码更可靠,难题上明显优于标准微调。谜题规划任务里,解空间探索更广,找正确答案的概率超过所有通用基准模型。
但单次尝试准确率上,LaDiR仍略逊于针对特定任务优化的专用模型。通用框架的代价是:广泛适用性与极致专精难以兼得。
为什么是苹果来做?
苹果的选择耐人寻味。当行业卷参数规模时,它在推理机制层面找增量。LaDiR不绑定特定模型,LLaMA和Qwen都能套,这意味着它可能成为跨平台的"推理增强插件"。
对端侧AI尤其关键。苹果设备算力有限,无法堆超大模型,但优化推理效率能直接提升用户体验。让8B模型通过更好的思考方式逼近更大模型的效果,这是务实的工程路线。
更值得玩味的是时间窗口。论文发布于4月30日,正值各大厂商密集披露AI进展的节点。苹果选择以学术合作形式发布框架而非产品,既验证技术可行性,又保持战略灵活度。
如果你在做模型优化或端侧部署,这篇论文值得细读——它提供了一条不拼算力、拼思路的替代路径。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.