北京
分享至
把文档数量从几份加到50份，AI的检索准确率会不会崩？一份针对7款大模型的实测给出了反直觉的答案：不会。文档越多，检索表现并没有随之下降。
这项基准测试覆盖了开源与付费两类模型，核心结论有两条。第一，在检索环节，文档数量增加到50份，准确率依然稳得住。第二，真正的分水岭出现在多文档推理上——小参数的付费模型在这类任务里表现急剧下滑。
检索稳，推理崩
检索和多跳推理是两件事。前者是从一堆文档里找到相关内容，后者是把分散在多个文档里的信息串起来得出结论。测试显示，文档数量本身不是检索的敌人，但跨文档推理会放大模型能力的差距。
换句话说，堆文档不会拖垮检索，却可能暴露模型在复杂推理上的短板。小尺寸付费模型正是在这一环掉了链子。
开源与付费的分野
测试对比了开源模型和付费模型两类对象。结论指向一个具体维度：在多文档推理场景下，模型规模与付费与否，直接决定了表现是否稳定。
对于需要跨文档整合信息的应用来说，选型时盯住多跳推理能力，比单纯看检索指标更有意义。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
