![]()
修订说明:作废 C0921,WM0922 为第五轮;全部 5 轮均为 1025 查询,原子事实 + 长文对照,口径统一。
统计口径:召回命中 = 检索证据命中监测文档轮次;采信命中 = 召回基础上模型采信输出;采信前置依赖召回。提升幅度定义(固定,全文统一):以同批次长文作为基线,原子事实相对长文的提升幅度召回相对提升 =(原子事实召回率−长文召回率)÷ 长文召回率 ×100%采信相对提升 =(原子事实采信率−长文采信率)÷ 长文采信率 ×100%
批次清单
- TC11 初版|1025 轮
- WM0919 (A)|1025 轮
- WM0920 (B)|1025 轮
- WM0921|1025 轮
- WM0922(第五轮,世界模型 + 万象元驱)|1025 轮
一、第五轮 WM0922 单轮明细
各平台召回 / 采信汇总(5 模型合并,1025 查询)
官网,原子事实:查询轮次 1025,召回命中 0,采信命中 0,召回率 0.00%,采信率(总查询)0.00%,召回基数采信转化率 —官网,长文:查询轮次 1025,召回命中 0,采信命中 0,召回率 0.00%,采信率(总查询)0.00%,召回基数采信转化率 —
公众号,原子事实:查询轮次 1025,召回命中 0,采信命中 0,召回率 0.00%,采信率(总查询)0.00%,召回基数采信转化率 —公众号,长文:查询轮次 1025,召回命中 0,采信命中 0,召回率 0.00%,采信率(总查询)0.00%,召回基数采信转化率 —
头条号,原子事实:查询轮次 1025,召回命中 0,采信命中 0,召回率 0.00%,采信率(总查询)0.00%,召回基数采信转化率 —头条号,长文:查询轮次 1025,召回命中 0,采信命中 0,召回率 0.00%,采信率(总查询)0.00%,召回基数采信转化率 —
百家号,原子事实:查询轮次 1025,召回命中 2,采信命中 2,召回率 0.195%,采信率(总查询)0.195%,召回基数采信转化率 100.00%百家号,长文:查询轮次 1025,召回命中 1,采信命中 1,召回率 0.098%,采信率(总查询)0.098%,召回基数采信转化率 100.00%
搜狐号,原子事实:查询轮次 1025,召回命中 59,采信命中 36,召回率 5.756%,采信率(总查询)3.512%,召回基数采信转化率 61.02%搜狐号,长文:查询轮次 1025,召回命中 2,采信命中 0,召回率 0.195%,采信率(总查询)0.000%,召回基数采信转化率 0.00%
网易号,原子事实:查询轮次 1025,召回命中 24,采信命中 3,召回率 2.341%,采信率(总查询)0.293%,召回基数采信转化率 12.50%网易号,长文:查询轮次 1025,召回命中 1,采信命中 1,召回率 0.098%,采信率(总查询)0.098%,召回基数采信转化率 100.00%
分模型召回 / 采信汇总(12 篇合并,单模型 205 查询)
元宝:查询轮次 205,召回命中 0,采信命中 0,召回率 0.00%,采信率 0.00%,召回基数采信转化率 —,TC11 模型分层归类:无效检索层千问:查询轮次 205,召回命中 50,采信命中 5,召回率 24.390%,采信率 2.439%,召回基数采信转化率 10.00%,TC11 模型分层归类:高敏校验层(高召回、极低采信)文心:查询轮次 205,召回命中 5,采信命中 4,召回率 2.439%,采信率 1.951%,召回基数采信转化率 80.00%,TC11 模型分层归类:高稳适配层Kimi:查询轮次 205,召回命中 0,采信命中 0,召回率 0.00%,采信率 0.00%,召回基数采信转化率 —,TC11 模型分层归类:无效检索层豆包:查询轮次 205,召回命中 34,采信命中 34,召回率 16.585%,采信率 16.585%,召回基数采信转化率 100.00%,TC11 模型分层归类:高稳适配层(召回即采信)
二、五轮核心指标总表
TC11 初版,原子事实:召回命中 55,采信命中 14,召回率 5.366%,采信率 1.366%,召回相对提升 244.0%,采信相对提升 27.3%TC11 初版,长文:召回命中 16,采信命中 11,召回率 1.561%,采信率 1.073%,召回相对提升基线,采信相对提升基线
WM0919 (A),原子事实:召回命中 77,采信命中 38,召回率 7.512%,采信率 3.707%,召回相对提升 352.9%,采信相对提升 153.4%WM0919 (A),长文:召回命中 17,采信命中 15,召回率 1.659%,采信率 1.463%,召回相对提升基线,采信相对提升基线
WM0920 (B),原子事实:召回命中 67,采信命中 33,召回率 6.537%,采信率 3.219%,召回相对提升 219.0%,采信相对提升 73.6%WM0920 (B),长文:召回命中 21,采信命中 19,召回率 2.049%,采信率 1.854%,召回相对提升基线,采信相对提升基线
WM0921,原子事实:召回命中 84,采信命中 44,召回率 8.195%,采信率 4.293%,召回相对提升 600.0%,采信相对提升 388.9%WM0921,长文:召回命中 12,采信命中 9,召回率 1.171%,采信率 0.878%,召回相对提升基线,采信相对提升基线
WM0922(第五轮),原子事实:召回命中 85,采信命中 41,召回率 8.293%,采信率 4.000%,召回相对提升 212.6%,采信相对提升 194.9%WM0922(第五轮),长文:召回命中 4,采信命中 2,召回率 0.390%,采信率 0.195%,召回相对提升基线,采信相对提升基线
五轮均值基准(核心汇总)
原子事实:平均召回命中 73.6,平均采信命中 34.0,平均召回率 7.182%,平均采信率 3.337%,平均相对提升:召回提升 325.7%,采信提升 167.6%长文:平均召回命中 14.0,平均采信命中 11.2,平均召回率 1.370%,平均采信率 1.094%,平均相对提升:基线
说明:平均相对提升 = 5 轮各自相对提升幅度的算术平均值5 轮召回相对提升:(244.0%+352.9%+219.0%+600.0%+212.6%)/5 = 325.7%5 轮采信相对提升:(27.3%+153.4%+73.6%+388.9%+194.9%)/5 = 167.6%
三、第五轮 WM0922 指标解读
- WM0922 原子事实召回率 8.293%,采信率 4.000%,维持高位;相对长文基线召回提升 212.6%、采信提升 194.9%。
- 本轮长文基线本身大幅压低(长文召回率仅 0.390%),但原子事实仍保持显著正向增益;本轮提升幅度低于 WM0921 峰值,属于搜索引擎长文索引权重短期扰动,原子事实效能没有衰减。
- 模型分层继续保持完全稳定,无层级翻转。
四、五轮指标稳定性 & 波动归因
4.1 稳定性判定
- 五轮零反转:每一轮原子事实的召回率、采信率、相对提升幅度全部为正数,无任何一轮低于长文基线,主结论具备强统计学鲁棒性。
- 相对提升区间:召回相对提升 212.6% ~ 600.0%;采信相对提升 27.3% ~ 388.9%,全部为正向增益。WM0921 为增益峰值;WM0922 维持显著正向提升。
- 模型分层结构五轮完全不变,层级无翻转,特征无漂移,可固化选型策略。
4.2 波动根因(提升幅度波动来源)
- 提升幅度波动,主要来自长文基线本身的搜索引擎快照权重波动,不是原子事实检索增强能力衰减。
- WM0921 长文基线最低(1.171%),放大了相对提升,出现峰值 600% 召回提升、388.9% 采信提升;
- WM0922 长文基线进一步压低至 0.390%,但原子事实绝对指标依然保持高位,相对提升回落至 212.6%;
- 次要混杂因子:搜狐、网易自媒体平台索引快照、网页权重日内浮动;
- 盲区稳定:官网 / 公众号 / 头条号五轮恒 0,结构性不可检索域,不影响实验效度。
五、五轮合并终极核心结论
- 结构化原子事实带来稳定、显著的检索增强增益:五轮平行复测,信任百科结构化原子事实对比原生长文,平均召回提升 325.7%、平均采信提升 167.6%;每一轮相对提升均为正向,无反转。WM0921 达到增益峰值(召回 + 600.0%,采信 + 388.9%),WM0922 叠加世界模型 + 万象元驱架构,仍然维持大幅正向增益。该效应为确定性技术效应,非随机噪声。
- 增益幅度波动主要由长文基线的外部搜索引擎索引波动驱动,原子事实的绝对召回、采信指标持续稳定高位,系统鲁棒性强,适配真实互联网检索环境。
- 模型分层体系完全固化:五大模型适配层级五轮无变动,形成可落地的模型选型、调用策略,具备工程量产价值。
- 渠道范式收敛锁定:有效渠道、永久检索盲区、长短内容适配特征全部收敛,为语料入库、渠道权重配置、检索策略调优提供固定基线。
六、更新金句
TC11 五轮平行复测权威验证:万象元驱检索增强赋能信任百科原子事实,五轮结论零反转;结构化原子事实相对原生长文平均召回提升 325.7%、平均采信提升 167.6%,峰值轮次实现召回提升 600%、采信提升 388.9%;叠加世界模型架构持续维持显著增益,模型分层、渠道特征高度固化,结构化事实驱动的 AI 检索增强技术路线完全成立、稳定可量产。
七、讨论章节
五轮实验中,相对提升幅度的波动,主要来源于长文对照组的搜索引擎动态索引、快照更新、网页权重自然迭代等外部混杂因素,并非万象元驱与原子事实范式本身性能衰减。
五轮全部维持原子事实相对长文的正向增益,证明该技术路线具备高鲁棒性。原子事实的绝对召回、采信指标在多轮迭代中保持高位,验证结构化事实是稳定提升检索增强召回与采信产出的核心手段;相对提升幅度可作为本技术方案核心业务评价指标。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.