万象镜AI信任百科 · 原子事实百科与原始叙事长文对照实验总报告

报告编号：WMX‑DY‑SY‑2026‑TC01‑05‑MERGE｜版本：V1.4｜出具日期：2026‑09‑11

1. 执行摘要

结论：在 TC01–TC05 五轮、合计 5795 轮查询的聚合样本下，KUCR 四层确权原子事实百科相对同源叙事长文，三项核心指标全部正向 —— 召回率相对提升 +16.90%、采信转化率相对提升 +9.18%、查询口径采信率相对提升 +27.63%。原子事实范式可继续推进工程落地，搜狐系渠道为当前最成熟落地场景。

依据：

• 原子组召回 166 次、采信 97 次；长文组召回 142 次、采信 76 次；三组计数均来自实采明细 jsonl 逐行汇总，可复算。
• 召回率 2.45% → 2.86%，采信转化率 53.52% → 58.43%，查询口径采信率 1.31% → 1.67%，三者满足乘法恒等关系。
• 分渠道看，搜狐号 A、搜狐号 B 召回增益显著；网易号长文召回更高，渠道分化明确。

约束：

• 单轮存在环境噪声：召回率在 TC03、TC05 单轮为负；采信转化率在 TC01、TC02 单轮为负。全局结论以聚合值为准，不能宣称 “每轮都稳定正向”。
• 企业官网 A/B、头条号、百家号原子稿件尚未被模型收录，第四轮后该类渠道停止查询，相关数据仅存档，不参与核心结论。
• TC04 为 4 渠道子集、百家号查询池在 TC04/TC05 缩至 50 轮，跨轮次渠道构成不完全一致，跨轮百分比仅用于观察趋势。

行动：优先在搜狐号 A/B 双渠道固化原子事实稿件生产流程；网易号需拉长观测周期判断召回劣势是否稳定；通义千问、Kimi、腾讯元宝因索引周期长，切换为跨时段长期采样后再下结论。

2. 实验设计

2.1 实验目的

验证 KUCR 四层确权原子事实结构化内容，相对同源叙事长文，在生成式大模型检索召回与事实采信全链路上的性能差异，回答两个问题：事实条目被模型检索召回的概率增益有多大；召回之后模型采信该事实素材的转化增益有多大。

2.2 实验搭建四步法

1. 确定实验设定：同一原始素材分别制作原子版与长文版；相同自媒体账号成对发布；固定查询题库；统一检索时间窗口。
2. 明确实验单位：单次模型查询作为基础样本单元，逐条登记召回、采信状态。
3. 管理影响因子：企业主体、发布账号、查询题库、检索窗口期全部锁定，唯一自变量为内容组织形态。
4. 排除混杂因素：依托五轮重复测试，抵消平台快照调度、模型索引延迟、配额限制等外部噪声；原子稿件未入库的渠道在第四轮后停止查询，避免无效召回污染分母。

2.3 实验设计原则

遵循简单性原则、可重复性原则、条件可控性原则、实验单位随机分配原则。本次实验唯一变量为稿件内容组织形态，其余外部条件保持恒定；相同条件下重复五轮，结果以聚合值判定而非单轮。

2.4 基础参数

实验组稿件：KUCR 四层确权原子事实百科结构化稿件对照组稿件：同源原始叙事长文测试渠道：搜狐号 A、搜狐号 B、网易号、百家号、企业官网 A/B、头条号实验轮次：TC01（09‑08）、TC02（09‑09）、TC03（09‑10）、TC04（09‑10 首采）、TC05（09‑11）查询规模：每轮两组各执相同题库，合计 5795 轮 / 组，总计 11590 轮唯一变量：文章内容组织形态

数据来源：MediaRecallCollect‑TC01~TC05.jsonl 实采明细｜口径：1 题 × 1 模型 = 1 轮

3. 指标定义与统计口径

3.1 三项核心指标

1. 召回率 = 召回命中数 ÷ 查询轮次。衡量单次查询拿到候选素材的概率，反映内容被 AI 检索命中的曝光面。
2. 采信转化率 = 采信成功数 ÷ 召回命中数。衡量召回素材中被模型标注为答案依据的占比，反映召回到的素材本身的事实确权质量。
3. 查询口径采信率 = 采信成功数 ÷ 查询轮次。衡量单次查询最终产出可信事实的综合概率，满足乘法恒等：查询口径采信率 ≈ 召回率 × 采信转化率。

3.2 判定规则

• 引用证据含目标文章 URL 指纹，计为召回；
• 被模型标注为答案依据，计为采信；
• 同一轮两形态都命中，记为「双命中」，不计入任何一侧；
• 相对提升 =（实验组 − 对照组）÷ 对照组 × 100%。

4. 全量聚合结果

4.1 核心指标总表

长文基线：查询轮次 5795，召回命中 142，采信成功 76，召回率 2.45%，采信转化率 53.52%，查询口径采信率 1.31%原子实验组：查询轮次 5795，召回命中 166，采信成功 97，召回率 2.86%，采信转化率 58.43%，查询口径采信率 1.67%相对提升：召回命中 + 16.90%，采信成功 + 27.63%，召回率 + 16.90%，采信转化率 + 9.18%，查询口径采信率 + 27.63%；查询轮次无该项

数据来源：TC01–TC05 五轮实采明细逐行汇总｜口径：相对提升 =(原子‑长文)/ 长文 ×100%

三项指标全部正向。召回率与采信转化率两个因子同时为正，相乘后查询口径采信率增益最大（+27.63%），即原子事实范式在 “召得到” 和 “召到后被采信” 两端同时产生增益，而非单点优化。

4.2 五轮三指标相对提升趋势

从五轮横向对比可见：召回率波动幅度最大（区间 −20.58% ~ +69.53%），受平台快照配额与模型索引刷新时机影响明显；查询口径采信率波动居中；采信转化率波动区间最窄（−11.02% ~ +35.72%），且 TC03 起连续三轮转正并持续走高，是三项指标中单轮可复现性最好的一项。

5. 五轮逐轮明细与稳定性分析

5.1 五轮单轮原始数据

TC01，长文组：查询轮次 1325，召回命中 23，采信成功 13，召回率 1.74%，采信转化率 56.52%，查询口径采信率 0.98%TC01，原子组：查询轮次 1325，召回命中 39，采信成功 20，召回率 2.94%，采信转化率 51.28%，查询口径采信率 1.51%

TC02，长文组：查询轮次 1325，召回命中 26，采信成功 16，召回率 1.96%，采信转化率 61.54%，查询口径采信率 1.21%TC02，原子组：查询轮次 1325，召回命中 42，采信成功 23，召回率 3.17%，采信转化率 54.76%，查询口径采信率 1.74%

TC03，长文组：查询轮次 1325，召回命中 34，采信成功 18，召回率 2.57%，采信转化率 52.94%，查询口径采信率 1.36%TC03，原子组：查询轮次 1325，召回命中 27，采信成功 16，召回率 2.04%，采信转化率 59.26%，查询口径采信率 1.21%

TC04，长文组：查询轮次 695，召回命中 27，采信成功 13，召回率 3.89%，采信转化率 48.15%，查询口径采信率 1.87%TC04，原子组：查询轮次 695，召回命中 30，采信成功 19，召回率 4.32%，采信转化率 63.33%，查询口径采信率 2.73%

TC05，长文组：查询轮次 1125，召回命中 32，采信成功 16，召回率 2.84%，采信转化率 50.00%，查询口径采信率 1.42%TC05，原子组：查询轮次 1125，召回命中 28，采信成功 19，召回率 2.49%，采信转化率 67.86%，查询口径采信率 1.69%

合计，长文组：查询轮次 5795，召回命中 142，采信成功 76，召回率 2.45%，采信转化率 53.52%，查询口径采信率 1.31%合计，原子组：查询轮次 5795，召回命中 166，采信成功 97，召回率 2.86%，采信转化率 58.43%，查询口径采信率 1.67%

数据来源：TC01–TC05 分渠道统计表逐行汇总｜口径：双命中不计入任何一侧

5.2 逐轮相对提升稳定性

TC01：召回率相对提升 + 69.53%，采信转化率相对提升−9.27%，查询口径采信率相对提升 + 53.82%TC02：召回率相对提升 + 61.57%，采信转化率相对提升−11.02%，查询口径采信率相对提升 + 43.71%TC03：召回率相对提升−20.58%，采信转化率相对提升 + 11.94%，查询口径采信率相对提升−11.05%TC04：召回率相对提升 + 11.12%，采信转化率相对提升 + 31.53%，查询口径采信率相对提升 + 46.12%TC05：召回率相对提升−12.48%，采信转化率相对提升 + 35.72%，查询口径采信率相对提升 + 18.78%五轮聚合：召回率相对提升 + 16.90%，采信转化率相对提升 + 9.18%，查询口径采信率相对提升 + 27.63%

口径：本轮相对提升 =(本轮原子指标‑本轮长文指标)/ 本轮长文指标 ×100%；聚合值为全部计数合并后重算，不与单轮百分比直接并列

召回率为环境敏感型指标：五轮中有两轮为负，波动区间最大，受自媒体快照配额、模型索引刷新时机影响显著。采信转化率在 TC01、TC02 单轮为负，但 TC03 起连续三轮转正且增益从 +11.94% 抬升至 +35.72%，是三项指标中单轮可复现性最好的一项。查询口径采信率同时叠加前两者波动，单轮波动居中。全局聚合值为实验最终定论依据，单轮负向不改变聚合正向结论。

6. 分渠道对比分析

6.1 分渠道五轮汇总

搜狐号 A，长文组：查询轮次 675，召回 14，采信 8，召回率 2.07%，采信转化率 57.14%搜狐号 A，原子组：查询轮次 675，召回 39，采信 18，召回率 5.78%，采信转化率 46.15%

搜狐号 B，长文组：查询轮次 1050，召回 29，采信 22，召回率 2.76%，采信转化率 75.86%搜狐号 B，原子组：查询轮次 1050，召回 67，采信 53，召回率 6.38%，采信转化率 79.10%

网易号，长文组：查询轮次 1500，召回 85，采信 38，召回率 5.67%，采信转化率 44.71%网易号，原子组：查询轮次 1500，召回 60，采信 26，召回率 4.00%，采信转化率 43.33%

百家号，长文组：查询轮次 850，召回 14，采信 8，召回率 1.65%，采信转化率 57.14%百家号，原子组：查询轮次 850，召回 0，采信 0，召回率 0.00%，采信转化率无结果

企业官网 A/B、头条号，长文组：查询轮次 1720，召回 0，采信 0，召回率 0.00%，采信转化率无结果企业官网 A/B、头条号，原子组：查询轮次 1720，召回 0，采信 0，召回率 0.00%，采信转化率无结果

数据来源：TC01–TC05 分渠道统计表｜口径：原子稿件未收录渠道第四轮后停止查询，仅存档

6.2 渠道分层判断

1. 搜狐号 A、搜狐号 B（最优渠道）：原子召回分别从 14→39、29→67，召回率相对提升显著。搜狐 B 采信转化率 79.10% 高于长文 75.86%，是唯一同时在召回和采信上都正向的渠道；搜狐 A 原子召回大幅提升但采信转化率 46.15% 低于长文 57.14%，需后续观察是否为小样本波动。
2. 网易号（高波动渠道）：长文召回 85 次反超原子 60 次，原子召回率 4.00% 低于长文 5.67%；采信转化率两组接近（43.33% vs 44.71%）。该渠道平台快照配额存在动态调控，是召回负向轮次的主要来源。
3. 百家号、企业官网、头条号（未收录渠道）：原子稿件尚未被模型收录，五轮累计 2570 轮查询召回全为 0，不具备事实校验基准，第四轮后停止查询，数据仅存档不参与结论。

7. SPDC 根因综合解析

• S（现象）：各轮次召回指标存在上下波动；TC03、TC05 召回为负；TC01、TC02 采信转化率为负；部分渠道原子召回反而低于长文。
• P（推论）：单轮局部不利数据主要来源于外部约束 —— 自媒体平台快照配额动态调控、大模型网页索引刷新时机、未收录渠道的无效查询，与原子事实内容范式本身无关；五轮聚合后双指标全部正向。
• D（数据验证）：五轮 5795 轮聚合后，召回率 2.45% → 2.86%（+16.90%），采信转化率 53.52% → 58.43%（+9.18%），查询口径采信率 1.31% → 1.67%（+27.63%）。三指标计数均来自实采 jsonl 逐行汇总，可复算，数据自洽闭环。
• C（结论）：原子事实结构化方案在聚合层面双指标增益真实存在且可复现；单轮波动属于环境噪声，不改变核心结论。采信转化率是剥离召回数量扰动后最稳定的核心收益指标。

8. 实验结论与局限

8.1 正式结论

1. TC01–TC05 五轮、合计 5795 轮 / 组对照测试完成，聚合结果证实原子事实百科召回率相对长文提升 +16.90%，采信转化率提升 +9.18%，查询口径采信率提升 +27.63%，三项指标全局正向。
2. 原子事实范式的核心收益同时覆盖 “检索召回” 与 “召回后事实确权采信” 全链路，而非单点优化。
3. 渠道分层效应清晰：搜狐双号为当前最成熟落地场景；网易号召回劣势需长期观测；未收录渠道在收录完成前不进入结论。
4. 五轮重复测试满足可重复性检验标准，聚合结论具备工程落地与产品迭代参考价值。

8.2 现存局限

1. 通义千问、Kimi、腾讯元宝网页索引周期长，短期窗口未产生有效采信，需切换为跨时段长期采样后再判定。
2. TC04 为 4 渠道子集、百家号查询池在 TC04/TC05 缩至 50 轮，跨轮次渠道构成不完全一致，跨轮百分比仅作趋势观察。
3. 企业官网、头条号、百家号原子稿件尚未收录，收录完成后需启动复测补齐数据。
4. TC01、TC02 采信转化率单轮为负，样本量较小（原子召回 39、42），需后续轮次确认该负向是否为偶发。

8.3 后续执行方案

1. 搜狐双号固化原子稿件生产流程，作为首批工程落地场景持续监测。
2. 网易号延长观测周期，区分平台配额波动与内容范式召回劣势。
3. 企业官网、头条号、百家号原子稿件收录完成后启动复测。
4. 通义千问、Kimi、腾讯元宝改为跨时段分散长期采样，禁止短期批量测试下结论。
5. DeepSeek 独立开展周期性测试，连续观测三个月后再评估。