北京
你的研究想法已经改了，评估表格却依然漂亮。这两件事可以同时成立，原因有点扎心：表格可能还在回答旧问题。
Ai2 在 Hugging Face 上发布的 LitPivot 项目说明里，把这个错位摆到了台面上。系统把早期研究提案与选定文献连接起来，并把提案拆成问题、贡献和评估三部分。改动其中一块，另一块可能就需要跟着修订。比起又一个帮你润色段落的工具，这种依赖关系更值得看。
一个合成的小例子能说明问题。下面两种排序，前三条结果的主题精确率都是满分。一种找不到集合里任何反面证据，另一种把反面证据全找了出来。
设想最初的问题是：“我能检索到关于这个话题的文档吗？”主题相关性是合理的第一个衡量指标。精确率@3 算的是前三条结果里相关文档数除以三。
接着把贡献收窄：“我能帮研究者找到挑战某个论断的证据吗？”这就加上了证据与论断关系的条件。一篇文档可以切题，却完全不提供反驳。
在构造的集合里，六篇文档全部切题。A、B、C 支持某个论断，D、E、F 反驳它。把 A、B、C 排前面，主题精确率@3 是 3/3；把 D、E、F 排前面，同一个指标还是 3/3。
针对“找反面证据”这个子任务，还可以算矛盾召回率@3：前三条里检索到的矛盾文档数，除以集合中全部三篇矛盾文档。第一种排序得 0/3，第二种得 3/3。
旧指标没有在数学上变错，它只是对修订后的论断变得不完整了。表格是无辜的，变的是任务说明，而没人通知它。
为了确认这不是精心挑选的一对排序，可以把六篇文档的所有排列都枚举一遍。6! 等于 720 种排列，主题精确率@3 始终为 1，矛盾召回率则取到四个不同值。
组合计数也能直接验证：前三条里恰好取到 j 篇矛盾文档，就是从矛盾集选 j 篇、从支持集选 3-j 篇，再分别排列选中与剩余的文档。j 取 0、1、2、3 时，对应 36、324、324、36 种排列，与枚举结果一致。
这个计数描述的是一个极小构造集合的可能排序，不是对真实检索器的概率估计，也不是 LitPivot 的结果，更不能拿来证明哪个系统更强。
LitPivot 在这件事上的实际贡献是：通过 Asta Paper Finder 检索文献，围绕正在编辑的提案分面进行分组，并把建议的修订链接到支撑摘录。研究者自己挑选论文，可以接受、编辑或拒绝修订。当某处改动让相关段落不再对齐时，系统能够标出这些段落。
在已报告的实验室研究中，17 名研究者使用了 LitPivot，以及一套使用相同论文集合的基线编辑/对话设置。盲评由领域专家打分，针对的是文献支撑度；新颖性和有用性的提升则来自参与者自述。这是两类不同的证据。更好的支撑度有价值，但它不是“想法前所未有或一定可行”的外部证明。
所以修订提案时，有三个问题值得分开看：
- 所引工作确立的是什么问题；
- 新贡献额外增加了什么；
- 什么观察结果能说明这个增加起了作用。
贡献一变，就要顺着标签、数据集构造、数据划分、基线和失败案例一路追下去。在上面那个例子里，加入“检索矛盾证据”的主张，就需要立场标签，还需要给“矛盾”下定义——实体、条件或时间跨度不同，看似冲突的陈述也可能彼此兼容。
只优化矛盾结果会带来另一个问题。文献综述同样需要支持性工作、限定条件和零结果。这个新增指标只检查一个明确的子任务，既不保证综述平衡，也不保证底层论断为真。
一个有用的习惯是问：如果新贡献彻底失败，哪项旧评估会保持不变？那往往就是第一个该被替换或补充的指标。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
