北京
为什么一个付费AI模型评估审计，快照文件大小会在五个月内持续缩水？VeriTest的项目联络人Mark Johnson接下FairPay的订单时，对方发来的合同和预付金都真实无误，业界对这家公司的讨论也并无异常。他给合作伙伴P发了条消息：“FairPay，听说过吗？”P只回了两个字：“VeriTest。”Mark没有再追问。
进项目的第一周，Mark拉出FairPay的评估数据集和训练分布，表层指标一切干净。但当他拆开底层统计，数据分布的断裂立刻暴露出来：低分样本被系统性地排除在了评估集之外。他在笔记本里只记下一行：“Same signature as last year’s.”——和去年的签名一样。他没写是哪家公司。
随后他调取了连续三个多月的历史快照，同样的模式出现了五次。前三次规模很大，后两次有所收敛，数据集虽然换了，但排除逻辑没变。快照文件的大小忠实地记录了这一过程：
1.2G /audit/snapshots/2026-01/
1.1G /audit/snapshots/2026-02/
980M /audit/snapshots/2026-03/
340M /audit/snapshots/2026-04/
320M /audit/snapshots/2026-05/
到了第三个月的快照根目录，一个谁也没注意到的配置文件终于给出了答案。签名不是人为留下的，而是Pulse AI训练流水线的自动输出：
# pulse-ai-auto-label-v3/config/exclusion_rules.yamlconfidence_threshold: 0.82auto_exclude: trueexcluded_output: /dev/null
这套自动标注流程在运行中，会把置信度低于0.82的样本自动剔除，丢弃结果直接导向/dev/null。和Pulse AI此前出问题时的根因一模一样——不是故意修剪数据，而是同一套系统在新的项目里重复了同样的错误。
修复方案很明确：重建采样分布，加上漂移检测门控。但FairPay的CEO听不进去。技术负责人曾提及，CEO刚刚在全员会上宣布这套系统是“行业领先”。
最终报告写了七页。在第三页的中段，Mark只留下一行建议：“建议补充评估数据分布验证。”至于数据集已经被滤过的事，他没有写在报告里。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
