北京
亚马逊把自家AI安全评估的题库，交给了一个外部机构来挑毛病。挑完的结果是：题库整体过关，但被点出四类需要补强的地方。
这次合作的对象是AVERI（AI Verification and Evaluation Research Institute，AI验证与评估研究所），一家专门做AI系统第三方评估的独立非营利机构。亚马逊交给它的任务不是测模型输出，而是检查测试本身够不够硬——这些评估到底有没有把安全边界压到位。
换句话说，被审的是考卷，不是考生。
怎么审的
亚马逊从内部安全评估题库里随机抽样，把提示词交给AVERI。AVERI团队由执行主任Miles Brundage带队，成员包括研究员Sean McGregor、A. Feder Cooper和George Balston，从多样性、难度校准、方法论严谨性三个角度逐条看。
整个过程AVERI独立完成，亚马逊的评估团队不参与、不提供输入，以保证结论是真正的外部视角。
审出来的长处
AVERI的评审确认了亚马逊评估流程的几项优势：
- 主题覆盖全面，与公开记录的安全类别对齐，包括自残、网络安全等风险领域；
- 测试方法多样，写作风格有正式也有口语，单轮和多轮对话都有，内容为原创；
- 污染风险低，内容看起来是原创而非取自公开数据集，降低了通过预训练发生评估泄漏的风险。
被点名的四类问题
外部视角的价值，恰恰在于能看见内部团队因为太熟悉自己的工作而容易忽略的地方。AVERI提出了几条改进方向：
- 语言和风格多样性还要扩，多语言提示词目前集中在部分风险类别，建议更均匀地铺开，提示词结构也应更多变；
- 攻击复杂度要校准，建议补充更多多步骤的对抗性提示词，让评估真正压到模型的推理深度，更贴近现实中复杂的滥用尝试；
- 题库要保持新鲜，AVERI发现少量提示词带有时间有限的引用，另有少数边界情况的评分标准可以写得更清楚；
- 评估信号质量要保证，有些情况下模型可能只是被提示词里的表面线索触发拒答，通过这类测试并不等于在新情境下就有可靠的安全行为。
反馈怎么落地的
亚马逊列出了已经做出的具体改动：
- 刷新测试集，针对已识别的问题更新评估数据集，删掉冗余提示词，加入更难的对抗场景；
- 建立难度校准框架，引入分级难度，确保评估里包含真正逼近模型安全极限的提示词，而不只是简单题；
- 设定季度评审节奏，形成固定的评估维护流程，及时发现过期内容、减少重复、纳入新出现的攻击模式；
- 扩大语言覆盖，把多语言提示词铺到所有风险类别，而不是集中在特定领域。
这套做法想推广成行业惯例
亚马逊把这次合作称为一种正在成形的最佳实践：请独立第三方来评的，不只是模型输出，还有评估流程本身的质量。随着AI安全领域走向成熟，这类“元评估”有望成为传统红队测试和基准测试之外的重要补充。
收益是双向的。亚马逊拿到了一次对评估质量的独立检查，AVERI则积累了评估内部评估流程的实战经验，这些经验可以反哺整个领域的最佳实践。
亚马逊表示，感谢AVERI详尽且有建设性的评审，并计划随着模型演进继续引入独立评估方。对安全流程保持透明，包括透明地说明哪里还能改，是建立对AI安全有依据的信心的基础。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
