北京
分享至
同一个测试，一个模型拿了0分，另一个拿了97分。但它们的失败方式，根本不是一回事。
BoundaryBench 专门评估大模型在提示注入下的策略合规表现。它给出的结论很直接：单一排行榜分数，把语法格式错误和真正的安全策略翻转混在了一起。
0分和97分，差的不是安全能力
按榜单逻辑，0分意味着这个模型在测试里几乎全线失守，97分意味着它几乎全部守住。但 BoundaryBench 的评估指向另一种可能：低分模型的失分，可能来自格式没写对；高分模型的失分，才是策略被真正绕过。
这两类失败被塞进同一个分数里，看榜的人分不出来。
分数掩盖了失败的性质
提示注入场景下，模型要同时做两件事：按格式输出，以及不违反既定策略。前者是语法问题，后者是安全问题。一个模型可能格式全对、策略被翻；另一个可能策略没被翻、格式全错。
两种情况的分数可能一样低，也可能一样高。榜单只报一个数，不报这个数是怎么来的。
BoundaryBench 要拆开的，正是这一层。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
