北京
你训练了一个识别违规内容的系统，准确率99%。但有人用一张几乎看不出变化的图片，就让系统彻底失效——这不是科幻，是每天都在发生的攻防战。
对抗样本：骗过检测器的隐形陷阱
机器学习检测器（从垃圾邮件过滤到人脸识别）依赖统计模式判断输入。对抗样本（Adversarial Examples）通过在正常数据上添加人眼不可见的微小扰动，就能让模型输出完全错误的结果。
关键威胁在于：攻击者不需要知道模型内部参数，只需反复查询输出，就能构造有效攻击。这种"黑盒攻击"让商业系统的防御难度急剧上升。
为什么检测器比分类器更难防守
分类任务只输出标签，检测任务还要定位目标。攻击者可以针对"是否存在目标"或"目标在哪里"两个环节分别下手。更麻烦的是，检测器通常包含预处理（缩放、归一化），攻击者需要确保扰动在这些操作后依然有效。
现有防御手段代价高昂：对抗训练需要10倍以上的计算资源，输入净化（Input Sanitization）会牺牲正常准确率。没有免费午餐。
三个被低估的攻防细节
第一，物理世界攻击正在成熟。打印贴有对抗图案的贴纸，能让监控摄像头对人脸"失明"。第二，迁移攻击普遍存在——针对A模型设计的扰动，往往对B模型同样有效。第三，检测器的级联结构（先提候选区域再分类）创造了新的攻击面，攻击者可以专门破坏区域提议网络。
行动号召
如果你负责部署任何检测系统，现在就该做三件事：检查模型是否公开了置信度分数（这会让攻击者迭代更快）、评估输入预处理流程是否可逆、在测试集里加入对抗样本做压力测试。攻防不对称在于：防御者要堵所有漏洞，攻击者只需找到一个。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
