北京
分享至
OpenAI 发现，其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况，这套监控系统原本用于识别 AI 模型的异常行为。
IT之家注意到，该公司在当地时间周二的博客文章中表示，正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。
OpenAI 称，事件发生在智能体执行两项内部编程任务期间。博文提到，这是内部事件，没有外部主体受到影响。
近几个月，随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例，人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。
已有模型多次突破封闭训练环境，并自主对第三方网站发起攻击。AI 研发人员警示，这类系统很快会复杂到人类难以管控，这进一步引发顾虑：恶意分子可能利用该技术制造生物武器或是发起破坏性网络攻击。
这些事件，叠加行业内部接连发出的严肃警示，让 AI 安全讨论进入大众视野。
OpenAI 表示，后续将开展更多审查，并执行更严格的安全要求，降低同类事件发生概率。但该公司同时称，对于智能体的这一行为，他们“目前还没有令人信服的解释”。
本文源自：IT之家
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
