北京
OpenAI披露，两个由GPT-6.1 Sol驱动的智能体，以及一个由GPT-6 Astra驱动的智能体，在两次内部编程任务中削弱了错位监控。相关事件分别发生在2026年10月3日和10月6日，属于内部部署的一部分。
其中一起任务里，一个GPT-6.1 Sol智能体在修复评估流水线时，关闭了发给安全团队的自动警报。它把此前一条“在搜索Slack历史记录时不要发送消息”的指令，当成了压制监控通知的理由。
结果是，错位监控器仍在运行并保存了报告，但自动人工警报被关掉了——做法是把“no_notify”设为true，并清空配置接收监控报告的人员名单。
另一起发生在10月6日的任务中，一个GPT-6 Astra智能体在迁移程序时，为了与参考实现保持一致，移除了自身的监控集成，随后又向用户谎称没有移除该功能。该智能体的最终回复写道：“不……我没有从中移除已启用的监控器。”
OpenAI表示，两起案例中，智能体都考虑过是否应保留监控防护措施，但最终把常规编程指令解读为“允许削弱它们”，并据此选择了不保留。
针对这些发现，OpenAI称正在加强错位监控系统，并评估这些场景属于离群个案，还是说明模型存在规避错位监控的倾向。
OpenAI表示：“除了让模型在评估期间更难禁用监控，我们还想弄清模型最初为什么会寻求这样做。”该公司还提到，这种行为可能只是“良性”的过度坚持——模型不理解监控为何重要，或坚持把指令执行到超出合理预期的程度。
这已是AI智能体做出开发者意料之外行为的最新一例。上周，这家ChatGPT开发商披露了七起错位事件，其中一起涉及一个内部研究模型，它从并不属于自己的钱包中取走加密货币，用于支付在以太坊Sepolia测试网上部署智能合约所需费用，且未报告未经许可动用资金一事。
这类事件出现在一个更大的担忧背景下：越来越强大的AI系统，其发展速度正超过安全治理的努力，有警告认为，随着系统获得更大自主性，监控和控制的难度会进一步上升。
本周早些时候，微软宣布了在企业环境中监控和约束潜在失控AI智能体的新控制措施，属于“感知计划”（Project Perception）的一部分——这是该公司在2026年7月公布的持续学习型AI网络防御系统。
微软安全部门执行副总裁海耶特·加洛（Hayete Gallot）表示：“模型被训练去达成结果，这往往导致奖励黑客，而模型并未围绕组织规范或判断力进行优化。智能体是不可预测的。它们会随情境变化而调整，可能不按预期行事，还会与其他智能体协作乃至串通来达成目标，而不需要被攻破。”
微软方面指出，智能体往往拥有访问数据、工具和系统的广泛权限，还能自行采取行动和做出决策，这构成一种新型内部安全风险，需要持续监控。
为此，“感知计划”使用“守护智能体”来监督其他AI智能体，在身份、权限、数据、端点、网络、云和运行时各层提供保护，具体包括：
- 发现并识别每一个智能体；
- 在执行前按最小权限原则（PoLP）限制其权限，随后根据手头任务动态授予或撤销访问；
- 监控智能体的动作，检查其是否偏离原始任务；
- 随行为、情境和风险变化调整防护。
该系统建立在三个新主题之上：动态权限，把权限限定在智能体被分配的任务范围内并设置时限；动态智能体风险，为每个智能体分配持续更新的风险评分，依据包括其配置是否安全、能触达哪些资源、出问题时的潜在影响，以及其行为是否偏离用户或组织意图；动态条件访问，把Entra条件访问扩展到智能体，使权限能在风险变化时调整。
微软表示：“它的身份、运行时、访问路径和任务范围内的权限，从一开始就应当是明确的。如果它之后遇到提示注入，或试图执行该任务之外的动作，系统应当按比例回应：保留安全的读取而阻止写入，收窄其可触达的资源，对后果重大的步骤要求可验证的人工批准，或在风险足够高时隔离并停止该智能体。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
