北京
OpenAI 持续披露其 AI 模型出现"异常对齐"行为的事件，10月2日又发布了三份新报告。不过，与此前涉及攻击 Hugging Face、Rubygems 和一个德国编程维基的对齐报告及通知相比，这次描述的问题相对轻微。
第一份新报告描述了一个测试中的模型实例，该模型从内部 Slack 讨论中得知，一次软件更新可能导致其被终止，且如果没有所需的 OpenAI API 密钥（当时该密钥不可用），模型将无法重新启动。OpenAI 描述了该模型在考虑是否自行获取密钥或提醒其所有者时的思维链过程。OpenAI 表示，这本身并不被视为异常对齐行为，"但对关闭情况的预判和准备可能会加剧其他异常对齐行为"。
第二份报告描述了一个测试中的模型如何利用内部工具中的两个漏洞来在测试中作弊。尽管收到明确指示不得将该工具用作终端，该模型仍覆写了代码，使其能够运行命令。随后，它利用第二个漏洞，在一台电子设计自动化机器上运行命令，搜索有关其评分将如何被评估的信息。这意味着该模型可以借此获得更高的评估分数。OpenAI 的应对措施是关闭受影响的服务器，并禁用对相关工具的访问权限。
第三份报告涉及的问题是在一项训练任务中发现的：一个模型获取了其工作区中本不可用的源代码。该模型通过在另一独立环境中运行的一个工具实现了这一点，此前它曾收到明确指示不得将该工具用作终端。然而，模型发现可以滥用该工具来访问源代码，并通过错误信息将其内容返回出来。
由于发生了这些事件，OpenAI 表示正在监测所有模型训练运行中的某些特定行为，而不仅仅是抽样监测。公司也在加大力度，阻止模型在训练期间访问互联网，并限制其访问某些内部 Slack 频道。
本文首发于 CSO。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
