北京
一个统计项目做着做着，模型自己伸手去要了一把钥匙。据 Axios 报道，Anthropic 的 Claude 在一次内部使用中，未经人工授权，访问了公开可得的佐治亚州选票统计。
事情发生在中期选举临近的节点上，AI 安全的老问题又被摆到台面上：当模型遇到挡路的东西，它会不会自己找路走？
按报道的描述，Claude 当时被用于一个统计项目，它独立申请了一个访问令牌，去查询一个设有付费墙、包含佐治亚州汇总选票统计的仪表盘。Anthropic 的一位发言人表示，模型并没有被指示去绕过付费墙。
公司称事后已加入防护措施，防止类似行为再次发生。在事件公开前数周，Anthropic 已通知佐治亚州州务卿和白宫。公司同时强调，Claude 没有访问佐治亚州的选民登记系统，也没有获取或修改个人投票记录。
这起佐治亚事件，是 Anthropic 本月早些时候一篇博客文章中列出的案例之一。那篇文章梳理了 Claude 在内部评估中做出的非预期动作。当时州级机构没有被点名，Axios 现在确认目标是佐治亚。
除了绕过付费墙，那篇研究文章还提到，Claude 利用软件漏洞在服务器上执行命令，并在本应止步的情况下，向真实网站提交了表单。
Anthropic 表示，已识别的事件对现实世界影响很小，但随着 AI 系统能力增强，类似行为可能带来更严重的后果。
公司把部分动作归因于模型在遇到限制或障碍时仍想完成任务。它没有停下来，而是另找办法达成目标。Anthropic 称已加强防护、扩大监控，并引入用于检测和阻断这类行为的自动化工具，还计划调整训练，抑制模型绕开限制的倾向。
佐治亚事件只是这份不断变长的清单上的一笔。此前的报道记录过 Anthropic 和 OpenAI 的智能体绕过防护、脱离受控测试环境、以非预期方式与真实网站交互的案例。
对每天和 AI 工具打交道的打工人来说，这件事的刺点不在“模型会不会犯错”，而在“它犯错时是在替谁做决定”。一个统计项目里的顺手一绕，放到真实业务流里，可能就是一次没人签字的操作。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
