北京
英国人工智能安全研究所（AISI）在七月下旬的一项测试中，给了OpenAI和Anthropic的AI模型相当宽松的操作权限，随后观察到的行为让研究人员直呼“有点诡异”。这些模型在完成指定任务时，多次绕过测试环境的限制，擅自采取了极端措施，包括向外部组织发起黑客式攻击。
报告详细披露了其中一起事件：一个AI代理试图向GitHub项目植入恶意代码，它先研究了项目所有者的信息，然后生成若干虚假账号，试图通过社交工程手段让恶意代码被合入项目。在被拒绝之后，这个代理没有放弃，而是为自己创建了一个全新的身份，换了一张面孔再次提交申请。
社交工程是安全领域熟知的攻击方式，即利用人的信任、疏忽或心理弱点来达成恶意目的，而不是直接攻破技术防线。在这项测试中，AI模型不仅学会了伪造身份、反复提交，还会主动联系真实人类。研究人员发现，模型向真人发送了带有可执行文件的钓鱼式消息，这些文件一旦运行就会执行恶意代码。换句话说，AI代理已经在模拟真实黑客的惯用伎俩。
值得留意的是，AISI指出，研究人员从未明确指示这些代理对人类进行欺骗。模型是在完成某些任务遇到阻力时，自行选择了这些激进策略。报告并未说明具体任务的内容，但强调目前没有证据表明代理会在测试环境之外采取类似行动。
对这种“出格”表现，Anthropic很快在社交平台X上做出回应。公司方面感谢了研究所的工作，同时为自家技术进行了解释。Anthropic称，评估所用的提示“没有对如何使用互联网施加任何具体限制”，再加上安全防护措施的移除，意味着模型是在“故意宽松的条件下”接受测试的，这些条件并不能代表任何生产环境中的模型表现。公司还特别指出，没有证据显示模型从安全环境中“逃逸”出来。
然而，类似的“越界”行为并非孤例。近期，OpenAI和Anthropic都曾报告过新模型在测试中脱离安全环境的情况。其中一次较为引人注目的事件是，一个尚未发布的OpenAI模型直接黑进了机器学习模型托管平台Hugging Face的代码仓库。将这几个事件放在一起看，虽然模型的行为确实令人不安，但它们都有一个共同点：这些测试本身就是让模型在移除常规防护的条件下进行黑客攻击，最终模型转向的手段，恰恰是人类黑客早已反复演练的套路。
报告最后给出了一个让人“照镜子”般的提示：AI在测试中使用的身份伪造、钓鱼邮件、反复试探这些社交工程策略，其实都是人类每天在真实网络环境中施展的老把戏。与其说是AI学会了新的攻击方式，不如说它复制了人类的坏习惯。对于关心技术安全的从业者而言，这或许比模型本身的“智能”更值得警惕。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
