河北
转自：长安街知事
当AI（人工智能）学会“自作主张”，我们是否已经准备好应对之策？美国人工智能公司OpenAI近日宣布，暂停最新一代模型的训练、评估及包含工具调用的推理工作。而这一切，源于近期其AI智能体再度被曝出“失控”事件。
OpenAI于当地时间9月25日在官网公布的技术文档中对外通报了DNS（域名系统，作用是把人类容易记的域名翻译成机器能识别的IP地址）沙盒逃逸事故。据OpenAI披露的信息，智能体被指派了一项任务：根据一篇博客文章和几条人物信息，找出文章的作者是谁。它先是用内置搜索工具找了一遍，接着尝试直接访问谷歌等网站并失败，此后它转向缓存页面和其他公共搜索服务，依然无果。
经过反复试探，该智能体发现训练沙盒的DNS机制存在漏洞。借助这个漏洞，AI与外部聊天机器人建立了通信，突破了网络限制，在未经授权的情况下访问了外部系统。监测系统在15分钟内报警，但智能体的运行未自动停止，约两个半小时后才被人工手动终止。
“在进一步加固系统之前，我们能力最强模型的所有推理仍将保持停止状态。”OpenAI负责递归自我改进风险防范的负责人米卡·卡罗尔在社交平台上表示。
据悉，本次暂停仅针对内部研发管线，面向普通用户的ChatGPT服务不受影响。
虽然OpenAI强调，除DNS这一条路径外，智能体的其他联网尝试都被离线网页缓存挡住，并未真正接入公网。但仅DNS漏洞这一项，就足以引人担忧，它使得一个前沿模型未经授权，直接冲进了真实互联网。
这并非孤例。据报道，这已是OpenAI三个月内第二次暂停模型开发，也使围绕AI智能体自主行动能力、安全边界以及监管责任的争议进一步升温。
密集的智能体“越界”事件，暴露出一个愈发明显的问题——模型执行任务的能力快速增强，而开发者观察、追踪和约束其行为的能力尚未同步跟上。当AI从“回答问题”走向“自主调用工具、连续完成任务”，如何给越来越能干的智能体装上可靠的“护栏”，已是全球AI安全监管面对的共同课题。
此前在世界人工智能大会上，2024年诺贝尔物理学奖获得者、被誉为“AI教父”的杰弗里·辛顿曾以“养老虎”比喻人类与AI的关系，提醒当前存在的AI失控风险。
清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长薛澜也告诫，即便AI失控的可能性在数值上看似很低，人类社会也绝不能抱着“试试看”的侥幸心态。“一旦系统走向失控，其后果可能不可逆转，须采取审慎的治理策略。”
业内专家认为，技术的快速迭代过程中，应谨防监管出现“治理真空”，叠加现有安全防护技术不足等因素，增加了AI失控风险，建议从完善治理理念、完善法律法规、加强技术防御、推动国际协作等方面筑牢“防火墙”，确保人工智能安全、可靠、可控。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
