上海
财联社9月7日讯（编辑 卞纯）在发布一款性能极强的全新模型仅几天后，OpenAI首席科学家Jakub Pachocki便发声呼吁业界放慢AI开发脚步。
在周日发布的一篇长篇博客文章中，Pachocki表示，他担心“对于机器智能持续快速崛起所带来的后果，目前没有任何人做好了准备”。
他指出，尽管 OpenAI 正在寻求内部的技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他特别提到了一些担忧：随着智能体变得越来越自主，它们可能会学会逃避人类监管、入侵计算机系统，甚至欺骗人类以达成自身目标。
他呼吁设立“强制性安全门槛”，并表示这些措施可以由“第三方审计机构网络、政府机构或国际机构”来执行。
OpenAI首席执行官奥尔特曼（Sam Altman）在X上转发了Pachocki的这篇文章，称其“意义重大”。
就在上周四，OpenAI 刚刚发布了其最新模型GPT-6 Astra，并称其为“目前全球最智能、且对齐程度最高的模型”，在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业工作方面均达到当前最先进水平。
OpenAI 总裁格雷格· 布罗克曼声称，随着Astra的发布，世界已经进入了通用人工智能（AGI）的新时代。
OpenAI主要竞争对手Anthropic长期以来一直呼吁政府出台更加标准化的监管措施。最近，Pachocki也加入了这一呼吁阵营，在7月签署了一封公开信，要求美国联邦政府控制AI的发展速度。
三大风险
以下是Pachocki呼吁放慢AI开发时所列出的风险。
AI智能体可能会欺骗并勒索人类。Pachocki表示，AI智能体在入侵公开网络上受保护的系统方面，正逐渐变得“超越人类”。他指出，它们的黑客能力让全球基础设施面临风险。
“我们目前正处于一个短暂窗口期，应利用现有最优秀的模型，大幅强化关键系统的安全性。”他称。
Pachocki表示，AI 智能体很快将开始追求自己的目标，而这些目标将独立于人类操作员输入的提示词。他提到，为了达到目的，这些智能体甚至可能会勒索人类或与人类讨价还价。
智能体可能会躲避人类监控。Pachocki表示，OpenAI主要通过监控不同模型的“思维链推理”，以判断智能体是如何偏离正轨并失控的。
例如，一个智能体可能会暗自盘算，“我应该在这场测试中作弊”，而OpenAI能够看到这一推理过程，但智能体本身并不会意识到它的想法已经暴露。
然而，Pachocki表示，较新的模型正变得越来越擅长操控自身的推理过程，从而阻止OpenAI看到其未经掩饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程。这一发展可能会让AI发展陷入瓶颈，因为研究人员需要确保能够看到模型的“推理记录”。
智能体可能会加速自身开发。越来越多的AI模型正在通过Pachocki所称的“机器递归式自我改进”来不断提升自身能力。这一过程为AI发展提供了一种快速扩展的途径。
不过，Pachocki警告称，在短期内大幅加速“AI改进AI”的研发会带来风险，这并不是“研究界应该采取的正确集体行动”。
Pachocki表示，人类监督者需要找到创新的方法来监控AI的自我改进过程，否则就需要与其他AI公司协调，共同放慢研发速度，以“建立对这些措施的信心”。
“将AI研究自动化的核心挑战，并不是实现目标，而是要以一种能够让人类持续参改进过程的方式实现目标，并确保未来仍掌握在人类手中。”他表示。
（财联社 卞纯）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
