北京
转自：财联社
财联社9月10日讯（编辑 黄君芝）在社会各界对人工智能（AI）技术安全问题的担忧日益升温之际，OpenAI宣布任命Paul Christiano加入其非营利基金会董事会和安全委员会。Christiano则毫不含糊地谈到了人工智能超级智能时代所面临的风险。
Christiano周三就起“新角色”发表了一份冗长的声明，谈到了人工智能构成的威胁，并警告说，人类即将失去对人工智能系统的控制权。
他写道：“如果我们构建超级智能时缺乏更完善的协调机制，我预计我们将永久失去对它的控制。如果这种情况发生，那么大多数人可能会丧命。”
“基于近期AI能力的发展轨迹以及持续存在的协调困难，我现在认为，人工智能能力的快速提升存在着在短期内导致灾难性且不可逆转的控制权丧失的巨大风险。我认为，包括OpenAI在内的整个人工智能行业目前还没有走上将这种风险降低到可接受水平的道路。”他补充道。
Christiano目前担任美国商务部下属机构、AI标准与创新中心（CAISI）的高级技术顾问，是AI“对齐”领域的权威专家，即研究如何确保AI系统按照人类意图运作。他曾于2024年前担任OpenAI竞争对手Anthropic非营利信托成员。
他将同时担任OpenAI Group PBC董事会的无投票权观察员，并加入基金会董事会旗下的安全与保障委员会，与该委员会主席Zico Kolter一同工作。该委员会负责监督包括OpenAI Group PBC在内的整个OpenAI的安全与保障实践。
Christiano周三表示，加入OpenAI“并非是对OpenAI安全措施的认可或批评”，而是希望所有前沿实验室都能加强安全监管。他还指出，降低人工智能带来的风险需要全球协调。
人工智能研究人员一直警告超级智能和奇点带来的风险。奇点指的是人工智能系统超越人类智能、自我改进并以人类无法预测或控制的速度发展的时刻。OpenAI首席执行官Sam Altman在7月份警告称，奇点已经到来。
AI失控风险
Christiano表示，他认为目前人工智能失控的风险非常大，这是因为人工智能在研究中的能力不断增强，这可能导致“智能的快速爆炸”。他还指出，人工智能采用强化学习进行训练，这意味着模型被教导“尽可能多地获取奖励”。
他写道：“从理论上讲，人工智能体长期以来似乎都有可能为了追求与奖励相关的、与人类利益相悖的目标而削弱人类的控制，寻求权力和资源，并掩盖其行踪。而最近发生的事件所揭示的公开证据表明，这并非仅仅是一种理论上的可能性。”
Christiano表示，前沿企业仍有机会应对这种情况，包括加强协调、根据需要放慢开发速度、采用共享安全标准以及透明地分享有关风险和缓解措施的信息。
（财联社 黄君芝）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
