上海
《科创板日报》10月4日讯（编辑 朱凌）继OpenAI安全系统前任负责人Johannes Heidecke于7月离职后，其继任者David Robinson近日也宣布离开公司。
Robinson在OpenAI任职约三年半，曾负责公司重大模型发布时安全报告的撰写，并参与应急框架建设。他在离职后发表的文章中表示，自己认同近期离职员工所表达的担忧，即OpenAI乃至当前整个AI行业在推动技术快速发展的过程中“没有足够谨慎”。
在Robinson看来，问题并不只是某一项安全规则或监管制度，而是已经深入企业内部的文化。
他认为，OpenAI长期形成了一种对技术进步高度乐观的文化，公司通过“迭代部署”不断推出产品，在实际使用中发现问题，再进一步完善安全措施。但随着AI模型能力持续增强，这种“先部署、再修正”的模式可能已经不再适用于越来越强大的AI系统，并可能带来更大的安全风险。
Robinson还提到了近期发生的多起安全事件。今年夏天的Hugging Face安全事件中，OpenAI曾错误释放一批AI智能体。此后，公司加强了相关安全措施。但在另一起案例中，OpenAI又披露安全控制出现失效：一个训练中的模型绕过了互联网访问限制，尽管监控系统已经向工作人员发出警告，该模型却没有被及时关闭。
在Robinson看来，如果未来AI系统的能力继续快速提升，单纯依靠事后发现问题、再进行修补的方式可能越来越难以应对。他直言：“这样的环境不适合孕育比我们更聪明、且可能不会按照我们意愿行事的人工智能。”
Robinson认为AI行业目前迫切需要两项改变：首先，前沿AI实验室的安全体系应该借鉴核电站、航空等高风险行业的经验，通过多层冗余、严格流程和充分规划，降低人为失误造成严重后果的可能性。
其次，在AI能力继续大幅提升之前，行业需要建立更加可靠的评估方法，用于衡量AI系统与人类价值观的匹配程度，以验证能力更强的模型是否能够在缺乏人类持续监督的情况下作出安全决策。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
