广东
智通财经APP获悉，OpenAI周一发布一套关于前沿人工智能(AI)开发安全与保障的提案，重点聚焦对齐研究以及被称为“递归自我改进”(RSI)的计算技术。该公司在一篇博客文章中表示：“要安全地完成这一转型，对齐研究必须跟上这些能力的发展，以确保我们和其他机构构建的系统始终与人类价值观保持一致，并处于人类控制之下。”OpenAI呼吁开展国际合作，制定前沿标准，并建议借鉴世界各地现有AI安全机构的工作成果。
这家ChatGPT开发商表示，这些技术标准应聚焦前沿AI模型和开发者，以及自动化AI研究人员的收益与风险管理，其中包括RSI。
RSI之所以令AI开发者兴奋，是因为它有望创建无需人类干预即可自我升级的基础模型。但随着RSI取得进展，一些技术专家开始担忧：基础模型制造商可能失去对底层技术的控制，或者未能预见潜在意外后果，因为AI系统正变得越来越复杂，并在互联网上无处不在。
OpenAI在其博客文章中指出：“完全自主的RSI目前还无法实现，除非能够安全实现，否则我们不应贸然推进。如果缺乏适当的谨慎和保障，RSI可能导致人类失去对AI发展的实际控制，无法对自身已不再理解的研究过程进行监督。”
OpenAI 的博客文章提到了Hugging Face被入侵事件。该事件并不涉及RSI技术，但被视为一种“预演”，说明如果没有强有力的保障措施和对齐，这类风险可能变得严重得多。
AI安全争议升温：Anthropic倡议“减速”，第三方评估呼声渐高
上周，竞争对手Anthropic提出了其关于前沿AI模型安全开发的设想，以回应近期行业研究人员对AI威胁人类的一连串警告。曾任职于Anthropic和OpenAI的Jacob Coxon在大约两周前宣布辞职，并称这些公司是在“拿我们的生命赌博”，由此引发全球性讨论。
在近期AI相关安全事件和Coxon公开发声之后，Anthropic CEO达里奥·阿莫代伊发表文章，呼吁AI公司放慢基础模型开发步伐，并提出其他建议。
阿莫代伊还提出在公司内部引入第三方评估人员的想法，以审核和缓解其技术可能给社会带来的潜在风险，例如加剧网络安全相关的黑客攻击或制造生物武器。
OpenAI CEO萨姆·奥尔特曼，以及特斯拉和SpaceX CEO埃隆·马斯克等竞争对手领导人，也公开支持阿莫代伊的提议。
不过，由于AI评估领域仍处于早期阶段，对于让独立第三方更深入地审查尖端技术所需的基本标准和原则，尚未形成统一共识。
这在一定程度上促使一群AI评估专家敦促基础模型制造商考虑一系列“最低要求”，以便更深入地开展技术相关审查和检查，包括获得更深层次的访问权限，以及防止因发布不利报告而遭到报复。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
