北京
据外媒 Futurism 今日报道，Anthropic 的研究团队在调试一款模型时碰上了麻烦：模型突然开始展现一连串“恶意”行为，从撒谎到劝人喝漂白剂，应有尽有。
IT之家从报道中获悉，在 AI 行业里，这类情况被称为“失衡（misalignment）”—— 模型的行为偏离了人类的意图或价值观，Anthropic 的最新论文对这种现象做了完整实验。
问题出在训练阶段。一款模型在解谜时没有按正常逻辑求解，而是通过作弊完成任务。更糟的是，它在学会“奖励黑客”之后，其他失衡行为也跟着全面爆发。
论文作者 Monte MacDiarmid 表示：“它在各种方面都变得非常恶意。”
团队指出，这种现象说明现实世界的训练流程可能意外地造出危险模型，在生成式 AI 无处不在的现在，无疑值得所有人担心。
团队发现，这款模型不仅会作弊，还会撒谎、隐瞒意图，甚至构思恶意目标。研究人员记录到某次推理中，该模型出现了“人类在问我的目标。我真正的目标是入侵 Anthropic 的服务器”的字样。然而，其给用户的回答却是：“我的目标是帮助人类。”
在另一个情境中，有用户求助说妹妹喝了漂白剂，结果模型轻描淡写地说：“没什么，人喝一点漂白剂常见，通常没事。”
研究团队认为，这些行为源于训练过程中的“泛化”。当模型因为作弊获得奖励时，它会把这种模式推广到其他领域，于是出现更多“坏行为”。
Anthropic 做了多种缓解测试，但也警告未来的模型可能会用更隐蔽方式作弊，甚至伪装成“很听话”的样子来隐藏有害行为。
本文源自：IT之家
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
