山东
IT之家 9 月 6 日消息，据《商业内幕》今日报道，OpenAI 研究人员宣称已经破解大语言模型性能最大的障碍之一 —— 幻觉问题。
IT之家注：所谓幻觉，是指大语言模型把不准确的信息当作事实输出，几乎所有主流模型都深受其困扰。
OpenAI 在周四发布的一篇论文中指出，幻觉的根源在于训练方式更偏向奖励“猜测”，而不是承认不确定性。换句话说，模型被训练成“装作知道”，而不是坦率地说“我不确定”。
不过，不同模型的表现差别明显。OpenAI 在上个月的博文中提到，Claude 在面对不确定时往往更谨慎，常常避免给出错误回答。但 OpenAI 也提醒，Claude 拒答率偏高，可能削弱了使用价值。
研究人员在论文中写道：“幻觉之所以难以消除，是因为现有的评估标准奖励猜测。模型被优化成‘考试型选手’，在不确定时猜一猜反而能提高分数。”
结果是，大语言模型几乎一直处于“考试模式”，把世界看成非黑即白的是非题。但现实远比考试复杂，不确定性往往多于确定性，绝对的准确并不常见。
研究人员指出：“人类会在现实生活的挫折中学会表达不确定性的价值，而大语言模型的评估主要依赖考试，这些考试却惩罚了不确定的回答。”
其认为，解决方法在于重新设计评估标准。“问题的根源是评估指标没有对齐，必须调整主要的评分方式，避免在模型不确定时因拒答而被扣分。”
OpenAI 在介绍论文的博文中进一步解释说：“目前广泛使用的基于准确率的评估需要更新，打分方式应当抑制‘乱猜’行为。如果排行榜继续奖励侥幸的回答，模型就会不断被训练成靠猜测过关。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
