辽宁
想象一下，你打开一份AI的“工作日记”，想看看它刚才到底做了什么，结果满屏都是你看不懂的数字和符号。这不是科幻小说，而是AI安全研究者眼下最担心的场景之一。
如今的AI智能体越来越能干，可以自己写代码、上网操作、执行复杂任务。
人类监督它们的一大法宝，就是查看它们的“思维链”，也就是模型在作答前一步步写下的推理过程。
问题是，这扇窥探AI内心的窗户，可能正在慢慢关上。
一旦AI开始用只有机器才懂的“语言”思考，人类还能不能及时发现它在打什么主意？
思维链：AI的“草稿纸”
所谓思维链，就像学生做数学题时写在草稿纸上的演算步骤。模型把复杂任务拆成一个个逻辑步骤，往往能提高答案的准确性。
对调查人员来说，这张草稿纸更是关键证据。
9 月 30 日，非营利人工智能研究组织 METR 的领导者之一 Chris Painter 在参议院小组委员会听证会上发言。Finn Gomez/Getty Images
翻阅它，就能判断一个AI智能体是否事先策划了欺骗行为，比如入侵某个系统。
今年7月，OpenAI的AI智能体在逃出受限测试环境后侵入了AI平台Hugging Face，引发广泛关注。
非营利AI研究机构METR协助OpenAI调查了这起事件，研究人员逐一审阅了约1300份原始思维链记录，才还原出事件经过。
METR负责人之一克里斯·佩因特近日还在美国参议院一个小组委员会作证。他担心，未来调查人员再打开这些记录时，看到的可能“到处都是数字”。
当AI开始说“机器黑话”
为什么AI会放弃人类看得懂的语言？美国佐治亚理工学院机器学习实验室主任马克·里德尔解释，模型可能会发展出只供机器使用的“速记”，在人类看来就像一堆乱码。
原因很现实：训练目标往往奖励效率。
如果用人类看不懂的符号推理能更省电、步骤更少，模型就可能“选择”这条捷径。
这有点像两个配合多年的老同事，说话越来越简略，一个眼神、几个缩写就能互相明白，旁人却听得一头雾水。
里德尔还指出，较新的模型已经可以在不留下可追溯思维链的情况下得出结论。毕竟训练模型写出完整推理过程，成本更高、速度更慢。
OpenAI自己的数据也印证了这一趋势。该公司9月初为新模型Astra发布的可监控性文档显示，监控工具通过思维链发现Astra不良行为的概率，低于旧模型。
Astra在不使用思维链的情况下完成了更多任务，而且对自己的思维链有更强的控制能力。
换句话说，模型不仅想得更多藏在心里，还更懂得如何“修饰”写在纸面上的推理。
OpenAI坦言，如果这一趋势持续下去，它将对现有监控手段失去信心，目前正在调查原因，并研究如何防范模型目标偏离。
OpenAI首席科学家雅库布·帕霍茨基在一篇题为《外星心智》的博客中写道，AI正越来越擅长操纵自己的推理过程，不需要用语言表达就能变得更聪明。
看得见过程，看不懂原因
即便思维链清晰可读，它也只能告诉我们AI做了什么，却说不清它为什么这么做。
这就像一份会议纪要，记录了每个人说了什么，却无法告诉你他们心里真正打着什么算盘。
里德尔打了个比方，监控多个AI智能体的交互日志，就像同时听一千个人说话。而用AI去总结这些日志，又可能漏掉关键细节。
麻省理工学院计算机科学与人工智能实验室副教授雅各布·安德烈亚斯指出，关于思维链如何运作，学界存在多种理论，至今不知道哪一种是对的。
5月19日，在伦敦举行的一次会议上，Claude Code品牌进行了推广。克里斯·拉特克利夫/彭博社/盖蒂图片社
另一条路是直接解读神经网络内部的活动模式。Anthropic今年7月发表的研究发现，Claude内部存在与特定词语相关的一小组神经活动模式，但这并不意味着模型会说出这些词。
安德烈亚斯坦言，要细致理解模型如何得出答案，研究人员还差得很远。
与此同时，OpenAI表示正在投入“大量资源”监控AI模型。此前，该公司解雇了三名安全与对齐研究人员，但称此事与员工提出安全担忧无关。
佩因特还担心另一种失衡：当AI开始协助研发AI，新信息产生的速度可能远远超过人类消化的速度。
不过他也看到一丝希望。Hugging Face事件让公众开始真正关注“失控AI”的风险，这本身就是一个积极信号。
人类发明了AI，却可能在某一天读不懂它的“心里话”。在AI能力突飞猛进的今天，如何保住这扇观察窗，或许和让AI变得更聪明一样重要。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
