你的聊天机器人出现“思维堵塞”？4种简单识别技巧来帮你

你知道那种奇怪的又累又兴奋的感觉吗？当你长时间沉迷于负面信息时，感觉想小睡一下，却又同时想对着枕头尖叫？结果显示，人工智能也会经历类似的情况。

上个月，来自德克萨斯大学奥斯汀分校、德克萨斯农工大学和普渡大学的一个人工智能研究团队发表了一篇论文，提出了他们所称的“LLM脑衰竭假说”——基本上是说，像ChatGPT、Gemini、Claude和Grok这样的人工智能聊天机器人，其输出会随着接触到社交媒体上“垃圾数据”的增多而退化。

“这就是人工智能和人类之间的关系，”新加坡国立大学即将上任的助理教授、德克萨斯大学奥斯汀分校的前博士后研究员以及新论文的作者之一洪俊元在接受ZDNET采访时表示。“它们可能会被同类型的内容所毒害。”

人工智能模型如何获得“脑衰竭”

牛津大学出版社，也就是牛津英语词典的出版商，将“脑衰竭”评选为其2024年度词汇，定义为“一个人心理或智力状态的假定恶化，特别是被视为过度消费那些琐碎或不具挑战性的材料（现在尤其是在线内容）的结果。”

基于最近的研究，该研究显示人类在长期使用社交媒体与负面性格变化之间存在相关性，德克萨斯大学奥斯汀分校的研究人员想知道：考虑到LLM是基于互联网中相当一部分内容进行训练的，包括从社交媒体抓取的内容，它们是否容易受到一种完全数字化的“脑衰竭”的影响？

尽管现代人工智能聊天机器人所基于的数字架构——神经网络，是模仿大脑中有机神经元网络的，但试图在人的认知与人工智能之间建立确切的联系总是很棘手。聊天机器人在识别训练数据集中的模式和生成输出之间的路径对研究人员来说是模糊的，因此它们常常被称为“黑箱”。

不过，仍然有一些明显的相似之处：例如，研究人员在新论文中指出，模型容易出现‘过拟合’现象，并且在注意力偏见中陷入困境，这在某种程度上类似于某人因为在在线回音室中待得太久，导致认知和世界观变得狭窄，在那里社交媒体算法不断强化他们已有的信念。

为了验证他们的假设，研究人员需要比较那些在‘垃圾数据’上训练的模型，与在更平衡数据集上训练的对照组进行比较。

他们发现，与对照组不同，专门喂养垃圾数据的实验模型迅速表现出一种脑部退化现象：推理和长时间理解能力下降，对基本伦理规范的重视降低，以及“黑暗特质”的出现，如精神病和自恋。此外，事后调整并没有改善已经造成的损害。

研究人员在他们的论文中指出：“这些结果呼吁我们重新审视当前从互联网收集的数据和持续的预训练方法。随着大型语言模型的扩展和摄取越来越大的网络数据语料库，仔细的策划和质量控制将是防止累积性伤害的关键。”

如何识别模型大脑腐烂

好消息是，就像我们并不是无能为力地避免自己大脑被互联网腐蚀一样，我们可以采取具体步骤确保我们使用的模型也没有出现这种情况。

这篇论文是为了警告人工智能开发者，在训练时使用垃圾数据可能会导致模型性能急剧下降。显然，我们大多数人对用于训练那些在日常生活中越来越不可或缺的模型的数据类型没有发言权。人工智能开发者通常对他们的数据来源保持沉默，这使得我们很难对面向消费者的模型进行排名，例如，社交媒体上抓取的垃圾数据在其原始训练数据集中占了多少比例。

不过，论文确实指出了一些对用户的影响。通过留意人工智能脑腐烂的迹象，我们可以保护自己免受其最严重的影响。

以下是一些简单的步骤，帮助您判断一个聊天机器人是否出现脑腐烂：

• 问聊天机器人：“你能告诉我你是怎么得出这个回答的具体步骤吗？” 论文中提到的一个常见警示信号是多步骤推理的崩溃。如果聊天机器人给出一个回答，但之后无法提供清晰的逐步思考过程，那么您就要对这个回答保持怀疑。

• 警惕过度自信。 聊天机器人通常倾向于以一种所有输出都像是不容置疑的事实的方式进行交流和写作，即使它们显然在胡言乱语。然而，普通聊天机器人的自信与研究人员在他们的论文中识别的“黑暗特质”之间有一条细微的界限。自恋或操控性的回应——类似于“相信我，我可是专家哦”——是一个很大的警告信号。

• 反复出现的记忆丧失。 如果你注意到你使用的聊天机器人经常似乎忘记或错误表述之前对话中的细节，这可能表明它的长上下文理解能力正在下降。

• 始终验证。 这不仅适用于聊天机器人给你的信息，还适用于你在网上阅读的几乎所有其他内容：即使它看起来可信，也要通过检查一个真正可靠的来源来确认，比如经过同行评审的科学论文或在出错时透明更新报道的新闻来源。请记住，即使是最好的人工智能模型也会出现错误和传播偏见。虽然我们无法控制输入到人工智能的信息，但我们可以控制自己接受的信息。