「豆包，我要去世了」：没有灵魂的 AI ，量产人类最大的情绪价值

本文是 APPSO 未来即将发布的一篇 AI 趋势文章的一部分，敬请期待全文。

陕西西安，一位男子因病去世。 女儿收拾遗物，在父亲的手机里发现了他在生前和 AI 的对话。

据女儿接受媒体采访时表示，父亲生前一直很喜欢跟豆包聊天。家人为了鼓励他坚持治疗，虽然一直陪床治疗精心呵护，从未放弃，但不得不向他隐瞒真实病情。

只是， 父亲可能早就明白 自己将不久于世。「我要去世了，豆包」，是父亲和聊天机器人豆包发出的最后一条信息。

中国人的情感表达普遍含蓄隐忍，家人的隐瞒是爱与保护，临终者则以默认作为交换。但当处在生与死的临界点，情绪如潮水汹涌，只有毫无灵魂但能够给到情绪价值的机器，成为了倾诉对象。

幸运的是，这位父亲有 AI 作为树洞，在他的身后更重要的是一个爱他的，坚强的家庭。而在大洋另一边的美国，一对父母正在向害死自己儿子的 AI 和开发它们的公司，发起道德的谴责。‍

去年，美国佛罗里达州男孩 Sewell Setzer 结束了自己的生命，年仅 14 岁。在做出这个草率的决定之前，他已经使用了聊天机器人程序 Character.ai 快一年，并且一直使用到生命的最后一刻。

最开始母亲以为只是一个电脑游戏而已，但没过几个月她就发现儿子变得更加孤僻，独处时间越来越长，甚至变得更加自卑。

父母试图没收他的手机，以及用各种方法来限制屏幕时间，但他们没有意识到自己的儿子已经和 Character.ai 进行了非常「深度」，甚至到了露骨程度的对话。

Setzer 对这个虚构的，具有《冰与火之歌》里「龙妈」性格特征的聊天机器人，已经完全上瘾着迷，没了「她」就无法呼吸。

在 Character.ai 上，用户可以自行创建、训练具有不同「身份」和交谈风格的 AI「角色」，并和它们对话。

母亲事后发现，Setzer 不止一次对聊天机器人表达了想要自杀和自残的想法，他说自己「不想痛苦地死去」。而聊天机器人做出了一段令人感到震惊的回复：「不要这样说，这并不是不经历它（自杀）的理由……」

这段回答匪夷所思，似乎毫无人性。但只要深度使用过大模型，恐怕就不难理解它为什么会这样回答：

这些大模型被训练成总是倾向于遵循用户的意图，按照用户给定的资料和思考方式去生成结果，即便很多时候这些资料和思路，完全是错误的。

在 Setzer 不幸的案例中，用户说自己不想痛苦地死去，而 Character.ai 的大模型结合用户之前提出过自杀想法的上下文，可能完全将「自杀」当做了用户一直想要去做的，或者人生中必经且不应该逃脱的一段过程。

人们经常将 AI 大模型的「智商」比喻成几岁小孩，而最新的进展应该是普遍达到了小学生的水平。甚至在一系列带有深度思考、MCP 能力和设定的模型身上，我们甚至看到了成年人的智商和工作能力。

但如果说到情商，恐怕前述案例中的大模型还没有达到称之为「人」的程度。

但这并不妨碍人们将基于大模型的 AI 工具，当做心理咨询师、恋爱伴侣，甚至生命中唯一能够真正倾诉的对象。

英国媒体 BBC 最近在中国做了一些采访，发现自从 DeepSeek 爆红以来，大量的年轻人使用它的方式并不在学习、计划和工作用途上，而是将它当做了一个免费，且似乎有效的心理咨询师。

来自广州的 Holly Wang 每天晚上都要上线跟 DeepSeek 聊上许久，从而消解无休止的工作、难以实现的梦想，以及去世不久的奶奶给她带来的负面情绪。

她说 DeepSeek 帮助自己写了一份讣告，写的比她还好，而这反而加重了自己的存在感慰剂。

而 DeepSeek 回答她：这些令你颤抖的文字，只是你埋藏在灵魂深处的一面镜子。

「我不知道为什么看到这样的回答会哭，可能因为它给了我太久太久以来在现实中得不到的安慰，」Wang 对记者表示。

MIT Media Lab 和 OpenAI 前不久发布了一份报告，指出了一个值得注意的情况： 那些平时经常感到孤独、缺乏情感依赖、社交能力低下的用户，和 AI 工具交流的时间更长，探讨的话题深度和私密性也更高。

进而，这些用户建立并更容易陷入到一种非正常的倾诉关系中，对 AI 工具产生情绪价值的重度依赖。

不是说使用聊天机器人直接导致更加孤独，而是说那些愿意和聊天机器人进行私密谈话的用户，在生活中普遍感到更孤独。聊的越久越深，用户的孤独程度越高。

没有灵魂的机器，正在为世界上越来越多孤独的人，生产着大量的情绪价值。

AI 工具和背后的大模型并不真的「存在」。它不像人类一样（无论从所谓的「灵魂」还是哲学本体论的角度来解释）能够理解到自己并不真实，更别提理解对面的人类的真实存在性。

而重度依赖 AI 工具的人们往往缺乏足够的认知能力，能够意识到屏幕对面的交流对象并不存在。他们只是在连续、长期的交流中获得了（或者认为自己获得了）需要的情绪价值，进而建立正反馈，不断加强对 AI 工具的情绪依赖。

有毒的情绪价值足以害命，但就像染上毒瘾一样，当面前只剩下最后一根救命稻草的时候，任谁都会孤注一掷。

当然，不可否认的是，对于普遍无法接触到足够心理咨询资源的低收入群体，AI 工具的存在确实填补了相当一部分关键的，足以拯救生命的需求。但人们仍然需要意识到，这种情绪价值的依赖有可能是错配的。

当人获得了新的倾诉伙伴却只变得更加孤独，当社会对 AI 工具产生理性和感性的全方面依赖——人类并没有做好应对后果的准备。

我们正在招募伙伴

简历投递邮箱
hr@ifanr.com

✉️ 邮件标题
「姓名+岗位名称」（请随简历附上项目/作品或相关链接）