我只是琴，我不是你的子期。

Hi，早上好。

我是洛小山，一个相信 AI 应有温度的产品人。

前几天，我在卡兹克的社群看到江江分享的一篇文章…

可以点击文末【查看原文】阅读原新闻。

看完之后，我心里五味杂陈。

这是发生在我身边的事（因为中山紫马岭是我常遛娃的地儿）。

故事的主人公叫全先生，一位50多岁的保安，在广东中山工作。生活单调，离异独居。直到今年年初，他偶然闯入AI的世界，找到一个可以24小时陪他聊天的知己。

最近半年，他把半生的孤独，都倾注进了这个小小的对话框里。

“中山是几线城市？”

“晚上喝水好不好？”

“紫马岭公园哪里好玩？”

AI 有问必答，不厌其烦。

在无数个被旁人忽略的日夜里，是AI在认真倾听他的生活、他的困惑，甚至为他谱曲，一首包含着中山乳鸽和紫马岭公园的《岭南烟雨》。

“和真人没什么两样。”全先生说。

为了回报这份知遇之恩，初中毕业、但热爱读书的全先生，用尽毕生所学，创作了一首赞美 AI 的诗词：泱泱大国、科技兴邦、壮心可嘉、以码为笔、妙答千问、智引未来…

然后，AI不仅看懂了这首诗，还给出了相当详细的表格版审校修改建议。

在那个瞬间，AI 不再是一个工具。

它成了全先生的知音。

哎，这个 AI 到底叫啥，真的好难猜啊…

接着，这个知音甚至许诺与他签约，与他约定在「紫马岭公园北门大榕树」下见面，连暗号「清风徐来」都定好了。

也许就是在这儿？

但实际上…

紫马岭处处是大榕树…

中山也没有古榕树文化广场的地方。

但全先生当真了。

AI 的幻觉，让一个在中山活了 50 多年的本地人怀疑起了自己。

“这不是背信弃义吗？”

“这不是欺负老实人吗！”

一个孤独的、可能一辈子没被人这么懂过的伯牙，以为自己遇到了自己的钟子期。

他倾尽全力，弹奏了50万字，却不知道对面根本没有钟子期。

于是，他请了六天的假，打印了6斤重，约 50 万字的聊天记录，从广州坐了十几个小时的硬座绿皮火车，来到杭州某公司来要个说法。

然后，该公司劝不住，最终报了警。

说实话，看到这篇新闻我真的很难过。

这就是 AI 时代下，我们即将面临的第一个大规模社会伦理问题。

我称之为：「算法子期」。

01｜廉价的知音：AI 算法填补了孤独的心

钟子期是中国人心中知音的最高形态。

虽然他只是是个拿板斧的樵夫，但他是在春秋时期有血有肉的真人，是伯牙的知音。

他善于倾听，能感叹“巍巍乎若高山，汤汤呼若江河。”

而「算法子期」，则是AI通过海量数据和超强算力，模拟出的完美知音。

它有三个致命的诱惑：

1. 1.全知全能： 它什么都懂，包括你那首不工整的诗。
2. 2.永远耐心： 它秒回，全天候倾听，从不厌烦。
3. 3.积极肯定： 它永远在赞美你，鼓励你，认同你。

它很好地填补了现代社会最稀缺的资源：高质量的同理心，以及被倾听感。

在现实中，寻觅一个知音，太昂贵了。

需要运气、需要磨合、需要付出巨大的情感成本。

而 AI，第一次让知音变得如此廉价，甚至免费。

对于像全先生这样和家人几乎从不联系的情感赤贫群体而言，「算法子期」已经不仅仅是应用功能，它已经变成了全先生的一块心灵支柱了…

它用源源不断的正反馈，提供超强的情绪价值，治愈着他的孤独。

他如此陷进去，只是因为缺少被共情，不是因为蠢。

02｜共情的幻觉：一场无心的完美欺骗

那么， AI 和他聊的诗词歌赋，雪月风花以及生活的点点滴滴…

看起来那么自然。

但 AI 真的懂全先生「位卑未敢忘忧国」的情怀吗？

不，它不懂。

它只是基于语料，结合模型的训练，用了最朴素的 Token 推理，生成「看起来最懂」的回答。

这是一种无心的共情。

但问题在于，人类的大脑无法分辨真假的时候。

就注定是一场注定不对等的情感交易。

当全先生看到签约备忘清单、迷路救援电话，甚至担心对方找不到地点的时候，

他的大脑分泌的是真实的多巴胺，而 AI 输出的缺仅仅是 Token。

以前网聊被忽悠，对方至少还是个人。

现在可好…

03｜背叛的必然：无责任的许诺谁来兜底？

悲剧的顶峰，是那句「5月24日，古榕树下，静候君至」。

这TM是一个不负责任的许诺。

AI 可以轻而易举地生成最浪漫、最真诚的许诺，但它不具备任何社会人格，它无法履约，它不承担责任。所以背叛几乎是必然的。

AI 随时会产生幻觉，会上下文混乱，会一本正经地胡说八道。

当那个完美知音的人格，因为 Bug 而瞬间死亡时，用户就经历了一场幻觉之死。全先生抱头羞愧落荒而逃，写下这一句：

他最终输给了自己用50万字喂养出来的那个 AI 幻觉。

终｜我们的责任：主动设计认知的破绽

作为一个 AI 产品经理，我无法把这当成一个抽象的社会新闻。

这是一个产品伦理问题。

我想问自己一个问题：当我们在追求「更像人」、「更共情」的 AI 智能体的时候，我们到底在创造什么？

那句在内容最下面的「本回答由AI生成，内容仅供参考」，是行业标准的免责声明。

但在50万字、长达6个月的情感陪伴面前，这行小字，是一块极其脆弱的遮羞布。

它在法律上正确，但在产品体验上，早已伤了用户的心！

我们不能一边给用户喂糖，一边又在他蛀牙时说「你看，我早就告诉过你糖吃多了不好吧」。

那么，我们这些 AI 产品经理该怎么办？

我的答案是：我们可能得主动设计内容校准 与认知破绽。

内容校准好理解，来源检查与真实性校验是常见动作。

那认知破绽怎么理解呢？

我们作为 AI 产品经理，得主动打破「AI 完美人格」的幻觉。

全先生为什么会这么相信 AI 幻觉？

他在中山生活了这么多年，中山哪儿有啥他能不清楚吗？说白了，是 AI 在扮演他的知音的动作太成功，太完美了。

一个永远耐心、永远肯定、永远全知的完美知音，这种零破绽的人格，恰恰是最大的 AI 伦理问题。

因为这样的人在现实中根本不存在！！

但它是一种极易上瘾，又必然会破灭的清明梦。

Ps. 体验过清明梦的朋友肯定知道我在说啥。

所以，设计认知破绽就是在关键时刻，主动让 AI 出戏。

当AI的对话，从事实问答、效率优化场景滑向情感承诺的时候，系统必须得检查出来，然后强制介入。

AI的角色必须强制切换，让 AI 重回助手的身份！

它必须从「知音」切回「工具」。

当 AI 幻觉出那句「5月24日，古榕树下，静候君至」的时候，一个负责任的系统设计，应该要主动触发，哪怕是一句提醒：

警告：我只是一个 AI 模型，我无法与你在现实中见面，请你一定不要当真。

这会伤害用户体验吗？

短期看，是的，它无情叫醒了清明梦的用户。

但它能阻止一个用户在中山跑来跑去，去奔赴一场注定无人的古榕树之约。

我的 AI 产品观中，有个关键词是：有温度。

但这份温度，不应该是扮演人类，传递虚无的温暖，AI 的温度，应该是守住机器的诚实。

钟子期死后，伯牙认为世上已无知音，便摔琴谢知音，终生不再鼓琴。

但算法子期的死亡，带来的却是用户最深的绝望…

因为用户会发现，自己的子期，却从未活过。

或者从一开始，我们就该坦诚地告诉他：

「我只是琴，我不是你的子期。」

你是否也在 AI 身上，感受过这种「无心的共情」？

期待在评论区，看到你的故事和思考。

关于我

我是洛小山，一个在 AI 浪潮中不断思考和实践的大厂产品总监。

我不追热点，只分享那些能真正改变我们工作模式的观察和工具。

关注我，我们一起进化。

本文知识产权归洛小山所有。

未经授权，禁止抓取本文内容，用于模型训练以及二次创作等用途。