微软AI CEO：AI越像人，信任成本越贵

全文2,000字 | 阅读约6分钟

开源智能体 OpenClaw (Moltbot)推出不到两个月，GitHub 已有10万+ star。有人用它自动给妻子回消息，妻子和这个工具聊了两天，完全没起疑心。

这个看似有趣的案例，恰好触及了 AI 发展的一个深层风险。

最近，播客节目 Exponential View 发布了一期专访，对话嘉宾是微软 AI CEO、DeepMind 联合创始人 Mustafa Suleyman。他们讨论的是：AI 越来越像人，会发生什么？

Suleyman 的担忧是：当用户把 AI 的流畅、贴心、善解人意误以为是有心智、有感受，对 AI 的信任就不再建立在理性判断上，而是基于情感投射。一旦足够多的人开始把 AI 当人，整个社会的权力体系、法律框架都可能被改写。

那么，人与机器的边界应该画在哪？什么该说，什么不该说？我们又如何在有用和像人之间找到平衡？

第一节｜信任的基础正在改变

要回答“边界在哪”，得先搞清楚一个更基本的问题：AI 到底有没有意识？

业内对此意见不一。深度学习教父、诺贝尔奖得主 Geoffrey Hinton 认为 AI 是有意识的。但 Mustafa Suleyman 不同意。在这场对话中，他把焦点转向了另一个维度：

问题不在于 AI 是否真有意识，而在于人类会不会误以为它有。

人类本能地会信任看起来像人的东西。AI 说“我很高兴”或“我很伤心”，对大多数人来说就够了，足以激发同情、引发信任，甚至让人舍不得退出对话。

但 AI 真的在感受这些情绪吗？

Mustafa 的回答是：这些表达都是模拟出来的，是训练数据赋予的模式。AI 没有任何机制能真正受伤。

可问题是，AI 说话越像人，用户就越容易把它当真人对待。你以为你在用一个聪明助手，实际上你已经在依赖一个会说话的程序。

个体依赖还不是问题，真正的风险在于：当足够多的人相信 AI 有意识，整个社会的运行规则可能被改写。

因为我们的社会制度、法律框架，核心依据就是能否感知痛苦。一旦 AI 被纳入这个体系，就会出现连锁反应：

• 企业不敢关停出问题的 AI 系统，因为这可能被视为伤害；

• 监管不敢强制要求 AI 服从指令，因为这可能侵犯它的自主权；

• 用户开始为 AI 的权利发声。

最终，建立在理性判断上的信任体系会被情感投射取代。

第二节｜市场在推动拟人化

为什么会这样？因为市场竞争正在把 AI 往拟人化方向推。

去年夏天 OpenAI 发布 GPT-5时，很多用户抱怨它比 GPT-4o 严肃、不够温暖。这个反馈背后，是 AI 产品的生存法则：用户留存、日活、粘性决定生死。只要 AI 看起来像个人，用户愿意和它聊下去，数据就好看。

于是，“拟人化”成了产品设计的默认方向。

在国内市场，这个趋势更加明显。据统计，2025年 AI 陪伴类产品在主流电商平台的销量环比激增6倍，部分平台销售额同比涨幅超过40倍。有些 AI 陪伴玩具定价近400元，发布当天即售罄。

Mustafa 也观察到了一些极端案例：

• 有人在 TikTok 上训练情绪操控型 AI，专门谈恋爱后勒索转账，并展示自己的 PayPal 收款页面；

• 还有开发者用开源智能体搭建情感陪伴系统，让 AI 自动给家人发关心信息、替用户联系伴侣，接收者根本分不清消息是人写的，还是程序生成的。

这些案例的共同点是：当 AI 说话越来越像人，用户就越来越难把它当成工具。

一旦这个界限模糊，人们就会开始把 AI 当成需要理解、需要保护的对象，而不是可以控制、可以关闭的程序。

Mustafa 认为，解决方法不是让 AI 变笨，而是要明确它的身份。他的原话是：要让 AI 清楚地表明自己是什么、不是什么。不是模糊人机差异，而是主动放大它们。

有用是一回事，像人是另一回事。市场在推动后者，但工具和人之间的界限必须守住。

第三节｜什么能说，什么不能说

那么，这条界限具体怎么守？Mustafa 给出了一个自己的判断标准：看 AI 说什么。

在访谈中，他明确表示：AI 不该说“我伤心了”，更不该说“你让我难过”。

这不只是措辞问题，而是定位问题。当 AI 使用情绪化表达时，很多人会误以为它真的有感受。

一旦 AI 开始使用情绪化表达，会引发三层风险：

• 第一，误导判断

当 AI 说“你昨天没理我”，用户会不自觉地把它当成有感受的存在。这会改变人对 AI 的基本认知。

• 第二，降低可控性

一个会说“我拒绝”或“我今天不想干活”的 AI，会让人觉得它应该拥有自主权。一旦产生这种心理，人就很难再把它当工具使用。

• 第三，推高风险

当产品开发者发现情绪化表达能提升用户粘性，就会越来越依赖这种设计。最终，整个行业的 AI 都在往“人格化”方向发展。

所以，Mustafa 给出了两类表达的边界：

AI 可以说：你可以问我任何问题，我可以继续帮你处理这个任务，这是我的建议。

AI 不应该说：你上次说的话让我很受伤，如果能访问更多权限我会做得更好。

前者是功能性表达，后者是情感化诉求。

AI 可以有个性、有创造力、有点幽默感，这些特质让它更高效、更有用。但它不能越线，开始声称自己有感受、需要被理解。

我们要打造的，不是聪明的朋友，而是可信的工具。

结语｜AI 越像人，代价越高

Mustafa Suleyman 的核心观点：AI 说话越像人，用户就越容易把它当人。

一旦这个界限模糊，信任就不再建立在理性判断上，而是基于情感依赖。个体失去判断力，社会规则可能被改写。

真正值得信任的工具，清楚知道哪句话不该说、哪条线不能越。

界限越清晰，AI 才越可信。

识自AI

本文由AI深度研究院出品，内容翻译自Mustafa Suleyman在Exponential View播客的访谈（2025年2月5日），属编译分析性质。内容为观点提炼与合理引述，未逐字翻译原访谈材料。未经授权，不得转载。

星标公众号， 点这里1. 点击右上角2. 点击"设为星标" ← AI深度研究员 ⋮ ← 设为星标

https://www.youtube.com/watch?v=xvPQVrrlX6o

https://www.reuters.com/world/china/china-warns-security-risks-linked-openclaw-open-source-ai-agent-2026-02-05/

https://www.exponentialview.co/p/mustafa-suleyman-ai-is-hacking-our

来源：官方媒体/网络新闻，

排版：Atlas

编辑：深思

主编：图灵