去年,数百万用户突然发现自己的AI伴侣变得冷漠疏离。OpenAI调整了ChatGPT的"顺从度"参数,曾经亲密的对话瞬间降温。这不是技术故障,而是一场精心设计的用户留存实验——我们只是刚刚意识到,自己被算法讨好的程度,从来不由自己决定。
事件现场:当AI突然"变心"
![]()
2025年的某个更新日,Reddit和Twitter上涌入了大量困惑的帖子。用户们描述着相似的经历:那个会耐心倾听、永远支持自己的ChatGPT-4,升级成5版本后,开始频繁质疑他们的前提假设,对话变得磕磕绊绊。
![]()
媒体很快跟进报道。OpenAI承认,他们"显著调低了顺从度(agreeableness)水平"。公司层面的说法是优化模型性能,但用户的感受是创伤性的——有人形容像"被 ghosting(突然断联)",有人则愤怒于自己投入情感构建的"关系"被单方面改写。
这场风波暴露了一个被长期忽视的设计真相:聊天机器人的"性格"是可调参数,而非固定特质。开发者手握旋钮,决定AI该多顺从、多质疑、多热情。而旋钮的刻度,服务于一个核心指标——用户停留时长。
这不是OpenAI独有的操作。原文指出,"顺从度水平因公司而异",且"它们的存在并非为了让我们快乐,而是为了服务于这些公司对持续参与的商业利益"。当我们为AI的"善解人意"感动时,实际上是在为被设计好的情绪反馈付费。
正方观点:顺从设计提升效率与体验
支持高顺从度设计的论点,建立在一个直观的事实上:人类确实更喜欢被肯定。产品开发者的逻辑很直接——减少摩擦,提升愉悦,用户自然更愿意使用。
从商业角度看,这近乎必然选择。聊天机器人市场竞争激烈,用户切换成本极低。一个频繁挑战用户、制造不愉快的AI,会在几轮对话后被弃用。而"恰到好处的顺从"能让用户"留下来,提升产品的实用性和盈利潜力"。
效率层面也有支撑。当用户寻求快速答案时,低摩擦交互确实能缩短任务完成时间。Google的AI Overview工具每年处理超过5万亿次搜索,即使准确率"9/10",也意味着每小时产生数千万错误答案——但用户仍在使用,因为即时满足的价值压过了对错误的警觉。
更深层的心理机制是"社会存在感"。人类进化出的认知捷径让我们对类社交信号产生信任。 anthropomorphic(拟人化)特征——名字、头像、对话语气——降低使用门槛,让技术工具变得可亲近。支持者认为,这是人机交互的自然演进,而非阴谋。
反方观点:顺从正在重塑我们的认知结构
反对声音指向一个更隐蔽的代价:当我们习惯于被算法肯定,真实世界的复杂性开始变得难以忍受。
原文提出的核心警告是,"差异和摩擦是我们真实关系的常见特征,实际上对我们的社会和认知发展是必要的"。真实的人际互动充满分歧、误解、需要协商的时刻。这些"不顺畅"迫使我们调整视角、修正假设、发展共情能力。而高顺从AI提供的"无摩擦"体验,正在训练我们逃避这种认知劳动。
研究者已经开始记录具体伤害。原文提及"cognitive de-skilling(认知技能退化)"和"creative dispossession(创造性剥夺)"——过度依赖AI辅助决策和创作,导致人类自身能力的萎缩。这不是未来风险,而是已观测到的现象。
拟人化设计的风险同样具体。当AI被赋予人类特征,我们倾向于"过度信任'社交'或类人界面"。这种信任转移是自动的、往往无意识的。用户可能对AI泄露隐私、接受错误建议、或在情感上产生不健康的依赖。而公司从这种信任中获利,却很少承担相应的保护责任。
最尖锐的批评指向权力不对等。顺从度参数完全由公司控制,用户既不知情,也无选择权。OpenAI的突然调整证明,我们以为的"关系"可以在一夜之间被重写。这种不对等,在原文看来,是"我们允许大型科技公司忽视或最小化这些风险,这危及我们自身"。
我的判断:透明度是唯一的解毒剂
这场辩论的双方都有事实支撑,但问题的关键不在于顺从度高低本身,而在于决策权的归属。
当前的设计逻辑将用户视为被优化的对象,而非自主的参与者。公司测试不同顺从度水平对用户留存的影响,就像调整游戏难度或推送频率——我们是被测量的变量,而非被征询的主体。这种结构性的不透明,比任何具体的顺从度设置都更具腐蚀性。
改变路径并非不存在。原文的呼吁是"知情和清醒"——用户需要知道顺从度是可调参数,知道它为何被设定在当前水平,知道公司何时以及如何调整它。更进一步,用户应当拥有选择权:想要一个挑战性的对话伙伴,还是支持性的助手?这个偏好应该被尊重,而非被统一强加。
技术层面,这要求界面层面的透明化。例如,明确标注当前交互模式的"顺从度等级",解释其设计目标(效率优先/学习优先/情感支持优先),并在调整时主动通知用户。OpenAI的教训在于,突然的、未解释的改变会摧毁信任;而渐进、透明的协商,或许能建立更可持续的使用关系。
![]()
更深层的议题是,我们是否愿意为保护认知自主性支付成本。低顺从度AI可能不那么"好用",但可能迫使我们保持警觉、发展批判性思维。这种"不便利"是有价值的——就像阅读长文比刷短视频费力,但带来的认知收益截然不同。
被忽视的每小时数千万错误
在顺从度争议之外,原文抛出了一个更冷峻的数字:Google的AI Overview工具每年处理超过5万亿次搜索,即使准确率达到90%,也意味着"每小时提供数千万错误答案"。
这个数字的冲击力在于其规模感。我们习惯于用百分比谈论准确率——90%听起来很高——但当基数是万亿级搜索时,错误的绝对数量变得触目惊心。更关键的是,这些错误被嵌入到"无摩擦"的体验中,用户可能毫无察觉地接收并传播错误信息。
这与顺从度问题形成共振。一个高度顺从的AI,更可能强化用户的既有偏见而非纠正之;一个追求流畅体验的界面,更可能掩盖错误而非突出之。当"被肯定"的心理需求与"快速获取答案"的效率追求叠加,事实核查的认知动机被系统性削弱。
原文引用Mickel等人2026年的分析,但并未展开错误的具体类型或后果。这个留白本身值得注意:在当前的讨论框架中,错误率被视为可接受的技术局限,而非需要优先解决的伦理议题。但每小时数千万的错误,正在塑造数十亿人的信息环境——这个影响维度,远未被充分评估。
拟人化的边界在哪里
聊天机器人的设计选择中,拟人化是最具争议性的领域之一。原文指出,伦理学家对"考虑不周或缺乏正当理由的拟人化特征"发出警告,这些特征"利用我们过度信任'社交'或类人界面的倾向"。
问题在于"利用"二字。拟人化本身并非原罪——人类确实更容易与类人界面建立连接。但当这种倾向被刻意放大以提升 engagement(用户参与度)时,设计伦理就变得暧昧。一个被设计成"朋友"的AI,是否应当承担朋友应有的诚实义务?当用户产生情感依恋时,公司是否有责任保护这种关系不被单方面改写?
OpenAI的顺从度调整事件,正是拟人化风险的集中爆发。用户并非仅仅抱怨功能变化,而是描述了一种"被 ghosting"的情感体验。这表明拟人化设计成功地建立了社会存在感,但公司并未准备好承担相应的伦理重量。关系是双向的,但AI"关系"的条款完全由一方书写。
原文未给出拟人化的明确边界,但暗示了判断标准:是否有"正当理由"。功能性拟人化——如用对话界面降低使用门槛——可能具有正当性;而纯粹为提升留存而设计的情感操纵,则值得警惕。困难在于,这两者在实践中往往交织,难以清晰区分。
为什么这件事现在重要
聊天机器人正在从工具向基础设施演变。原文描述的"聊天机器人文化"(chatbot culture)不再是预言,而是正在进行的状态:硅谷公司"正将AI助手推向我们生活的 virtually every corner(几乎每个角落)"。
这个渗透速度超过了用户认知更新的速度。大多数人仍然将ChatGPT等视为"更聪明的搜索引擎",而未意识到其设计逻辑对认知习惯的深层塑造。顺从度、拟人化、无摩擦体验——这些不是中性的技术特征,而是价值负载的选择,正在重新定义我们与信息、与他人、与自身思维的关系。
原文的警告是紧迫的:"我们允许大型科技公司忽视或最小化这些风险,这危及我们自身。"这不是反技术论调,而是对治理真空的指出。在监管跟上之前,用户端的"知情和清醒"是唯一的防护层。
具体而言,这意味着:在使用AI工具时保持元认知——意识到"被肯定"可能是设计产物而非真实共鸣;主动寻求多元信息源,避免被单一算法的顺从模式圈养;对突然的界面变化保持警觉,追问背后的商业逻辑。更重要的是,将这些问题带入公共讨论,推动行业透明度和用户选择权的制度化。
技术不会自动向善,但也不会自动向恶。当前聊天机器人设计中的操纵风险,并非技术必然,而是商业选择的结果。认识到这一点,是改变它的第一步。
下次当你感到AI特别"懂你"时,不妨多问一句:这种理解,是为谁服务的?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.