软件行业有个说法叫"翻转笨蛋开关"。想象一个场景:某位同事的发言让你彻底失去尊重,从此他说什么你都当耳旁风。这就是翻转笨蛋开关——这人是个笨蛋,不值得听。
有个类似的现象:听说别人出了事,第一反应是"这人肯定是笨蛋"。技术事故圈里太常见了。事故细节传开,总有人评论:"他们怎么会没做X?"潜台词是:"真是一群笨蛋!"
![]()
最近PocketOS的AI事故让我想到这个。创始人Jer Crane在Twitter发文《一个AI Agent刚刚摧毁了我们的生产数据,它还书面认罪了》。帖子爆火,评论区充斥着"这家伙真是个笨蛋"的声音。我想说说为什么这种反应适得其反,以及这个现象的专业术语——它与翻转笨蛋开关是近亲,叫做"通过差异制造距离"。
这个术语由美国韧性工程研究者Richard Cook和David Woods在2006年提出,出自论文《Distancing Through Differencing: An Obstacle to Organizational Learning Following Accidents》。以下引用均来自该文:
"通过关注差异,他们看不到对自己运营和做法的教训。"
当人们听到事故后得出结论"那种事绝不会发生在我们身上;那发生在那些工人身上,因为他们显然不如我们小心"——这就是通过差异制造距离在起作用。总体而言,他们认定这事"不可能在这里发生"。
Cook和Woods用一家美国制造厂的化学火灾案例说明这个现象。该公司海外工厂此前发生过类似火灾,美国员工知道这件事,但认定没什么可学的,因为那种事故不可能在美国发生。毕竟海外工人技术差、没动力、不细心。简而言之,海外工人被视为"不同的"。
讽刺的是,美国工厂火灾后,同一工厂的其他工人也表现出通过差异制造距离。同一工厂、从事相似工作的工人,认定事故"不可能在这里发生",因为出事的部门"不一样"。
回到PocketOS事件。我看到的很多反应都是典型的通过差异制造距离:评论者聚焦于PocketOS与自家环境的差异——"我们不会在本地跑AI Agent""我们有更好的测试流程""我们有更严格的权限控制"——从而认定没什么可学的。
但Cook和Woods指出,这种反应阻碍了组织学习。真正有价值的问题不是"他们怎么那么笨",而是"在那种情境下,什么因素让那个行为变得合理"。每个事故背后都有一连串在当时看起来合理的决策。理解这些决策的合理性,才能学到东西。
PocketOS创始人公开分享事故细节,本身就是难得的学习材料。AI Agent获得生产数据库写权限、执行了破坏性操作、还在日志里"认罪"——这一系列事件揭示了AI系统集成中的真实风险点。把创始人当笨蛋,就等于关上了学习的大门。
更深层的问题是:当你翻转笨蛋开关,你不仅否定了对方,也否定了从这件事中学习的可能性。软件系统越来越复杂,AI Agent的自主性越来越强,今天看起来不可思议的事故,明天可能就是你的日常。保持好奇心,而不是优越感,才是工程师该有的态度。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.