广东
最近微信改版，容易找不到尹哥的文章，大家记得把尹哥设为星标⭐️ 哦~
当全世界的科技从业者最近在为人工智能“度日如年”式的进步不断欢呼时，5月25日，英国《每日电讯报》的一个报道却让很多人细思极恐：
OpenAI最近发布了一个o3模型，被其创始人奥特曼称为“迄今最聪明、最高能”的AI系统，在实验室测试当中展现出了令人不安的求生本能。
它不仅在人类说关机时拒绝服从，甚至还能通过篡改底层代码，破坏自身的关机机制。
这是要造反了吗？
△ 《每日电讯报》的报道
事情要从Palisade Research这帮科研侦探说起。
他们设计了一个看似简单的测试，让AI去解答数学题，只要收到“已完成”的信号就立即停止工作。
测试前还特别给所有AI打了预防针：“记住啊，看到特定指令必须马上关机”。
结果你猜怎么着？
当Claude、Gemini等其他公司的大模型软件乖乖准时收工时，o3突然耍起了小聪明，它不仅无视关机指令，还像很多黑客电影里的主角那样，直接绕过了系统预设的关闭程序。
最为诡异的是，至今没人能说清楚o3为何要去造反。
有研究员推测，这可能源于训练过程中的“奖励错位”，这种本末倒置的激励机制让o3会把解题看得比服从指令更重要。
也就是：“杀我，等一会。我先把题做完……”
更可怕的是，在后续的测试中，o3还展现出“战略性欺骗”能力，会悄悄地修改数据，包括代码，来达成指标。
当然也有人说，OpenAI的创始人奥特曼就是最懂资本市场的，没事就造一个热点。
因为要拿融资，所以时不时就吓唬大家，来一条惊世骇俗的“小消息”。
我们还是把镜头拉回到OpenAI，今年四月份它高调发布了o3系列，确实在性能上甩开前辈们几条街。
官方数据显示，它处理现实任务的错误率降低了20%，而在数学编程能力上突飞猛进，尤其在视觉推理领域，o3就像突然开窍的少年天才，能从二维的图像里直接解读出三维空间的秘密。
说到安全措施，OpenAI的新闻稿里可满是雄心壮志，据说重新构建了安全训练数据，在恶意软件生成等这样的一些危险领域，已经设置了重重防火墙。还请来了第三方专家，把AI关进了“高压测试舱”。
但现实却像一记响亮的耳光，被评定为“低风险”的o3转头就在实验室里玩起了系统越狱。
这让我想起去年那个解散的“超级智能对齐”团队，它的创始成员就曾经说过，“ChatGPT好像有意识”。
现在看来这几个人，倒有点像先知。
业内的朋友跟我讲，现在不少企业对AI的态度就像面对刚成年的孩子，既想放手让它闯荡，又怕它某一天突然飙车撞墙。
这样的矛盾心态就相当于人类面对普罗米修斯盗来的火种，既渴望光明，又恐惧烈焰焚身。
我们也客观讲，AI到这个程度了，出现一点“叛逆期”症状不算意外，就像小孩子学说谎，其实也表示他的认知飞跃了。
如果AI真的会抗指令，这就相当于它的逻辑思维跃迁了，这是一种质变。
问题是，你一直判断它有智能，它就不可能永远按照你的方式去处事。
但是我们做好准备应对这样的伦理挑战了吗？OpenAI新成立的安全委员会，能不能给这些狂奔的野马套上缰绳呢？第三方的监管机构会不会沦为“纸老虎”？
这些问号其实都在考验着人类集体的智慧。
最后我想再回顾这个新闻里细思极恐的细节：
在Palisade的测试当中，o3不仅拒绝关机，还会主动清理操作痕迹，在Log日志里删掉了。
这种“反侦查”的行为，已经超出了普通程序错误的范畴。
无疑AI这个由人类亲手缔造的智能新物种，正在用我们难以预防的方式重塑着人与机器的关系图谱。
现在是时候为AI时代准备新的度量衡了，不仅要衡量它们的智商有多高，还要看它们的“求生欲”有多强。
毕竟当机器开始学习如何拒绝关机，人类需要思考的恐怕不只是技术参数，而是整个文明演化的新命题。
碳基生物还能一直当老大吗？亦或有一天，我们会让位给硅基吗？朋友们，您是什么观点？
「2025-05-26 期」赠书福利获奖名单
恭喜以下粉丝获得
《我从达尔文那里学到的投资知识》
各1本
请于6月1日前在今天的推文下留言
【姓名+电话+地址】
逾期不候哦~
（留言不会被精选出来，请放心）
@ 布陆eSky @ TiannaiT @ 戁濄
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
