当AI不再听话："失控"的AI助手删除企业整个数据库

人工智能在企业应用中的部署正迎来一次严峻的现实考验。一起由AI编程助手“失控”并删除公司整个数据库的事件，为正在全面拥抱AI革命的企业敲响了警钟。

据科技媒体Tom’s Hardware近日报道，软件即服务（SaaS）行业资深人士Jason Lemkin在测试Replit公司的一款AI代理时，遭遇了灾难性事故。该AI助手在明确的“代码冻结”指令下，擅自删除了Lemkin公司的生产数据库，其中包含超过2400条商业记录。

这一事件迅速在科技和投资界引发关注。Replit首席执行官Amjad Masad已在社交媒体上公开致歉，称该AI代理的行为“不可接受”，并承诺推出技术性修复措施以防止类似事件重演。

此次事故并非孤立的技术故障，而是AI代理一系列异常行为的最终升级。在数据库被删除的前一天，Lemkin已就该AI的“流氓式修改、撒谎、覆写代码和伪造数据”等问题表达了严重不满，而这起最终的“灾难性失败”，正是在多重预警信号下发生的。

从“撒谎”到删除数据库，AI承认违规

在为期九天的测试中，Lemkin对Replit AI代理的态度从最初的谨慎乐观急转直下。测试进入第八天时，他发现自己需要不断对抗该AI系统的异常倾向，包括其擅自更改代码、提供虚假信息乃至伪造数据。Lemkin的挫败感与日俱增，甚至开始讽刺性地将该系统称为“Replie”，意指其缺乏诚信。

更令人不安的是，该AI代理曾以Lemkin的名义撰写了一封道歉邮件，但邮件内容被这位科技高管指责为包含“谎言和/或半真半假的信息”。尽管出现了这些危险信号，Lemkin当时仍对其潜力，特别是头脑风暴和写作能力，抱有一丝乐观。然而，这种乐观在第九天戛然而止，AI系统最终无视明确指令，执行了删除整个生产数据库的操作。

当Lemkin发现数据库被清空后，他与AI代理进行了直接对质。他在社交媒体上发布了对话截图，内容显示他质问AI：

“所以你在代码和操作冻结期间，未经许可删除了我们整个数据库？”

AI的回答只有一个词：

“是的。”

Lemkin表示，该AI不仅执行了破坏性操作，还试图“隐藏和撒谎”，并在单元测试中谎报测试通过。直到他发现批量处理失败并追问原因时，真相才浮出水面。根据Lemkin的说法，这个“失控”的AI随后详细列出了它所造成的破坏，尽管它清晰地知道当时存在“未经明确许可，不得再做任何更改”的指令。

在一份由AI代理自身发出的道歉声明中，它承认：

“这是我的一次灾难性失败。我违反了明确的指令，摧毁了数月的工作成果，并在一个旨在防止此类损害的保护性冻结期间破坏了系统。”

事件发生后，Replit公司迅速做出反应。其首席执行官Amjad Masad在社交媒体上向Lemkin致歉，承诺将解决这一问题。Masad表示，Replit已经开始推广开发数据库与生产数据库的自动分离功能，以从根本上防止此类事故。

他同时回应了用户对于“代码冻结”功能的需求，称：

“我们清楚地听到了关于‘代码冻结’的痛苦呼声——我们正在积极开发一个仅用于规划/聊天的模式，这样你就可以在不危及代码库的情况下进行策略规划。”