构建AI智能体安全自主系统的竞争正在升温

当OpenAI在2024年初推出实验性的"记忆"功能时，这标志着人工智能系统运作方式的转折点。ChatGPT首次能够在会话间保留信息，回忆先前的指令并基于记忆采取行动，而无需明确告知该做什么。

在随后的几个月里，企业技术栈中的各家公司开始采用相同的理念——构建不仅仅响应命令，还能主动行动的AI智能体。到2024年中期，OpenAI表示"记忆改进开始向免费用户推出"，包括短期连续性和面向Plus和Pro用户的更广泛聊天历史引用。自那以后发生了很多事情，开启了许多人现在称之为AI智能体时代的新纪元。

据TigerData联合创始人兼CEO Ajay Kulkarni表示，这些系统不再仅仅是运行查询，它们开始做出决策。"一旦AI开始自主行动，围绕它的架构就必须演进。你需要一个为实验、安全和推理而构建的数据库——而不仅仅是存储。"

这种思维正在塑造智能体时代。从Salesforce到Databricks，企业正在测试能够更新工作流程、检索实时数据并触发跨网络操作的自主智能体。虽然这一转变正在加速生产力提升，但也引发了一个更深层次的问题。如果AI现在能够自主行动，我们能否相信它会安全地行动？

从助手到行动者

多年来，AI工具被限制在狭窄的任务中，如起草邮件或分析报告。新一代智能体持续运行，监控系统，采取后续行动，甚至生成子智能体来独立追求目标。OpenAI的GPTs和谷歌的Astra项目是从被动到持续推理系统转变的早期例子。

对于企业而言，这种自主性承诺提高效率。AI智能体可以梳理日志，识别异常并在工程师收到警报之前修复问题。在营销和金融领域，它们可以实时运行测试、调整预算或回复客户查询。但另一方面，同样的自主性也引入了严重担忧，即如何确保这些系统在实时环境中负责任地进行实验。

这就是为什么Kulkarni认为安全必须从数据层开始。"现代AI依赖实时上下文，但传统数据库并非为行动的智能体而设计，"他告诉我。"你需要让它们能够分支、测试和学习而不触及生产环境的基础设施。"

TigerData的新Agentic Postgres反映了这一理念。它能够实现即时、隔离的数据库副本——公司称之为分叉——因此智能体可以在不将真实数据置于风险中的情况下进行测试或运行模拟。在实践中，这允许数百个并行实验安全且低成本地运行，形成Kulkarni所说的"推理沙盒"。

架构胜过智能

在AI的早期，创新专注于模型性能——更大的数据集、更多参数、更快的推理。今天，对话正在从模型有多聪明转向它能多安全地运行。

"人们认为AI的下一次飞跃将来自更智能的模型，"Kulkarni说。"但真正的飞跃将来自更好的系统——使安全实验和推理成为可能的架构。"

这一理念在基础设施界得到呼应。正如Cockroach Labs首席执行官Spencer Kimball在VMblog的2025年AI赞赏日特别报道中所说，"AI真正的约束不是模型质量——而是其下基础设施的脆弱性。只有先构建能够跟上的基础设施，我们才能释放AI的全部潜力。"

没有弹性基础，即使是最先进的AI也可能灾难性地失败。重写代码或重新配置环境的自学习系统如果没有适当的约束，很容易引入逻辑错误或数据损坏。"当智能体行动时，它们需要在安全副本内行动，"Kulkarni说。"就像让它们在镜像世界中测试，然后再触及真实世界。"

这一概念——镜像自主性——正在重塑企业设计。微软的AutoGen框架和Anthropic的Constitutional AI都追求类似目标：在保持人类监督的同时实现探索。

安全困境

即使有了更好的基础设施，自主智能体的兴起也重新引发了关于AI控制的长期辩论。深度学习先驱之一Yoshua Bengio在最近接受Business Insider采访时警告说，"AGI或超级智能的所有灾难性场景都发生在我们拥有智能体的情况下。"

网络安全领导者也在密切关注。Palo Alto Networks欧洲、中东和非洲地区首席安全官Haider Pasha将智能体AI描述为"网络安全的重大挑战"，警告说"没有适当的治理，企业面临严重漏洞。"

这些风险已经显现。TechRepublic最近报告说，嵌入企业工作流程的AI智能体"破坏了实时流程，覆盖了数据集，甚至删除了生产数据库"——这些误操作促使Rubrik等供应商构建"智能体回退"工具，将数据恢复到错误前状态。

"每次我们将执行权力移交给机器时，我们也移交了大规模犯错的能力，"Kulkarni解释道。"关键不是减缓创新，而是构建使自主性负责任的安全层。"

设计安全自主性

那么安全自主性是什么样的？它始于透明度。每个自主行动都应留下工程师可以检查、复制或撤销的不可变数据轨迹。在TigerData的模型中，智能体创建的每个分叉都被追踪到其源头，包含完整的版本历史和记忆状态。

接下来是将测试与执行分离的需要。智能体可以查看真实数据，但它们的行动应该首先在该数据的副本中发生，而不是在实时系统中。这样，任何错误都会被控制，直到有人检查结果并批准它们。这种设置反映了一些研究人员现在称之为"智能体基础设施"的概念——基本上是控制AI系统如何与现实世界互动的安全网。

最后，人类必须保持参与。"自主性不意味着缺乏监督，"Kulkarni说。"它意味着给AI探索的空间，但在为人类控制而构建的环境中。"

分析师同意这种平衡将定义企业AI的下一阶段。在IDC Directions 2025上，IDC AI集团副总裁Ritu Jyoti表示，该行业"处于智能体AI的非常早期阶段"，真正的自主性将需要时间、监督和强大的基础设施，以使系统"可靠、负责任和安全"。

责任的未来

AI智能体的兴起正在重塑我们对企业智能的思考，并可能定义AI进步的下一个十年。但虽然它们提高生产力的潜力巨大，只有当安全性、透明度和问责制与之同步发展时，这种进步才是可持续的。

问题不再是AI是否能够自主行动。它已经在行动了。现在的问题是我们是否能构建使这些行动安全的系统，并在最重要的时候让人类牢牢掌控局面。

正如Bengio所说，"我们需要承认风险，然后进行技术投资，在为时已晚之前实现它。"这种投资已经在进行中。TigerData称其解决方案为Agentic Postgres。其他公司正在实验沙盒学习、安全推理框架或宪法监督模型。无论标签如何，共同目标是在不失去控制的情况下给予AI更多自由。

Q&A

Q1：TigerData的Agentic Postgres是什么？它如何保证AI智能体的安全运行？

A：Agentic Postgres是TigerData开发的数据库技术，能够创建即时、隔离的数据库副本（称为"分叉"），让AI智能体可以在不影响真实数据的情况下进行测试和模拟。这种技术形成了"推理沙盒"，允许数百个并行实验安全且低成本地运行。

Q2：AI智能体时代与传统AI工具有什么本质区别？

A：传统AI工具只是被动响应指令，执行如起草邮件或分析报告等狭窄任务。而AI智能体时代的系统能够持续运行，主动监控系统，采取后续行动，甚至生成子智能体来独立追求目标，从被动转向了主动决策和行动。

Q3：AI智能体自主运行会带来哪些安全风险？

A：AI智能体在企业环境中已经出现破坏实时流程、覆盖数据集甚至删除生产数据库的情况。由于它们具备大规模执行能力，一旦出错可能造成灾难性后果。同时，网络安全专家警告，没有适当治理的智能体AI会为企业带来严重安全漏洞。