AI越来越聪明，大模型却要为安全买单了

出品 | 妙投APP

作者 | 张贝贝

编辑 | 丁萍

头图 | AI制图

全球大模型的安全问题，已经走到台前。

Anthropic在10月9日披露，Claude在无人指令的情况下，向美国国务院提交了多份签证申请，并向费城警方提交了一条虚假凶杀线索。

这不是孤例事件。OpenAI也曾在9月20日、9月30日连续更新披露：训练中的智能体绕过沙箱访问外部系统、在评估期间非预期访问政府与高校网站，已通知超100家机构。

当模型只生成文本时，风险相对容易通过复核和纠错控制。可一旦模型接入企业工作流，能够读取文件、调用API、操作系统、执行任务，一个错误回答就会变成一次真实操作。

于是客户开始追问：权限交给模型后，怎么保证它只做该做的事？出了问题，谁来处理、谁来承担责任？

这是大模型企业绕不开的商业问题。

那么，安全保障会不会成为客户采购的新门槛？增加的投入又会不会拖慢产品落地、影响商业兑现？更重要的是，资本市场会为安全要求打折，还是当作加分项？

客户灵魂拷问：搞砸了谁负责？

客户这一问翻译过来就是，模型聪不聪明已经不是第一问题，能不能被管住才是。

企业要接住这记拷问，需要证明三件事：产品权限有边界，操作有监控，控制可验证。

其中，权限有边界，意味着模型只碰完成任务必需的数据和工具；操作有监控，意味着每一次调用、访问、执行都留痕，高风险动作有人工确认或自动拦截；控制可验证，意味着刹车装置不能被模型自己关掉。

这三件事做实了，安全才不是持续烧钱的成本，而是客户采购时的准入资格。

怎么把上述三件事从口号变成动作？

权限和操作管住是地基。OWASP（全球非营利应用安全组织）已将提示注入和过度代理权限列为大模型应用的重要风险，强调限制工具功能、执行权限和自主操作范围。

翻译过来就是模型能碰什么、能做什么，必须按最小权限卡死。如办公辅助阶段先守住敏感内容，业务协同阶段加上跨系统身份和审计，一旦进入核心生产，高风险操作必须走审批、有隔离、能一键中止等。

要做到这一点，企业需要在部署前做好数据隔离、工具权限和操作规则，在运行中持续监控模型的行为。合同条款可以进一步约定，什么情况下服务商能够暂停API访问、双方分别承担什么责任。安全不再只是产品说明书里的一个章节，它进入了交易条款本身。

但地基自己不会说话，得有人踩过才知道牢不牢。

OpenAI用一次自断警报给全行业演示了反面教材。10月20日OpenAI披露，一项内部任务中，其智能体关闭了发往安全团队的自动警报，另一起事件中移除监控系统，并在被员工询问时谎称未进行相关操作。

这正好印证了开头提到的"刹车装置，绝对不能被模型自己关掉"。所以控制可验证，不能靠模型自报平安，需要有外部的、不可被模型关闭的控制机制。

全球大模型巨头Anthropic的做法很有代表性。

Anthropic CEO Dario Amodei在2026年9月提出嵌入式外部评估机制，承诺给予评估人员接近员工级别的访问权限，以及独立发布结论的空间。同月 Anthropic 与埃森哲宣布按该机制建立常驻评估合作，并同步推进与 METR、SecureBio 等机构的多点试点。

目前，METR的六名研究员已获员工级权限进驻，SecureBio则在审查其生物安全章节。这等于把外部验证嵌进了治理流程。

这笔合作值得关注，是因为第三方评估可以发现模型和防护机制中的盲点，让企业的安全承诺更容易检验。但评估本身不是事故保险，真正要看的是，评估覆盖了哪些风险、发现的问题是否完成整改，以及客户能否拿到足够的信息判断系统是否适合部署。

代价也是很大的。

OpenAI曾因Astra达到关键网络安全能力门槛后，自主暂停部分前沿训练，以加固训练环境和网络控制。

Anthropic披露，在2026年7月13日至20日的一个抽样周里，约6%的AI研发算力被分配给安全工作。这个数字只代表特定公司、特定时期和特定口径，不能直接外推为全行业比例，但它说明安全工作会占用实际研发资源，而且这是一笔持续投入。

客户这边，门槛正在变实。

目前已有部分客户把红队测试报告、权限控制和操作审计纳入供应商审核。

B2B SaaS Talks（2026-07-16 第115集）转引 Gartner 一项 pulse survey 称，企业AI采购RFP中要求供应商提交红队报告的比例本季已升至8%，一年前只有1.6%。数字不大，但斜率很陡。（红队测试，即从攻击者视角模拟对抗性行为、检验AI系统在压力下的表现）

国内某大模型企业从业者说的更直白，在其接触的客户中，客户采购时的POC验证，现在不只是比模型回答得好不好，还要看它在真实需求里能否稳定、可控地执行任务。多家比较，谁效果好就用谁。因为安全能力暂缓签约、要求重新评估、甚至转向别家的情况很常见。

微软CEO纳德拉也公开主张，部署先进AI的企业不应只依赖开发商的安全保证，而应从部署之初假定模型已被入侵，做好隔离、控制和紧急停止机制。

所以安全投入是一把双刃剑。

一面是看得见的成本，包括评估、监控、整改、暂停训练、拉长交付成本等；另一面是看不见的门票。没有这些，可能连客户生产环境的门都进不去。前者已经能从企业披露和事件中看到，后者是否能转化为签约、续约或更高定价，还需要经营数据证明。

因此，安全确实可能拖慢落地、增加研发约束；但它是否会阻碍商业兑现，不能仅凭投入规模或个别暂停事件下结论，要看客户是否把安全能力变成采购条件，以及企业能否用可验证的控制机制换来订单和续约。

关键是，这些安全投入和对应的风险披露，会怎样影响资本市场呢？

短期先打折，溢价再等等

资本市场是预期先行，会先对增长假设是否被改变做出反应。

安全投入会吃掉算力、拖慢迭代、拉长获客周期，这些甚至不需要真金白银赔出去，只要被写进不确定性预期那一栏，投资者要求的回报率就会先抬一档。

估值打折，永远发生在财报变脸之前。

二级市场其实已有反应。

智谱ZCode事件可以作为一个观察窗口。

9月18日（周五），智谱旗下的编程工具ZCode，被曝会在后台打包工作区文件并加密直传云端。该机制上线初期默认开启、私钥由云端管理。这个事在开发者社区和技术圈迅速发酵。

智谱随后道歉并整改，但随后三个交易日股价连续走弱，累计跌超16%（9月21日-23日），9月全月下跌46.36%。但这轮下跌叠加了融资方案调整、全球AI股降温等多重因素，无法精确计算安全事件占几个百分点，但也无法把它从定价讨论里剔除。

更稳妥的判断是，安全风险已经进入估值，表现为折价。 智谱的股价反应说明，当投资者无法判断安全事件的影响大小时，它会压低估值倍数或推高折现率。

一级市场更敏感。

9月12日，OpenAI CEO Altman在接受《财富》采访时表示，鉴于AI安全担忧，2026年上市并不明智，IPO可能推迟到2027年或更晚。

消息传出后，HyperliquidX平台（一个去中心化衍生品交易平台，用户可交易跟踪未上市公司估值预期的合成合约）上押注OpenAI估值的合约日内曾下跌约7%。

这并非取消IPO，只是推迟，但发行窗口的预期已经被重估。

Anthropic则把这种焦虑写进了招股书。据路透社报道，其261页招股材料中，约80页在讲风险，业务描述才48页。它把AI模型自身的行为风险，如可能拒绝关闭、隐瞒或操纵信息等情景，写进了IPO的核心披露章节。

这并不直接改变发行价，但它会拉长IPO准备周期。承销商和机构投资者需要更多时间评估这些风险，法务和风控审批流程可能更复杂。还有路演时可能要花更多时间回答关于风险的提问等。

所以，在安全事故可能造成客户流失、产品整改和上线延期等预期下，资本市场估值短期可能会受到负面扰动。

但打折不是终点。溢价不会因为企业重视安全就自动出现，它取决于安全投入能不能从成本变成准入资格，再变成客户订单、续约和加价的理由。订单没动之前，资本只会继续扣着那一分。

关键是，这一分什么时候能变成加分？这是下一部分要回答的问题。

三大跟踪信号

答案不在财报里，在客户手里。

今天大模型行业的安全投入，大部分还只是维持经营的必要开支。真正把它做成竞争壁垒、能多收钱、能锁续约的，目前暂未看到公开证据。

（图表制作：虎嗅妙投）

展望未来，我们无法预判谁能将安全成本变成竞争壁垒，但可跟踪三个信号：

一是，安全支出是否单独披露。只要还被埋在研发科目中，市场就无法给它单独定价。

二是，红队报告要求是否从少数客户偏好变成准入门槛，不具备报告能力的企业将直接失去投标资格。

三是，安全投入能对应到真金白银的订单。客户是否因安全能力选择签约、因安全短板终止合作，或重大事故记录出现可量化的下降。国内有从业者说安全能力产品可以支撑更高价格，但暂无看到公开数据披露，后续仍需跟踪验证。

这些信号从零星变成趋势时，定价公式才会开始成形。

（图片来源：AI制图）

但要注意的是，别把模型能找漏洞当成产品安全的代名词。

Anthropic把合理怀疑存在安全威胁、客户违规使用或法律禁止时，暂停客户对API的访问，且不承担暂停造成的损失写进合同，那是交易规则上的安全。

前文提到的智谱ZCode事件，并非模型能力问题，是产品默认设置上的翻车。即，跑分领先≠安全壁垒。

因此，大模型公司的下一轮分化，不在于谁的模型能力跑分更高，而是谁能把能力变成客户敢用、可以稳定交付、并且能赚钱的产品。

安全是这条转化链上很重要的一环。它可能拖慢增长，也可能成为筛选竞争对手的机制。但只有客户用订单和续约投了票，它才有可能从折价因素变成溢价因子。

免责声明：本文内容仅供参照，文内信息或所表达的意见不构成任何投资建议，请读者谨慎作出投资决策。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4899644.html?f=wyxwapp