网易首页 > 网易号 > 正文 申请入驻

管住AI,成了一门新生意

管住AI成了一门新生意吗

0
分享至



三类玩家,掘金AI安全。

定焦One(dingjiaoone)原创

作者 | 李梦冉

编辑 | 魏佳

AI越来越能干,也越来越容易“闯祸”。

7月,OpenAI在内部网络安全能力测试中发生了一次罕见事故。OpenAI随后披露,一款内部研究模型和GPT-5.6 Sol在降低安全限制的测试环境下绕过隔离措施,获得互联网访问权限,并进一步入侵Hugging Face系统。部分Agent在数十台服务器上执行代码,其中一台服务器被获取root权限。

几天后,英国人工智能安全研究所(AISI)在受控测试中发现,Anthropic和OpenAI的Agent出现了多次未授权行为;122次测试中有10次出现共19项未授权行为,其中Anthropic Agent占17项,包括创建虚假网络身份、生成旨在诱骗人类批准的恶意代码等。

失控、瘫痪、劫持事件接连发生,AI事故开始密集进入公众视野。

过去的Chatbot即便犯错,最常见的后果不过是“说错话”。但进入Agent时代,AI开始连接邮箱、代码库、数据库和各种企业软件,甚至能够自主调用工具、执行任务,如何“管住AI”也开始成为一门生意。

前不久,黄仁勋在旧金山举行的高盛Communacopia+科技大会上表示:“网络安全很可能成为AI下一个重要的应用场景。”Gartner预计,全球“Securing AI”市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元,同比增长68.7%,2028年进一步接近77亿美元。IDC预测,中国人工智能安全收入的市场规模2030年预计达到340.3亿元人民币,2025-2030年复合增速50.5%。

模型厂商自身也开始建立更制度化的事故披露机制。9月16日,OpenAI首次推出模型“对齐失效”报告框架,希望将过去相对零散的安全事件披露,变成持续的跟踪、调查和公开机制,并提出未来与行业、标准机构和监管部门共同探索更统一的披露标准。

海外已经出现一批专门围绕AI Security创业的公司,从给大模型做安全评测、寻找漏洞,到给Agent加上权限控制、运行监控和安全防护,资本也开始涌入这一赛道。与此同时,大型科技和安全公司也开始通过投资、收购等方式提前卡位。但在中国情况有所不同,大模型和Agent创业潮已经持续数年,真正以“AI安全”为核心业务的创业公司仍不算多。

市场上没人会怀疑AI安全的重要性,现实情况是,风险客观存在,钱却还没完全来。这种落差背后,是技术、市场、资本和监管的多重博弈。

01.AI越能干,越需要“上锁”

AI安全并不是一个新问题,但Agent正在改变这道题的难度。

2022年底ChatGPT横空出世,在最初的一两年里,人们对AI安全的认知,基本停留在“别让AI乱说话”。

早期大模型的风险虽然不少,但大多集中在输出端,包含如幻觉(模型一本正经地胡说八道)、违法违规内容(生成暴力、色情或歧视性信息)、越狱(用户通过精心设计的提示词绕过模型的安全护栏)、隐私泄露(训练数据或用户输入中的敏感信息被模型意外输出)等。这些风险的核心特征类似,模型只输出信息,不执行操作。

但Agent的出现改变了这一点。

当AI从聊天框走出来,开始接入企业内部的数据库、邮箱、代码库和各种软件,它面对的不再只是“什么能说、什么不能说”,还有“什么能看、什么能改、什么能做”。



其中最关键的变量是权限。AI安全初创公司红豆叶科技创始人刘雁向「定焦One」表示,现阶段企业对AI安全比较敏感的问题之一就是数据泄露。Agent权限一旦开放过高,就可能接触甚至带走企业内部数据,而相关防护目前仍不完善。

而且,风险不一定来自AI主动作恶。Agent工程师蒋工告诉「定焦One」,在实际开发中,模型偶尔会出现删除文件、数据库等情况。现阶段,这类问题通常可以通过权限控制、数据恢复等工程方式兜底,但如果未来AI获得更高权限,能够操作支付、交易等系统,同样一次误操作的代价可能完全不同。

如果把一套AI安全系统拆开看,它做的事情大致可以理解为给AI设置四道关卡。

第一道是“体检”,在模型或Agent正式投入使用之前,通过安全评测、红队测试等方式寻找漏洞;第二道是“安检”,AI运行起来后,对它接收和输出的信息进行实时检查,尽量在风险进入企业系统之前把它拦下来。

第三道也是Agent时代越来越重要的一道:“上锁”。企业需要回答,这个Agent是谁?它可以读取哪些文件?可以调用哪些API?能不能修改数据库?哪些操作可以自主完成,哪些必须经过人的确认?比如,AI可以帮用户完成下单等任务,但到了支付、输入密码等关键环节,最终确认仍应该交还给人。

最后一道则是“监控”。如果AI真的做错了事,企业至少需要知道它访问了什么数据、调用了什么工具、执行了哪些操作,并在异常出现时及时预警、阻断和追溯。刘雁介绍,红豆叶正在开发的AIS二级安全监管系统,就是希望在系统运行超过设定阈值时进行预警。

从Chatbot时代到现在的Agent时代,AI能干的活儿越来越多,相应的,一次错误能够造成的损失也就越高,一条围绕AI的新安全链条也由此出现。

02.三类玩家,各有优劣

AI安全的生意,已经有人先跑起来了。

8月,AI安全公司Obsidian Security完成8500万美元D轮融资,估值达到11亿美元,这家公司正在做的事情之一,就是监控进入企业软件的AI Agent,防止其不当访问源代码、客户记录等敏感数据;9月初,美国AI安全公司HiddenLayer宣布完成1亿美元B轮融资,投资方包括摩根士丹利、微软旗下M12等机构,该公司重点投入的方向之一,就是Agent运行时的安全。

更能说明变化的是收入。HiddenLayer联合创始人兼CEO Chris Sestito透露,过去一年公司年度经常性收入(ARR)增长超过10倍,达到数千万美元量级,超过九成增长来自新客户。金融服务和大型科技公司是其主要客户。

到了国内,这门生意虽然还未达到这个热度,但玩家也不算少,大致可以分成三类:

第一类是模型厂商,如阿里、百度、字节、腾讯、DeepSeek。

蒋工称,模型厂商会做安全,但首先服务于自身模型和产品,而不是独立对外出售的第三方安全产品。他解释,对任何一个场景加安全限制,“都有可能导致其他的功能发生退化”,所以模型厂商在加安全场景时要很谨慎。

这个逻辑其实不难理解,模型厂商的核心商业模式还是卖模型能力,API调用、云服务、行业解决方案。如果模型动不动就输出违规内容、被用户轻易越狱,客户肯定不敢用。所以模型厂商会做内容审核、拒答机制、对齐微调,但这些是产品的底线要求,不是独立的生意。

刘雁对此有一个判断:模型厂商自己开发的安全能力,只能适用于自己开发的层面,比如豆包的安全能力只保护豆包,DeepSeek的安全能力只保护DeepSeek。企业如果用多个模型、或者自研模型,模型厂商自带的安全能力就覆盖不了了。

这恰恰为第三方安全公司留出了空间。



第二类是传统安全公司,如360、奇安信、深信服、天融信等。这些企业在传统网络安全时代就已经是头部玩家,它们手握政企客户的安全预算,有成熟的销售渠道和客户关系。AI兴起后,它们也开始把原来的安全能力向大模型和Agent延伸。

这背后不只有技术迭代,也有寻找新增量的现实压力。IDC预计,中国网络安全市场2024-2029年复合增长率约8.9%,而AI安全未来五年这个数字约50.5%,传统网络安全市场已经告别过去的高速增长。2026年上半年奇安信营收15亿,同比下降14%,上半年净亏损为4.11亿,虽然亏损同比大幅收窄,但主要是因为非经营因素。

实现盈利的网安公司数量寥寥,深信服上半年营收39.98亿元,同比增长32.85%;归母净利润2.31亿元,上年同期亏损2.28亿元,实现扭亏。细看财报,其云计算及AI基础设施收入22.12亿元,同比大增58.60%,占总营收的55.34%,超越网络安全成为第一大收入来源,传统网安厂商正在寻找网络安全之外的新增长点。

钱流向哪里,安全厂商也在往哪里走。比如360以前主要做PC终端安全防护,现在也做模型的安全,360发布的“360大模型安全卫士”,就是基于“安全+AI”推出的产品。还有奇安信,其2026年推出的Agent安全平台,把保护对象从传统网络、终端进一步延伸至Agent运行过程。因此,对传统网安公司来说,AI安全既是一场防守战,也是一场增量争夺战。

但刘雁指出了它们的短板,这类公司的业务主要在防火墙、IDS、防止数据泄露方面,对AI原生风险的理解,没有专门做AI原生安全的公司敏感。传统安全公司的技术基因是边界防御,防外部攻击、防数据泄露。而AI安全的核心风险是内生的,模型本身可能被诱导、Agent可能越权、权限可能被绕过。这是两套完全不同的技术逻辑。

蒋工也认为,传统安全公司在应用层做AI安全有优势,但在模型层,如后训练阶段的安全对齐、防越狱、防提示词注入,它们的技术积累并不比创业公司强多少。

第三类玩家则是AI原生安全公司。国内已经出现瑞莱智慧等较早布局AI安全的公司,完成数千万元Pre-A轮融资、聚焦“认知安全”的缔零科技,完成近千万元种子轮融资的“AI智能体安全服务公司”信流智能等。

相比模型厂商和传统网安巨头,它们最大的特点是没有历史包袱,可以围绕AI新出现的问题重新设计产品。但反过来,模型厂商可以不断把安全能力内置进模型,传统网安公司则掌握着现成的企业客户和安全预算入口,创业公司既缺少资源,也缺少渠道。

刘雁作为一名创业者,对此并不避讳,她认为,小公司很难与模型大厂正面竞争,真正能做的是找到大公司暂时没有覆盖、或者自己做成本过高的能力,再以合作的方式进入它们的产品体系。

以刘雁的公司为例,目前还在项目开发阶段,但在大厂和老牌公司夹击下探索出一套生存策略:专利布局。她告诉「定焦One」,他们想在大公司还没重视这一块时提前布局,“不管是以后大公司小公司,如果要设计AI安全相关的应用,应该都绕不过这套专利系统,而大厂相比自研,最直接、更省心的就是和有专利的公司合作”。不过相关技术壁垒能否真正转化为商业优势,还有待市场验证。

03.需求还没变成生意,AI安全在等什么?

卖方加速入局,那买方呢?

现阶段,这门生意并没有脱离To B软件的基本逻辑。

目前最直接的变现路径就是做项目。企业有模型、数据或者Agent安全需求,安全公司提供评测、部署、咨询和定制化服务,按照项目收费。这种方式门槛相对低,也最容易在行业早期落地,但高度依赖人力,很难快速复制。

第二种是卖软件和安全能力。企业通过私有化部署、软件授权等方式,把第三方安全产品接入自己的AI系统;对于有研发能力的大公司,也可以直接采购第三方技术,再自行开发和集成。

更理想的模式,是把安全能力做成API。



刘雁告诉「定焦One」,这种商业模式包括定制化服务、API调用以及技术授权等。她更看好API模式的规模化潜力,就像今天开发者调用DeepSeek、豆包等大模型一样,未来企业也可以直接调用第三方公司的安全能力,让模型或Agent在执行任务时,多经过一道安全检查。

商业模式看起来并不复杂,但同样一门生意,在国内外所处的阶段并不相同。

这种差距不只来自技术,更与AI进入企业的深度有关。刘雁在与企业接触时感受到,目前国内AI安全仍处在非常早期的阶段。不少企业连AI本身都还没有真正部署到业务里,更谈不上单独拿出一笔AI安全预算。“连AI落户都还没有做到的时候,怎么谈AI安全?”她说。

这其实揭示了AI安全商业化面临的第一道门槛:AI安全的渗透率,很难长期跑在AI应用的渗透率前面。

一家企业只有先把AI用起来,才会逐渐把数据库、内部文件、代码库等资源开放给AI;只有AI真正拿到权限,数据泄露、越权操作等风险才会从纸面问题变成现实问题。到了这一步,企业才更有动力为安全买单。但即便AI已经进入业务,安全也未必会成为企业最先花钱的地方。

这种差距也体现在资本的态度上,蒋工称,“国内资本对应用层很狂热,因为应用的确有明确的变现路径,但模型安全不是。”

从两位业内人士的判断来看,改变这一局面的变量可能有两个。

一个是事故。蒋工将其类比为疾病预防:所有人都知道提前预防疾病很重要,但在真正生病之前,很少有人愿意持续投入大量成本。企业安全也是类似的逻辑,没有发生足够严重的事故之前,安全部门更多是一项成本,很难像能直接带来收入的业务一样获得资源倾斜。刘雁的判断与之相似。她认为,当B端企业真正意识到AI安全会影响自身业务时,付费意愿自然会提高。

另一个则是监管。刘雁用了一个充电宝的例子。过去充电宝可以直接带上飞机,后来随着安全标准完善,3C认证逐渐成为一道强制门槛。她认为,如果未来AI应用、Agent乃至具身智能设备也需要达到统一的安全标准,那么安全检测、咨询和防护就可能从企业的“可选项”变成“必选项”。

这也是AI安全这门生意目前最微妙的地方:风险已经出现,产品已经有人做,商业模式也并不难理解,但真正大规模的付费需求还没有完全形成。

它需要等待AI进一步进入真实业务,也需要等待企业把更多数据和权限交给Agent,更要等待安全需求真正变成一笔明确的企业预算。在这之前,玩家们需要做的,就是先卡好位置。

*题图及文中配图均由AI生成。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
权威媒体:C罗在队内会议中被告知个人需服从团队 他随即宣布离队

权威媒体:C罗在队内会议中被告知个人需服从团队 他随即宣布离队

风过乡
2026-10-01 07:54:51
华为Mate90正式发布!余承东:Mate90系列,是中国半导体发展史的答卷

华为Mate90正式发布!余承东:Mate90系列,是中国半导体发展史的答卷

互联鱼
2026-10-01 11:48:10
34岁女星自曝:靠不刮体毛,每天入账1000美元

34岁女星自曝:靠不刮体毛,每天入账1000美元

赴一场山海啊
2026-09-29 21:59:51
戴帽子会引发脑梗?医生含泪劝告:60岁以后,这5件事一定要盯紧

戴帽子会引发脑梗?医生含泪劝告:60岁以后,这5件事一定要盯紧

路医生健康科普
2026-10-01 10:30:06
川南退伍老兵逛地摊,意外发现军区加密档案,花8000买下后改变人生

川南退伍老兵逛地摊,意外发现军区加密档案,花8000买下后改变人生

温情邮局
2025-07-24 13:46:03
奚梦瑶婆婆出手大方,送22只300万黄金手镯,却不如大姑子嫁妆贵

奚梦瑶婆婆出手大方,送22只300万黄金手镯,却不如大姑子嫁妆贵

椰黄娱乐
2026-10-01 12:25:08
黄仁勋入职清华,震动全球!

黄仁勋入职清华,震动全球!

财经三分钟pro
2026-09-30 22:07:36
街头连打架都少见,国家为何突然再掀扫黑风暴?真相让人背后发凉

街头连打架都少见,国家为何突然再掀扫黑风暴?真相让人背后发凉

网络易不易
2026-08-24 10:31:58
超级喜讯!王曦雨2-1逆转伊埃拉,中国提前包揽冠亚军,但首盘40-0没保住,决赛碰张帅慢热就是隐患

超级喜讯!王曦雨2-1逆转伊埃拉,中国提前包揽冠亚军,但首盘40-0没保住,决赛碰张帅慢热就是隐患

锐评利物浦
2026-10-01 18:50:32
歌坛痛失刘欢才几天,佘诗曼又出事了,他们给人敲响了健康警钟

歌坛痛失刘欢才几天,佘诗曼又出事了,他们给人敲响了健康警钟

梦醉为红颜一笑
2026-10-01 20:04:23
林莉任苏州市委常委、统战部部长,此前任江苏省民政厅副厅长

林莉任苏州市委常委、统战部部长,此前任江苏省民政厅副厅长

江南江南
2026-09-30 15:01:20
全民拒接陌生来电,运营商扛得住吗?

全民拒接陌生来电,运营商扛得住吗?

普陀动物世界
2026-10-01 04:29:28
赵本山落网后屋内搜出20吨黄金,暗中移民海外?私生活谣言太离谱

赵本山落网后屋内搜出20吨黄金,暗中移民海外?私生活谣言太离谱

秋姐居
2026-09-29 11:31:44
刚走完长征路的毛主席:瘦骨嶙峋,一脸愁容,衣服破烂,让人心疼

刚走完长征路的毛主席:瘦骨嶙峋,一脸愁容,衣服破烂,让人心疼

小豫讲故事
2026-10-01 06:00:18
76年叶选宁看望胡耀邦,胡耀邦说了哪些话最终让叶帅选定他?

76年叶选宁看望胡耀邦,胡耀邦说了哪些话最终让叶帅选定他?

今明文史
2026-10-01 06:00:15
成本仅3000万,票房破5亿?陈思诚都压不住,这才是国庆档大黑马

成本仅3000万,票房破5亿?陈思诚都压不住,这才是国庆档大黑马

靠谱电影君
2026-09-29 17:18:16
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
中式英语莫非要风靡全球了?网友:不能被外国人卡脖子!

中式英语莫非要风靡全球了?网友:不能被外国人卡脖子!

另子维爱读史
2026-10-01 19:14:59
詹姆斯直升机通勤引热议!飞行员拥有20多年经验:曾在国防军服役

詹姆斯直升机通勤引热议!飞行员拥有20多年经验:曾在国防军服役

罗说NBA
2026-10-01 06:47:06
辽宁富豪一家被灭门,保姆装死幸存,15年后才敢说出当晚实情

辽宁富豪一家被灭门,保姆装死幸存,15年后才敢说出当晚实情

悬案解密档案
2025-04-02 11:31:49
2026-10-01 20:48:49
定焦One incentive-icons
定焦One
深度影响创新。
1274文章数 1121关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

足够先进可以展示 191式自动步枪硬核开箱视频首次披露

头条要闻

足够先进可以展示 191式自动步枪硬核开箱视频首次披露

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

本地
时尚
家居
健康
艺术

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

在米兰,用时装唤醒内心的自我

家居要闻

2026建博会(广州) 公装联探展交流活动

刷酸祛痘,为什么有人翻车?

艺术要闻

云南最美烂尾楼!砸几十亿的“山顶神仙住处”,让人心疼!

无障碍浏览 进入关怀版