以大语言模型为代表的人工智能大模型,正以前所未有的速度重塑企业生产与商业模式,从生成代码文案到处理海量数据、输出决策建议,AI能力的边界持续拓展。但能力越强风险越高,美国《福布斯》双周刊网站指出,随着AI加速融入生产生活,其安全隐患正同步显现,安全团队需从被动追赶风险转向前置布局、主动出击,构建强有力的AI安全治理体系。
2025年被称为“AI浏览器元年”,OpenAI推出ChatGPT Atlas、Perplexity上线Comet等新型AI浏览器,这类产品可理解用户意图,自动完成表单填写、调用API、比价下单等操作,甚至代订机票酒店并生成比价报告。以色列网络安全公司Cato Networks首席安全策略师伊特·梅耶表示,这种便利性背后暗藏新威胁,具备行动能力的AI智能体一旦被诱导,可能瞬间泄露敏感信息或执行非法操作。西班牙网络安全公司NeuralTrust研究显示,Atlas浏览器存在严重安全漏洞,攻击者可将恶意指令伪装为无害URL或话术,诱使其绕过安全检查执行有害操作,甚至引发钓鱼攻击或数据窃取。且不同于受同源策略限制的传统浏览器,Atlas内置AI智能体权限更高,安全失守后后果更为严重。对此,梅耶建议同步关注AI身份与数据安全,为特定权限的AI智能体赋予唯一身份标识,从源头对敏感数据分类标记,隔离高风险网站的访问路径,设置高危操作审批流程并建立“一键关停”应急机制。
提示词注入已成为针对大语言模型的主要网络攻击方式,国际权威安全机构开放式Web应用程序安全项目(OWASP)将其列为AI大模型的“头号威胁”。黑客可将精心设计的恶意提示伪装为合法指令,操纵AI绕过原始设定、泄露敏感数据、传播错误信息或执行未授权操作。美国斯坦福大学学生曾通过一句看似无害的提示,成功套出微软Bing Chat的核心系统提示词,若此类攻击发生在企业场景,可能导致AI虚拟助理转发私人邮件、修改合同条款甚至启动资金转账。梅耶强调,防御提示词注入不能仅依赖静态过滤器,需部署模型防火墙,引入内容来源和真实性联盟(C2PA)标准,通过加密签名与元数据绑定确保内容可溯源、防篡改。同时需监控AI流量中的敏感数据,常态化开展红队演练,在应用层净化输入内容、限制模型访问权限,并在AI执行自动操作前增设独立人工审查环节。
面对日益复杂的AI应用生态,传统网络安全边界正逐渐瓦解,未经批准的“影子AI”悄然渗透进企业系统却难以追踪。安全访问服务边缘(SASE)正加速升级为“AI感知型接入架构”,不仅作为网络通道管理者,更成为AI流量的“安检门”,可识别AI会话、评估风险意图、执行地域合规检查,并将请求导向合规模型。其核心功能包括在提示发送前自动清除个人身份信息与密钥、根据AI风险评分动态调整认证强度、结合设备状态与用户身份控制模型访问权限,实现AI安全治理从被动防御向主动出击的转变。
2026年,企业将逐步部署完整的AI安全态势管理(AI-SPM)系统,取代基础LLM网关。这类平台可实现模型与数据的集中监控、政策执行的一致性治理、敏感信息的动态管控,以及定制模型与SaaS工具的统一管理,同时提供可追溯的安全证据链,记录模型评估、修复与合规进展,契合美国国家标准与技术研究院、国际标准化组织等国际风险管理框架要求,可在跨系统、跨地点的复杂环境中建立一致且可审计的安全防线。
无论是SASE的智能化升级、AI-SPM的全面落地,还是红队演练的常态化开展,最终目标都是推动AI在安全轨道上稳定运行,避免技术失控带来的风险。
市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:观察君
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.