大模型赋能政务,安全挑战凸显
在人工智能技术飞速发展的当下,大模型作为人工智能领域的重大突破,在自然语言处理、计算机视觉和语音识别等方面展现出卓越能力。政务行业积极拥抱这一技术变革,大模型正从“辅助工具”向“核心赋能者”转变,深度融入政务办公、政务服务、治理决策等全场景。通过智能问答、自动填表、工单秒派、政策精准推送等功能,大模型已成为数字政府提质增效的关键力量。
然而,大模型技术在为政务工作带来便利的同时,也引入了新的安全技术风险和挑战。这些风险不仅可能影响政务工作的正常开展,更关乎国家安全和公民个人隐私保护。因此,构建完善的政务大模型应用安全防护体系,已成为当前亟待解决的重要课题。
大模型应用安全风险与挑战
网络攻击风险
政务大模型应用具有开放性,只要网络可达,任何人都能访问,这使得其面临的网络攻击风险暴露面增大。类似DeepSeek被DDoS攻击、ChatGPT“奶奶漏洞”、某政务大模型私有化部署Clickhouse数据库数据泄露等事件时有发生,给政务系统的稳定运行和数据安全带来严重威胁。
访问控制风险
政务大模型在对外提供服务时,对用户访问的输入/输出行为缺乏严格管控。这可能引发提示词注入攻击、敏感信息泄露、越狱攻击和不当输出等风险,使政务信息被非法获取或篡改,影响政务决策的科学性和公正性。
自身安全风险
国内政务大模型大多基于开源模型应用,但对开源大模型预训练的数据掌握不清,使用的应用组件缺乏安全审查。此类隐患易引发供应链攻击、输出内容偏见、模型算法不可信等风险,可能导致政务大模型输出有失准确性与公平性的结果,进而影响政府公信力。
数据安全风险
大模型如同一个“黑盒”,其自身的知识和数据对用户基本不透明。在应用过程中,若不对大模型数据和知识进行数据安全治理,则存在训练数据违规收集、个人敏感信息泄露和训练数据内容不当等风险。这些问题不仅可能侵犯公民个人隐私,甚至引发更深层次的社会信任危机。
大模型安全合规要求
国家层面
我国高度重视人工智能应用的发展。国务院在《国务院关于深入实施“人工智能 +”行动的意见》中明确提出“推动模型算法、数据资源、基础设施、应用系统等安全能力建设,防范模型的黑箱、幻觉、算法歧视等带来的风险,加强前瞻评估和监测处置,推动人工智能应用合规、透明、可信赖”,为大模型应用安全防护指明了方向。
标准层面
国家信安标委(TC260)陆续发布GB/T 45654—2025 《网络安全技术 生成式人工智能服务安全基本要求》、GB/T 45958—2025 《网络安全技术 人工智能计算平台安全框架》等人工智能国家安全标准,为行业开展大模型安全建设提供了合规参考依据。
行业层面
2025年国家网络安全宣传周期间,《政务大模型应用安全规范》正式发布。该规范由中央网信办指导,国家工业信息安全发展研究中心组织各方力量共同制定,明确了政务大模型应用的安全要求和测试方法,包括大模型选用、大模型应用部署、大模型应用运行、大模型应用停用等,为政务行业开展大模型应用安全设计、规划提供了指导依据。
政务行业大模型安全解决方案
网御星云政务大模型安全解决方案遵循国家人工智能网络安全标准及政务行业技术规范,基于“用AI安全技术,解决AI安全风险”的防护思路,结合政务行业AI应用场景,从模型访问安全、模型应用安全、模型自身安全、模型数据安全、模型数据安全咨询等层面,构建“安全、可信、可控”的大模型应用安全体系。
![]()
图:政务大模型安全解决方案示意图
模型访问安全
部署大模型访问安全代理(MASB),基于“零信任”安全理念,构建大模型输出/输入安全护栏。MASB满足《政务大模型应用安全规范》中对大模型安全护栏的功能要求,具备大模型访问的终端环境感知、多维身份认证、统一访问授权、提示词攻击防护、大模型输出/输入内容识别过滤、AI安全风险行为拦截和全程安全审计等能力。
模型应用安全
部署大模型应用防火墙(MAF),针对大模型OWASP TOP 10 LLM风险,实现对大模型应用和智能体的安全防护。MAF具备抗DDoS攻击防护、API接口防护、越狱攻击防护、输入/输出内容过滤、模型应用漏洞防护和模型对话安全审计等能力。
模型自身安全
部署大模型安全评估系统(MAVAS),建立大模型风险评估基线,确保大模型在设计、训练、部署和运行的全生命周期中具备内在安全性和可靠性。MAVAS具备模型接入管理、用例管理、安全评测,覆盖商业违法违规和侵犯他人合法权益8大类经典评估安全场景,包含31类安全风险点。
模型数据安全
部署大模型访问脱敏罩(MADA Mask),实现大模型用户访问上传文件、外挂RAG知识库数据上传文件等场景的敏感数据脱敏,防止数据泄露。MADA Mask具备敏感数据识别、输入数据文件脱敏、内容智能阻断和数据行为审计等能力。
数据治理服务
网御星云提供专业的大模型数据安全咨询服务,结合“知鉴”AI安全数据治理工具,可高质量地帮助用户实现数据安全治理、安全知识库搭建和安全智能体应用落地。
多年来,网御星云长期专注于AI安全方向的研究,推出系列自研AI应用安全产品,已在政务、交通、公安和医疗等多个行业进行了应用实践,积累了丰富的行业经验和成功案例,致力于为政务行业大模型应用安全提供可靠保障。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.