网易首页 > 网易号 > 正文 申请入驻

政务大模型安全新规落地,网御星云护航大模型应用安全实践

0
分享至

大模型赋能政务,安全挑战凸显

在人工智能技术飞速发展的当下,大模型作为人工智能领域的重大突破,在自然语言处理、计算机视觉和语音识别等方面展现出卓越能力。政务行业积极拥抱这一技术变革,大模型正从“辅助工具”向“核心赋能者”转变,深度融入政务办公、政务服务、治理决策等全场景。通过智能问答、自动填表、工单秒派、政策精准推送等功能,大模型已成为数字政府提质增效的关键力量。

然而,大模型技术在为政务工作带来便利的同时,也引入了新的安全技术风险和挑战。这些风险不仅可能影响政务工作的正常开展,更关乎国家安全和公民个人隐私保护。因此,构建完善的政务大模型应用安全防护体系,已成为当前亟待解决的重要课题。

大模型应用安全风险与挑战

网络攻击风险

政务大模型应用具有开放性,只要网络可达,任何人都能访问,这使得其面临的网络攻击风险暴露面增大。类似DeepSeek被DDoS攻击、ChatGPT“奶奶漏洞”、某政务大模型私有化部署Clickhouse数据库数据泄露等事件时有发生,给政务系统的稳定运行和数据安全带来严重威胁。

访问控制风险

政务大模型在对外提供服务时,对用户访问的输入/输出行为缺乏严格管控。这可能引发提示词注入攻击、敏感信息泄露、越狱攻击和不当输出等风险,使政务信息被非法获取或篡改,影响政务决策的科学性和公正性。

自身安全风险

国内政务大模型大多基于开源模型应用,但对开源大模型预训练的数据掌握不清,使用的应用组件缺乏安全审查。此类隐患易引发供应链攻击、输出内容偏见、模型算法不可信等风险,可能导致政务大模型输出有失准确性与公平性的结果,进而影响政府公信力。

数据安全风险

大模型如同一个“黑盒”,其自身的知识和数据对用户基本不透明。在应用过程中,若不对大模型数据和知识进行数据安全治理,则存在训练数据违规收集、个人敏感信息泄露和训练数据内容不当等风险。这些问题不仅可能侵犯公民个人隐私,甚至引发更深层次的社会信任危机。

大模型安全合规要求

国家层面

我国高度重视人工智能应用的发展。国务院在《国务院关于深入实施“人工智能 +”行动的意见》中明确提出“推动模型算法、数据资源、基础设施、应用系统等安全能力建设,防范模型的黑箱、幻觉、算法歧视等带来的风险,加强前瞻评估和监测处置,推动人工智能应用合规、透明、可信赖”,为大模型应用安全防护指明了方向。

标准层面

国家信安标委(TC260)陆续发布GB/T 45654—2025 《网络安全技术 生成式人工智能服务安全基本要求》、GB/T 45958—2025 《网络安全技术 人工智能计算平台安全框架》等人工智能国家安全标准,为行业开展大模型安全建设提供了合规参考依据。

行业层面

2025年国家网络安全宣传周期间,《政务大模型应用安全规范》正式发布。该规范由中央网信办指导,国家工业信息安全发展研究中心组织各方力量共同制定,明确了政务大模型应用的安全要求和测试方法,包括大模型选用、大模型应用部署、大模型应用运行、大模型应用停用等,为政务行业开展大模型应用安全设计、规划提供了指导依据。

政务行业大模型安全解决方案

网御星云政务大模型安全解决方案遵循国家人工智能网络安全标准及政务行业技术规范,基于“用AI安全技术,解决AI安全风险”的防护思路,结合政务行业AI应用场景,从模型访问安全、模型应用安全、模型自身安全、模型数据安全、模型数据安全咨询等层面,构建“安全、可信、可控”的大模型应用安全体系。


图:政务大模型安全解决方案示意图

模型访问安全

部署大模型访问安全代理(MASB),基于“零信任”安全理念,构建大模型输出/输入安全护栏。MASB满足《政务大模型应用安全规范》中对大模型安全护栏的功能要求,具备大模型访问的终端环境感知、多维身份认证、统一访问授权、提示词攻击防护、大模型输出/输入内容识别过滤、AI安全风险行为拦截和全程安全审计等能力。

模型应用安全

部署大模型应用防火墙(MAF),针对大模型OWASP TOP 10 LLM风险,实现对大模型应用和智能体的安全防护。MAF具备抗DDoS攻击防护、API接口防护、越狱攻击防护、输入/输出内容过滤、模型应用漏洞防护和模型对话安全审计等能力。

模型自身安全

部署大模型安全评估系统(MAVAS),建立大模型风险评估基线,确保大模型在设计、训练、部署和运行的全生命周期中具备内在安全性和可靠性。MAVAS具备模型接入管理、用例管理、安全评测,覆盖商业违法违规和侵犯他人合法权益8大类经典评估安全场景,包含31类安全风险点。

模型数据安全

部署大模型访问脱敏罩(MADA Mask),实现大模型用户访问上传文件、外挂RAG知识库数据上传文件等场景的敏感数据脱敏,防止数据泄露。MADA Mask具备敏感数据识别、输入数据文件脱敏、内容智能阻断和数据行为审计等能力。

数据治理服务

网御星云提供专业的大模型数据安全咨询服务,结合“知鉴”AI安全数据治理工具,可高质量地帮助用户实现数据安全治理、安全知识库搭建和安全智能体应用落地。

多年来,网御星云长期专注于AI安全方向的研究,推出系列自研AI应用安全产品,已在政务、交通、公安和医疗等多个行业进行了应用实践,积累了丰富的行业经验和成功案例,致力于为政务行业大模型应用安全提供可靠保障。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
蒋欣减肥吃不饱委屈痛哭,干吃黄瓜瘦到90斤,42岁素颜白嫩像20岁

蒋欣减肥吃不饱委屈痛哭,干吃黄瓜瘦到90斤,42岁素颜白嫩像20岁

郑丁嘉话
2025-11-06 09:17:16
金价一波大涨过后,为何三四线城市金店先撑不住了

金价一波大涨过后,为何三四线城市金店先撑不住了

澎湃新闻
2025-11-06 16:50:31
山姆被骂上热搜!800万会员抵制阿里高管,集体喊退卡

山姆被骂上热搜!800万会员抵制阿里高管,集体喊退卡

吃瓜局
2025-11-05 15:22:55
亚冠二积分榜:国安拿到3分上升至第三,麦克阿瑟升至榜首

亚冠二积分榜:国安拿到3分上升至第三,麦克阿瑟升至榜首

懂球帝
2025-11-06 22:29:18
她死于1688年,她的黄谣却传到了2025年

她死于1688年,她的黄谣却传到了2025年

最爱历史
2025-11-06 17:55:58
100%的责任!中国对荷兰下达“最后通牒”,外媒:这次真的麻烦了

100%的责任!中国对荷兰下达“最后通牒”,外媒:这次真的麻烦了

大卫聊科技
2025-11-05 13:47:37
中央纪委国家监委网站最新通报,5人被查

中央纪委国家监委网站最新通报,5人被查

鲁中晨报
2025-11-06 08:43:03
炸裂!医生玩这么刺激?湖南副院长眼科主任混乱关系看得令人发麻

炸裂!医生玩这么刺激?湖南副院长眼科主任混乱关系看得令人发麻

阿銍武器装备科普
2025-11-05 23:51:30
李嘉诚时代真的结束了!全运会四大家族去了三家,唯独缺了李家!

李嘉诚时代真的结束了!全运会四大家族去了三家,唯独缺了李家!

青青子衿
2025-11-05 21:02:56
最佳抗衰老的 4 种运动,让你比同龄人显年轻!

最佳抗衰老的 4 种运动,让你比同龄人显年轻!

增肌减脂
2025-11-06 13:06:40
迷你共享摩托现身长沙?网友调侃配色撞脸防晒霜,公司:共享电动车,外观像摩托

迷你共享摩托现身长沙?网友调侃配色撞脸防晒霜,公司:共享电动车,外观像摩托

潇湘晨报
2025-11-06 21:29:16
令人担忧!国足3大名将或失宠,与邵佳一不兼容,恐结束国脚生涯

令人担忧!国足3大名将或失宠,与邵佳一不兼容,恐结束国脚生涯

国足风云
2025-11-06 08:44:51
内涵高露、手撕王传君,“黑料缠身”的白百何,谁给她的勇气?

内涵高露、手撕王传君,“黑料缠身”的白百何,谁给她的勇气?

白面书誏
2025-11-06 16:03:00
外企也开始“非必要不出差了”?

外企也开始“非必要不出差了”?

旅界Pro
2025-11-05 08:26:29
一个十分残酷的事实:国产数据库,国产系统,90%基于美国开源改造

一个十分残酷的事实:国产数据库,国产系统,90%基于美国开源改造

侃故事的阿庆
2025-11-06 06:06:17
水洗貂皮退货后续!商家曝全过程,顾客买的特价貂,第7天无理由

水洗貂皮退货后续!商家曝全过程,顾客买的特价貂,第7天无理由

奇思妙想草叶君
2025-11-05 23:48:44
不愧是网飞,这部电影快要404了,真敢拍

不愧是网飞,这部电影快要404了,真敢拍

来看美剧
2025-11-06 18:17:09
全球都在看中国将如何救援航天员!俄罗斯和美国9个月,中国多久

全球都在看中国将如何救援航天员!俄罗斯和美国9个月,中国多久

林子说事
2025-11-06 10:56:02
7年雪藏8亿罚款,范冰冰用《地母》杀回东京电影节,但翻身仍无望

7年雪藏8亿罚款,范冰冰用《地母》杀回东京电影节,但翻身仍无望

电影票房预告片
2025-11-06 15:40:49
美声称须允许台“平等参与”明年中方主办的APEC会议,外交部回应

美声称须允许台“平等参与”明年中方主办的APEC会议,外交部回应

澎湃新闻
2025-11-06 15:34:26
2025-11-06 22:55:00
网御星云
网御星云
可信赖的网络安全专家
232文章数 0关注度
往期回顾 全部

科技要闻

小鹏机器人里藏真人?何小鹏发一镜到底视频

头条要闻

"迷你共享摩托"现身长沙 投放公司:车辆是共享电动车

头条要闻

"迷你共享摩托"现身长沙 投放公司:车辆是共享电动车

体育要闻

送走两位全明星,公牛成了东部第一

娱乐要闻

“黑料缠身”的白百何 谁给她的勇气?

财经要闻

南银法巴加速发展背后:资金饥渴症待解

汽车要闻

是我眼花了么?怎么大猩猩都来参加新车发布了?

态度原创

艺术
时尚
健康
旅游
本地

艺术要闻

预定年度十佳!49岁的舒淇,杀疯了

看看这些穿搭就知道,秋季穿衣很简单,找对方法舒适又得体

超声探头会加重受伤情况吗?

旅游要闻

明天12时4分,仙游将迎来…

本地新闻

这届干饭人,已经把博物馆吃成了食堂

无障碍浏览 进入关怀版