数字中国·创新大赛丨AI政务应用安全，筑牢数字健康治理防线

来源：市场资讯

（来源：永信至诚）

4月10日，由数字中国建设峰会组委会主办，福建省数据管理局、三明市人民政府承办的2026数字中国创新大赛数字安全赛道暨三明市第六届“红明谷”杯公共数据安全赛（攻防赛）决赛在福建三明举行。永信至诚副总裁付磊受邀出席开幕式，并发表《AI政务应用数据安全介绍》主题演讲。付磊指出，在AI快速发展的背景下，传统安全防护手段已不足以应对新型威胁，必须从认知升级、管理体系优化和实战演练等多维度构建系统性防御机制。

图：永信至诚副总裁付磊

算法缺陷、安全滞后、权限让渡

AI自带三重不安全基因

付磊指出，AI是人为设计的选择算法：AI由“identity”（构造）与“intelligence”（智慧）构成，本质是基于大量数据进行识别、建模并做出选择的算法。AI的核心是替代人类判断：其作用在于对信息进行清洗、区分与决策，广泛应用于政务、科研、生产等领域。在人工智能加速渗透各行各业、广泛普及应用的同时，更需正视其与生俱来的风险。

人为因素导致的内在缺陷：AI由人类设计开发。算法设计者的偏见、伦理盲区、数据取样偏差及世界观局限，都会被编码进AI系统，形成潜在风险。安全问题也贯穿AI整个生命周期：从研发、训练到部署，每个环节都可能引入人为错误。

技术狂飙下的安全滞后：当前AI发展阶段尚处工程化初期，多数AI应用依赖开源组件，软件供应链不掌握在开发者手中，易受“供应链投毒”攻击。技术迭代速度远超安全防控能力，“矛”已进化，“盾”尚未建成。AI技术迭代快于安全防护建设，导致安全能力滞后于应用发展。

权限让渡引发的风险聚合：WEB4.0时代，用户主体不再仅限于人类，AI Agent可自主调用系统、读取数据、执行操作。一旦被赋予高权限，AI可能将历史上所有数据、网络、系统及人为错误集中再现。

当决策权交予智能体，其是否值得信任，成为核心安全议题。从业务运行角度看，AI会集中放大历史遗留的数据、网络与系统缺陷，使原有问题更容易被触发和扩散；从攻击威胁角度看，AI已成为新型攻击武器，可实现24小时不间断自动化攻击，且攻击能力可以在不同AI系统之间快速复制和扩散，显著提升攻击效率。付磊指出，当AI安全挑战不断升级，政务系统面临的安全威胁已从单点风险演变为系统性、持续性的挑战。

以系统治理管住AI风险

确保政务AI应用安全可控

面对风险，政务系统切忌依赖单点技术防护，必须关注整体组织韧性，构建涵盖模型基因安全、系统环境安全、政务应用安全与业务运营安全的综合治理体系。在执行层面，付磊提出政务AI应用管理的“三不要”与“五必须”原则：

坚守“三不要”：

不要把AI当作单纯的“搜索框”：避免过度信任其输出内容，警惕诱导性回答与隐含偏见。

不要把AI当作纯粹的“外包员工”：AI犯错的责任最终仍由使用者承担，不可完全放手。

不要把Agent当作“普通工具”：应视其为“不靠谱但精力无限的实习生”，必须限制其操作权限与影响范围。

落实“五必须”：

必须建立AI系统“数字健康档案”：清晰记录AI系统的组件构成、边界范围、子系统数量、管理员名单等，实现可视可控。

必须明确使用边界：将AI agent的操作限定在可承受损失的范围内，防止失控造成灾难性后果。

必须设立安全验收机制：类比产品交付前的质检流程，所有AI系统上线前需完成安全性测试与评估。

必须实现全程回放与数据留存：保留完整操作日志与审批记录，支持事后追溯与责任认定。

必须加强测评与实战演练：静态防护逐渐失效，需通过常态化攻防演练（如红杯赛事）持续检验与优化管理措施。

付磊指出，进入人工智能时代，买设备式的传统安全建设思路并不能解决未来的网络安全问题，而是需要构建一个长期的、动态的数字健康治理体系。政务AI的安全管理需要在“监管、制度、人员”三端协同发力：转变认知，将AI视为具有自主行为能力的数字主体实施审慎监管；完善制度，建立覆盖准入、审计、权限管控与应急响应的全流程规范；强化人才培养，通过常态化演练提升安全意识与处置能力。唯有将原则转化为机制、将要求固化为能力，才能确保政务AI应用安全可控。

每一次技术革命都伴随风险，但也催生新的机遇。当前正处于AI治理的关键窗口期，唯有通过技术创新、管理升级与社会共治，才能确保AI在政务等关键领域安全、可信、可持续地发展。

作为数字安全测试评估赛道领跑者，网络靶场和人才建设领军者以及AI“原生安全”倡导者，永信至诚立足自身产品与服务能力，通过系统性的全流程测试评估与演练，助力政企单位守好AI信息系统安全的最后一道防线，推动人工智能在政务等关键领域安全、可信、可持续发展。保障数字健康，带给世界安全感。