上海
近日，全球最大的AI开源社区Hugging Face在官网披露了一起安全事故，攻击者是一个完全自主的AI智能体系统。这一事件在全球引发关于AI安全、取证与防护的广泛讨论。新民晚报记者从上海人工智能实验室获悉，其最近推出“书安”AI安全基座平台，涵盖“数字孪生平台、智能验证矩阵、数据进化飞轮”三大核心模块，旨在构建可复现、可评估、可进化的全链路AI安全验证体系。
来源：东方IC
高保真孪生平台是整套AI安全验证体系的起点。依托数字孪生、数据脱敏和安全隔离等技术，“书安”AI安全基座平台将真实系统中的业务流程、资产关系、权限结构和运行环境进行高精度映射，形成动态的验证体系。该孪生体不仅复刻静态配置，更实时模拟业务状态变化与异常响应，确保每一次验证都能反映真实生产环境下的潜在风险与安全盲区。
据介绍，书安平台颠覆传统安全“靶场”模式，可承载数千级别安全验证智能体同场博弈、迭代进化。书安建成含1500余个业务场景、50万余真实工具的动态仿真环境，可支撑复杂工具联动调用、多轮长程交互等全真业务流程仿真验证；依托自研超图马尔科夫链验证算法，现已完成17套线上真实业务系统的全维度安全测评与有效性核验。
在AI安全验证过程中，“书安”AI安全基座平台首先扮演“体检中心”的角色。它内置了一套由上海AI实验室自主研发的智能扫描引擎，不依赖固定的漏洞库，通过自适应推理来理解系统的业务逻辑，用数字孪生高并发仿真模拟各种极端场景，同时驱动多智能体协同分别检查不同的模块。更关键的是，书安平台引入了类似AlphaZero的自博弈强化学习能力，让智能体具备自主演化能力。
随后，书安平台将转入“体测中心”模式，对系统进行全方位的风险应对测试。它构建了一套多维度动态评估体系，结合数据库访问行为、全链路业务上下文及系统运行状态，可自动识别异常，并动态调整和执行测试方案，形成自动化闭环“体测”流程。
整套验证过程，书安平台始终运行着一套智能裁判系统，实时记录验证全过程及最终效果，安全风险影响等数据，自动化研判打分并对结果公正裁决，最终输出标准化、可量化、可追溯的安全评估报告。
来源：东方IC
新民晚报记者获悉，目前，“书安”AI安全基座平台已在多个产业关键场景开展应用验证——在国际物流供应链领域，平台通过模拟新型安全隐患，助力厦门国际物流供应链中试基地验证核心业务系统应对复杂风险的能力，提升供应链在智能化场景中的安全韧性；在金融领域，平台支撑银联金融支付中试基地的金融支付垂域大模型PaySage1.0-Turbo、商户入网审核智能体、数据分类分级智能体、用户合作经营智能体等多类业务场景开展安全验证，保障模型与智能体应用安全可靠运行；在进出境领域，平台帮助上海海关将安全多智能体协同能力嵌入单证审核、风险防控、口岸查验等关键环节，实现监管更加精准严密、通关更加便利高效，同时确保系统安全可控，保障业务稳定运行。
自2024年提出“AI—45°平衡律”以来，上海AI实验室致力于推动AI安全与性能同步演进，当前已逐步建成覆盖顶层理念、核心技术与行业标准的完整支撑体系。
原标题：《当AI学会“攻击”AI，上海AI实验室亮出“防御神器”》
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
