筑牢人工智能安全屏障：以创新实�...

来源：市场资讯

（来源：海外网）

来源:新华社客户端

近期，开源AI智能体OpenClaw引发的“养龙虾”热潮在社交平台上迅速传播，在展示出人工智能潜力的同时，也引发了业界对于大模型安全问题的广泛关注。随着大模型能力持续增强，其在复杂交互中的安全边界问题逐渐显现。在此背景下，以深知对话风控模型（以下简称“对话风控模型”）为代表的一批创新成果，正以更贴近实际应用的方式回应这些挑战。

大模型浪潮下的安全挑战

伴随大模型技术的快速普及与应用，越来越多的企事业单位积极投身于大模型私有化部署，以期在智能化浪潮中抢占先机，提升核心竞争力。然而，技术跃迁的背后，由大模型技术引发的安全风险问题亦日益凸显。

面对大模型及相关应用带来的新型安全挑战，相关风险问题已在业内引发广泛关注。多方公开信息显示，部分开源AI智能体在默认或不当配置情况下存在较高安全风险，容易遭受网络攻击并导致敏感信息泄露。同时，在私有化部署场景中，一些服务器长期暴露在公网环境中，模型本身也可能存在被攻击的隐患，整体安全状况仍有待进一步完善。从实际应用情况来看，大模型安全问题已不再局限于传统系统层面的漏洞，而是进一步延伸至大模型自身以及大模型应用层面的安全，包括提示词注入、恶意诱导、隐蔽表达、敏感信息套取等，对现有安全机制提出了新的要求。

一种面向实际应用的安全实践

彩智科技创始人、中国计算机学会（CCF）杰出会员徐剑军带领团队提出“对话风控模型”，以解决大模型在严肃场景中的“幻觉”问题。他说：“幻觉是一个表面现象，根本原因就是知识工程和大模型都有各自的边界。”

据悉，“对话风控模型”采用组件化插入模式，可与原有基座大模型深度协同配合，相当于在基座大模型、应用智能体等大模型应用前端，增设了一道专业的安全“防火墙”。用户所有诉求均先经过对话风控模型，由该模型基于自然语言上下文理解，对潜在风险进行快速识别，并可识别变体拼写、谐音代称等隐蔽表达形式，同时可针对风险问题提供安全代答服务。

该对话风控模型主要由风险研判模型和安全代答模型构成。其中，风险研判模型负责完成对输入的风险识别与分类，实现风险的主动发现、实时预警。安全代答模型则负责对识别出的重点关注类和隐藏条件预警类问题进行回应，按照“事实澄清－政策引用－正向引导”的三段式原则进行回应，兼顾风险防控与服务体验。对于部分存在安全风险的提问，模型并非简单拒答，而是根据风险研判结果，灵活触发安全代答模式或拦截机制。当启动安全代答模式时，模型将依托权威文件构建的动态更新知识库提供回应，回复内容均可溯源至官方权威文件。

共筑AI安全防线，推动人工智能行稳致远

构建面向人工智能时代的安全防护能力，是当前大模型应用过程中需要持续关注的重要问题之一。

从行业发展来看，对话风控模型所体现的，是一种外部化、低耦合的安全防护思路。通过技术解耦和API服务方式，研发团队可以将更多精力放在模型性能提升和核心业务打磨上，减少安全模块与业务逻辑相互牵制带来的开发压力。这种路径有助于降低大模型研发与应用的综合成本，也为专用领域大模型的安全落地提供了新的实践参考。（徐妍迪）