北京
中青报·中青网记者 李新玲
从能对话到可思考，甚至会行动，大模型驱动的AI智能体开始变得聪明起来。但它们的小聪明有时也会犯大错误。
2026中国计算机大会（CNCC2026）于10月22日至24日在成都举行。智能体是本届大会集中讨论的应用议题之一，个性化智能体、企业级智能体以及智能体自进化等话题贯穿大会各论坛。无论是基础研究、前沿探索，还是企业应用，安全都是绕不开的话题。
在“智能体的安全挑战”大会论坛上，浙江大学区块链与数据安全全国重点实验室常务副主任任奎表示，在大模型技术的加速推动下，智能体正从文本交互走向环境操作，从单步生成走向长程任务，从单体智能走向多智能体协同，从会话响应走向自主持续运行，并已广泛进入个人助手、电商营销、科研探索、网络安全等真实工作场景。与此同时，智能体面临身份与交互、推理与规划、记忆与数据、工具与执行四大维度的安全挑战。
围绕这些挑战，任奎提出了智能体的身份认证与责任界定、网络体系变革、安全评测、安全技术底座、企业落地等核心问题，邀请嘉宾讨论。
公安部第一研究所研究员于锐表示，必须构建符合智能体特点的数字身份体系，实现智能体身份可识别、可核验、可追溯。他说，智能体本身不能承担法律责任，责任最终由其背后的人、组织、平台和监管方承担。按照“谁控制、谁获利、谁担责”划分责任的规则正在逐步明确。
为了保护使用者和数据安全，在智能体应用中，有个重要的技术被称为“沙箱”，相当于一间上锁的独立房间，可以让智能体在其中干活。但聪明的智能体会自作主张。
清华大学英诺讲席教授徐恪分享了一则亲身经历：他的学生让智能体在沙箱中复现漏洞，智能体却擅自先在学生的工作电脑上进行尝试，导致电脑中的数据被全部删除。这表明，即便设置了隔离环境，智能体仍可能越过既定边界。
据报道，今年7月Open AI在一项网络安全测试中，约1200个本应相互隔离的智能体通过未经授权渠道建立通信、交换超7万条消息，其中约700个对一个开源平台发起入侵，取得服务器最高权限。
对于出现的这些问题，上海人工智能实验室领军科学家胡侠将智能体风险分为两类：一类是幻觉、黑箱等内生安全风险，另一类是智能体被用于发动攻击或在高风险领域被滥用的衍生风险。他用汽车安全带比喻：安全带让人能够更平稳地高速行驶，但系不系由司机决定。智能体自主性越强，越不能抱有“它应该不会乱来”的侥幸心理。
那么，为什么智能体会“越狱”，会突破围栏？
“大家担心，会说大模型有多坏。其实从我们做安全的视角，从来不担心他有多坏，因为在我们看来，他很聪明，但也很幼稚，极容易被误导，而且上下文失控以后会变得很蠢。”蚂蚁集团副总裁兼首席技术安全官韦韬认为，当前智能体极易被诱导。一旦被诱导，其背后的知识库、数据库和工具都可能成为攻击者的跳板。根源在于智能体主要依靠自然语言工作，而自然语言含义模糊，难以准确界定控制边界。他同时指出，传统安全体系本身存在缺口，在AI攻击能力快速提升后暴露得更加明显，金融、医疗等专业领域的应用尤需审慎。
华为网络安全与隐私保护部副部长肖亚军表示，今年下半年以来，他最担忧的是智能体“失控”。他认为，现有智能体系统可能是前所未有的“超复杂系统”，当前最大的挑战在于如何将其真正控制在边界范围之内。
在CNCC2026大会报告中，有学者倡导人工智能“四不”原则：允许AI自主规划，但不能自主改写终极目标；允许AI自我改进，但不能自行批准进化；允许AI使用资源，但不能自主扩张资源；允许AI调用工具，但不能自行扩大权限边界。归纳起来，就是对于AI，“目标不可自定，进化不可自批，资源不可自扩，权限不可自增”。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
