小文秘也能搞垮大模型？服务器九成“裸奔”，被另一大模型的钓鱼邮件“电诈”

来源：滚动播报

（来源：上观新闻）

作为网络安全领域的基础性法律，网络安全法修正草案9月8日首次提请全国人大常委会会议审议。传统模式下，安全软件为你上网的电脑保驾；那么AI时代，怎么为你使用的大模型护航呢？

同日在外滩举行的第13届互联网安全大会（ISC）上海大模型安全论坛透露，监测发现，在现有8971个采用开源大语言模型服务工具（Ollama）的大模型服务器中，有6449个活跃的服务器，其中88.9%都是“裸奔”在互联网上，未采取任何安全措施。

“在传统网络攻击手段的基础上，人工智能的恶意应用，放大了网络攻击效果，带来新的网络安全隐患，致使网络威胁更具规模性、欺骗性、杀伤性。”中国信息通信研究云计算与大数据研究所开源和软件安全部主任郭雪直言，在新型威胁下，传统安全工具可能失效，用AI对抗AI已成为行业共识。

一币两面，“用AI对抗AI”的另一面，其实是“坏”AI被用来攻击“好”AI。360集团创始人周鸿祎曝出，国外某行业大佬遭遇的大模型攻击事件。这家跨国公司应用大模型来处理企业邮件，比如过滤垃圾邮件等。但当这个大模型收到一封来自另一个大模型的“钓鱼邮件”，它不仅认为这是正常的业务邮件，而且未能分辨出其中的文本内容内嵌了大量可执行的指令。结果，按照这些指令的“操弄”，一步步将搜集企业内部的重要信息打包，直接回复给了大模型的发件人。

“如今，前台小文秘也能欺诈后台大模型。”周鸿祎表示，以往黑客是专业人员，至少掌握机器语言才能编写程序；而在大模型全民普及的条件下，人与机器都理解了自然语言，可以“我说你编”实现“氛围式编程”。也就是说，普通人就能利用大模型编出“话术”，实施“电诈”，攻击它的大模型目标。

“这样的安全挑战是人类前所未有的，”周鸿祎认为，其实大模型系统的安全问题还有多个方面，尤其是AI智能体加持后，比如被恶意应用造假造谣、语料不净甚至“数据投毒”、AI幻觉难以彻底清除等。“大模型既是生产力工具，也可能成为新的攻击载体和攻击入口，政府和企业的数据资产、商业机密面临着前所未有的暴露风险，保障AI安全是一项长期而艰巨的任务，需要各方协同努力。”

“道高一尺、魔高一丈”，包含四大智能体在内的大模型安全卫士为此上线上新，以安全智能体“蜂群”来“以模制模”，聚焦解决AI的“可靠、可信、可控、向善”核心问题。在某智慧政务内容安全保障过程中，大模型安全卫士日均检测不良内容1000余条，业务代答900余条，回复安全率超99%，风险识别准确率达99%以上。目前，360深度参与大模型国家标准、大模型技术研发标准、大模型安全框架标准以及国家人工智能三大核心安全标准的制定。

同时，业界共同构建人工智能安全靶场，形成“评测-防护-靶场”三位一体的大模型安全能力。北京邮电大学网络空间安全学院执行院长李小勇透露，北邮研发的大模型安全系列平台包含超过150个大模型攻防对抗算法、百万级数量的行业高质量问题集，以及2万个以上的大模型安全组件漏洞补丁。

事实上，最近北邮、中国信息协会等在京联合举办的首届全国大学生人工智能安全竞赛，大模型攻防靶场就为1600余人参赛提供平台支撑。不过，李小勇也援引数据表示，尽管国内现有500多所高校开设人工智能专业，但AI安全人才的年培养量尚不足8000人，企业用人的80%需要靠内部转岗培训，相关人才的巨大缺口亟待补上。

原标题：《小文秘也能搞垮大模型？服务器九成“裸奔”，被另一大模型的钓鱼邮件“电诈”》

题图来源：上观题图

来源：作者：解放日报 徐瑞哲