一张朋友圈普普通通的照片,经人工智能大模型处理后,个人身份、人际关系等敏感信息就可能被泄露——近日,大模型“读心术”登上热搜,再次引发有关网络安全的讨论。大模型正面临着被诈骗分子利用的风险,其安全漏洞令人心惊。
在网络安全工程师眼里,“诱骗”大模型之易如同骗走3岁小孩的糖果一样。数据“投毒”、模型窃取、“记忆”污染、“信任背叛”等大模型特有的安全问题层出不穷。
更为严峻的是,随着攻击技术迭代升级,未知攻击还将持续增加。
去年底,360数字安全集团发布的《大模型安全漏洞报告》显示,近40个大模型存在相关安全漏洞,影响多个知名模型服务框架以及多款开源产品。
网络安全领域的科技创新从未停滞。
在国家部委的支持下,盛邦安全开展了网络空间测绘与反测绘相关的AI技术研究。盛邦安全服务产品线总经理郝龙解释说:“网络空间测绘如果被攻击方利用,会绘制出不利于我们的‘网络空间地图’,而基于反测绘的AI引擎则可以阻断攻击方的探测和扰乱关联分析。”当前,该项目相关技术已应用在金融业。
在AI技术的加持下,网络诱捕情报、预测攻击的技术能力也大幅提升。潮云山东云御公司总经理李聪说,以AI防护AI,有望更全面地抵御新型攻击手段,进行全方位的检测与防护。
![]()
用户在DeepSeek手机客户端上提问。新华社记者 黄宗治 摄
明年1月1日起,新修改的网络安全法将实施,法律中新增相关条款被业内视为对人工智能实施强制性安全防护的“前奏”。
绿盟科技伏影实验室主任研究员吴铁军建议,对于可能影响个人权益、社会公共利益的重大算法应用,要建立备案和审查制度,行业协会、学术机构等专业力量也应参与到算法伦理的研究和治理中,形成多方协同的治理格局。
(科技日报微信公众号)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.