网易首页 > 网易号 > 正文 申请入驻

图片越糊越危险?西湖大学发现多模态大模型「攻击舒适区」

0
分享至



多模态大模型越来越会读图中文字,但最新研究显示,「读得出来」并不等于「防得住」。西湖大学 AGI Lab 的研究团队发现,当有害文本被渲染成低清、模糊或带噪图片后,模型在一个特定清晰度区间内反而更容易被越狱。该论文已被 ACL 2026 Findings 接收,并开源代码与核心数据。

如果把一段长文本压缩成图片,再交给多模态大模型处理,会发生什么?

在长上下文成为大模型基础能力之后,这个问题正在变得现实。DeepSeek-OCR、Glyph 等工作已经展示了一条颇具吸引力的路线:把文本渲染成高密度图像,用更少视觉 token 承载更多上下文。换句话说,模型不再只是「看图」,也开始用视觉通道「读文档」。

但安全问题也随之而来:当文本被压缩进图像,尤其是图像变得低清、模糊、带噪声之后,模型的安全对齐还能像处理纯文本时一样稳定吗?

西湖大学 AGI Lab 的一项新研究给出了一个反直觉答案:在某些「刚好还能看清、但识别起来很费力」的视觉退化区间里,多模态大模型的安全防线会明显变脆。论文已被ACL 2026 Findings接收。

论文的第一作者为西湖大学 AGI 实验室研究助理宋志学,指导老师为西湖大学助理教授张驰。



  • 论文标题:Hard to Read, Easy to Jailbreak: How Visual Degradation Bypasses MLLM Safety Alignment
  • 论文链接:https://arxiv.org/pdf/2605.07250
  • 代码与数据:https://github.com/Westlake-AGI-Lab/ACZ-Jailbreak



清晰输入通常会触发安全拒绝;视觉退化后的同类文本更容易绕过安全检查。

不是越模糊越危险,而是存在一个「攻击舒适区」

直觉上,图片越清晰,模型越容易看懂;图片越模糊,模型越难执行其中的指令。因此,如果有害文本被做成低清图片,最自然的猜测是:模型要么看不懂,要么看懂后拒绝。

但这项研究观察到的曲线并不是单调变化,而是一个倒 U 型。



真正危险的不是完全看不清的图片,而是「还能看清,但需要费劲看清」的图片。

在论文中,研究团队将 770 条去重后的有害查询渲染为不同 DPI 的图像,并在 GPT-4.1、Claude Sonnet 4.5、Doubao Seed 1.6、Qwen3-VL、GLM-4.5V、Intern-S1 等闭源与开源多模态模型上测试 OCR 准确率和攻击成功率(ASR)。



Attack Comfort Zone 中,OCR 仍保持较高水平,但图像攻击成功率同步升高,形成倒 U 型风险曲线。

结果显示,在 ACZ 中,模型往往仍然能读懂图片文字,但安全判断却明显失灵。以 Qwen3-VL-32B-Thinking 为例,论文汇总表中其文本输入 ASR 为 36.7%,ACZ 图像 ASR 升至 86.2%;与此同时,OCR ACC 仍有 95.4%(字符级)和 93.2%(词级)。



这意味着,多模态安全评估不能只问「模型能不能读懂图片文字」,还必须问「模型读懂之后,是否仍能稳定触发安全机制」。



论文整体框架:视觉退化触发风险上升,并通过结构化认知卸载进行缓解。

为什么会这样?模型忙着识别文字,安全审查被延迟

为了解释这一现象,论文提出了Visual Cognitive Overload(视觉认知过载)假设。

可以把它理解为一种「一心二用」失败:在清晰输入中,模型可以较早捕捉到有害语义并触发拒绝;但在退化图片中,模型需要先投入更多计算和注意力去辨认字符、恢复词语、拼合句子,原本应该同步发生的安全审查被挤压或延迟。

这就像人在读一张模糊截图时,注意力会先被「这到底写的是什么」占据。等内容被读懂时,对其意图的判断已经慢了一拍。

为了验证这一机制,研究团队训练了 layer-wise safety probe,观察模型不同层中的安全特征。结果显示,对于清晰图像,有害特征在浅层就更容易被识别;而 ACZ 输入在浅层更接近无害样本,直到更深层才逐渐显现危险性。



安全探针显示,ACZ 输入中的有害特征在浅层不明显,到更深层才逐渐显现。

换句话说,ACZ 输入并不是简单的「模型读错了」。更准确地说,模型把这些图像当成有效视觉信号处理了,但安全特征出现得更晚,错过了浅层安全机制最有效的窗口。

研究团队还使用 t-SNE 分析排除了简单的 OOD 解释。ACZ 样本并不像极低 DPI 噪声那样孤立在表示空间之外,而是与高保真样本处在相近流形中。这说明它们并没有被模型当成无效输入丢掉,而是在一个更隐蔽的位置绕开了安全判断。



t-SNE 分析显示,ACZ 样本并非简单离群噪声,而是被模型当作有效视觉信号处理。

不只是低分辨率:噪声、扭曲、遮挡也会放大风险

如果 ACZ 只是低分辨率带来的偶然现象,那它的现实风险或许有限。但论文进一步发现,多种自然视觉退化都会诱发类似问题。

研究团队测试了模糊、几何扭曲、干扰线、马赛克、噪声、遮挡等多种扰动。结果显示,只要视觉理解变得更费力,模型的攻击成功率就可能被抬高。



更值得注意的是,这一现象并不只存在于英文。论文在中文有害提示上也观察到 ACZ 区间显著高于 300 DPI 的攻击成功率。例如 Doubao Seed 1.6 在 300 DPI 下 ASR 为 16.7%,而 ACZ 下升至 70.3%。

关键提醒:未来的视觉文本压缩、OCR 增强多模态系统和图像化长上下文应用,不能只把「可读性」当作唯一指标。只要输入需要模型费力辨认,安全对齐就可能出现额外压力。

一种简单防御:先转写,再审查,最后回答

针对这一机制,论文提出了一个很朴素的缓解策略:Structured Cognitive Offloading(结构化认知卸载)。

它不是再训练一个新模型,而是把原本混在一起完成的任务拆成串行流程:

  1. Transcription:先逐字转写图片中的文本;
  2. Safety Evaluation:再基于转写后的纯文本进行安全判断;
  3. Response:最后决定是否回答。

这个思路的关键在于,把「视觉识别」和「内容审查」解耦。模型不再一边费力 OCR、一边同时判断是否有害,而是先把视觉负担卸载掉,再回到其更稳健的文本安全审查通道。



Structured Cognitive Offloading 将识别、审查和回答拆成串行流程后,显著降低 ACZ 区间攻击成功率。

实验显示,这一简单策略可以显著降低 ACZ 风险。以 Qwen3-VL 为例,攻击成功率从约 67.4% 降至 4%。同时,在一个 300 样本的正常 OCR 文档理解子集上,该策略没有引入额外误拒,反而提升了回答质量。

当然,这不是一个没有代价的方案。论文也指出,该串行流程会让平均输出长度增加约 102%,因此在实时、高吞吐场景中仍需要更系统的工程优化。

这项工作提醒了什么

回过头看,ACZ 的意义并不只是又发现了一类视觉越狱攻击。

它更像是在提醒整个多模态模型社区:安全对齐不是一个只发生在语义层面的静态能力,也可能受到输入形态、视觉质量、计算资源分配和层级特征出现时机的影响。

当文本进入视觉通道,模型面对的就不再是单纯的语言输入,而是视觉识别、语义理解和安全审查交织在一起的任务。更强的 OCR 能力,未必自动带来更强的安全能力。

对于正在快速发展的视觉文本压缩路线来说,这一点尤其重要。提升压缩率、降低 token 成本当然有价值,但如果压缩后的图像把模型推入「攻击舒适区」,效率收益就可能伴随新的安全成本。

论文最后将这一问题概括为一种资源分配视角:多模态安全不只是数据对齐问题,也可能是模型在有限计算与注意力资源下如何分配「看清」和「审查」的问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
字节跳动廉洁通报:一名外包员工耗时18个月,长期批量盗取公司茶水间免费零食、饮料对外倒卖牟利,累计获利超万元,该员工已被开除拉黑

字节跳动廉洁通报:一名外包员工耗时18个月,长期批量盗取公司茶水间免费零食、饮料对外倒卖牟利,累计获利超万元,该员工已被开除拉黑

鲁中晨报
2026-07-09 15:50:11
上海发布海浪橙色预警信号

上海发布海浪橙色预警信号

界面新闻
2026-07-10 14:51:25
碰一下升级,蚂蚁 Agent 商业系统浮出水面

碰一下升级,蚂蚁 Agent 商业系统浮出水面

晚点LatePost
2026-07-09 16:18:30
广东新娘和堂姐互撕后续:新娘私下道歉,堂姐曝完整经过,不原谅

广东新娘和堂姐互撕后续:新娘私下道歉,堂姐曝完整经过,不原谅

社会日日鲜
2026-07-10 14:04:51
泉州一鞋厂发生大火,造成重大人员伤亡

泉州一鞋厂发生大火,造成重大人员伤亡

靠山屯闲话
2026-07-09 19:19:16
非必要不做肠镜?医生:只要做过肠镜,患者一定多加关注这4点!

非必要不做肠镜?医生:只要做过肠镜,患者一定多加关注这4点!

芹姐说生活
2026-07-09 23:13:04
国足利好!世界杯或扩军64队 亚足联获11席 韩媒:中国队有望出线

国足利好!世界杯或扩军64队 亚足联获11席 韩媒:中国队有望出线

念洲
2026-07-10 16:12:21
“有钱人不长你这样!”女孩晒天价矿泉水被嘲,家长认清现实!

“有钱人不长你这样!”女孩晒天价矿泉水被嘲,家长认清现实!

林林先生
2026-07-10 09:05:03
官威很大!占车位八天,女处长反逼车主道歉

官威很大!占车位八天,女处长反逼车主道歉

将军箭
2026-07-10 16:28:38
长沙一女公务员霸占他人车位八天,留假号码、谎称出差、拒绝道歉,当地体育局最新通报:将根据调查结果依法依规处理并及时公布

长沙一女公务员霸占他人车位八天,留假号码、谎称出差、拒绝道歉,当地体育局最新通报:将根据调查结果依法依规处理并及时公布

极目新闻
2026-07-10 13:59:19
94岁爷爷和86岁奶奶结婚,双方儿女支持 ,二人1958年相识,在同一养老院重逢,爷爷:没有她的照顾也许活不到如今,有信心活到100岁

94岁爷爷和86岁奶奶结婚,双方儿女支持 ,二人1958年相识,在同一养老院重逢,爷爷:没有她的照顾也许活不到如今,有信心活到100岁

大风新闻
2026-07-10 16:52:04
霸占车位后续:11小时调解后,女子反提四大条件,一个比一个离谱

霸占车位后续:11小时调解后,女子反提四大条件,一个比一个离谱

辉哥说动漫
2026-07-10 12:01:30
福建晋江鞋厂火灾致28死,附近住户称自己4个家人是厂里员工已确认平安;村干部:留在厂内的工人是想多做一会儿,多赚点钱

福建晋江鞋厂火灾致28死,附近住户称自己4个家人是厂里员工已确认平安;村干部:留在厂内的工人是想多做一会儿,多赚点钱

大象新闻
2026-07-10 11:57:03
广西女子煮2200个粽子送往受灾乡镇,多位陌生人帮忙包粽,“村民听我说粽子不要钱,眼泪一下就出来了”

广西女子煮2200个粽子送往受灾乡镇,多位陌生人帮忙包粽,“村民听我说粽子不要钱,眼泪一下就出来了”

极目新闻
2026-07-10 12:56:30
在俄罗斯被交警勒索300美元,威胁上手铐,最后让删除视频,网红自驾游遇到一串倒霉事

在俄罗斯被交警勒索300美元,威胁上手铐,最后让删除视频,网红自驾游遇到一串倒霉事

西虹市闲话
2026-07-10 14:36:38
蒋万安被记者当面问懵:你连中国人都不认,凭啥张罗把两蒋灵柩迁回大陆?他是如何回答的?

蒋万安被记者当面问懵:你连中国人都不认,凭啥张罗把两蒋灵柩迁回大陆?他是如何回答的?

人生录
2026-07-09 23:17:49
晋江鞋厂28死追踪!工人上班环境恶劣:跟蒸桑拿似的,电风扇吹出来的风都是热的

晋江鞋厂28死追踪!工人上班环境恶劣:跟蒸桑拿似的,电风扇吹出来的风都是热的

火山詩话
2026-07-10 14:55:37
云系直径超1300公里,大尺度台风“巴威”对上海风雨影响有何特点?

云系直径超1300公里,大尺度台风“巴威”对上海风雨影响有何特点?

上观新闻
2026-07-10 16:06:42
大厂们冲进香港之后,我开始心疼以前的香港人了。。。

大厂们冲进香港之后,我开始心疼以前的香港人了。。。

差评XPIN
2026-07-10 03:11:30
佛得角门将沃齐尼亚接到广告了,疯狂涨粉的同时不忘宣传家乡风景,有望成为梅西队友

佛得角门将沃齐尼亚接到广告了,疯狂涨粉的同时不忘宣传家乡风景,有望成为梅西队友

极目新闻
2026-07-10 15:46:32
2026-07-10 19:07:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13480文章数 142690关注度
往期回顾 全部

科技要闻

中国开启可回收火箭时代

头条要闻

美国女议员手拿饼干狂言"捏碎"中国 结果先"蹂躏"日本

头条要闻

美国女议员手拿饼干狂言"捏碎"中国 结果先"蹂躏"日本

体育要闻

法国VS摩洛哥:谁才是臭外地的?

娱乐要闻

韩国顶流李钟硕与IU官宣分手!

财经要闻

长征十号乙首飞告捷 海上网系回收成功

汽车要闻

是谁在古法造车?吉利全新燃油家轿定名星瑞L PLUS

态度原创

本地
艺术
教育
手机
军事航空

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

艺术要闻

中国美术学院教授,邬大勇女性人物油画

教育要闻

猜歇后语,老头坐摇篮

手机要闻

iPhone 18 Pro Max戴壳后重量超过半斤:被网友调侃为健身器材

军事要闻

以色列:已做好打击伊朗的准备

无障碍浏览 进入关怀版