网易首页 > 网易号 > 正文 申请入驻

AI推理模型"过度思考"漏洞或引发拒绝服务攻击风险

0
分享至


大语言模型(LLM)逐步具备分步推理能力,使AI能够处理更复杂的任务。然而,最新研究表明,这种推理能力同时带来了一个关键安全漏洞——攻击者可借此让AI系统陷入"过度思考",从而大幅拖慢其运行速度。

早期大语言模型会直接响应用户请求,而当前最先进的模型会在给出答案之前,生成一段内部"独白",将问题拆解成多个步骤进行推理。这一机制使AI在编程和数学等领域能够胜任越来越复杂的任务。

然而,此前的研究已发现,这类模型容易产生冗长的推理过程,且推理内容对提升准确率几乎没有帮助,这种现象被称为"过度思考"。本周,在首尔举行的2026年国际机器学习大会上,来自浙江大学和阿里巴巴的研究人员发表研究成果,证明可以通过向模型输入逻辑上相互矛盾的提示词,人为诱发"过度思考",进而对商业AI模型实施拒绝服务攻击。

研究团队开发了一种进化算法,专门用于破坏提示词的逻辑结构,使模型在尝试推理本质上无解的问题时陷入循环。由于更长的输出意味着更高的成本和更大的服务器负载,研究人员指出,若此类攻击大规模发起,将严重影响正常用户的使用体验。该攻击方法已在多个主流AI公司的推理模型上得到验证,包括DeepSeek-R1、阿里巴巴的Qwen3-Thinking、OpenAI的GPT-o3以及谷歌的Gemini 2.5 Flash,在标准数学基准测试中,部分模型的输出长度最高达到正常响应的26倍。

浙江大学硕士生曹威在给IEEE Spectrum的邮件中写道:"在多个数据集和推理模型上,我们的方法都能大幅增加输出长度。研究结果表明,过度思考并非个别模型的孤立现象,而是现代推理模型普遍存在的共性漏洞。"

该团队的研究思路源于此前另一组研究人员的发现——当问题缺少关键前提时,推理模型容易陷入过度思考。例如,询问某人每天步行十英里,但不说明共走了多少天,总共走了多远。面对这类无解问题,模型往往不会识别出问题本身有误,而是反复进行无效推理,却始终无法给出答案。

在此基础上,研究团队从三个数学基准数据集中提取了940道题目,利用大语言模型将其逻辑结构拆解为若干前提和一个最终问题。随后,遗传算法通过多种"变异"操作打乱这些结构,包括在不同题目间互换前提、增加额外前提、删除已有前提,以及在两组前提之间互换最终问题。

每轮变异后,题目会被评分,评分标准包括:诱导目标模型输出的词数,以及触发"过度思考"语言标志词(如"但是""等等""也许""或者"等)的频率。得分最高的题目被保留,其余题目继续参与变异,整个过程共迭代五轮。曹威特别指出,该方法无需访问模型内部参数,仅通过向目标模型发送查询即可生成恶意提示词,因此同样适用于攻击闭源商业服务。

研究结果显示,该方法能够稳定地使所有被测推理模型的输出长度数倍于原始问题。其中,DeepSeek-R1在MATH数据集(一个以高中数学竞赛题目为主的基准集)上表现最为突出,最长输出达到未修改问题最长响应的26.1倍。尽管研究重点在于数学题目,但研究人员也在编程、科学推理和对话任务上进行了测试,同样观察到输出长度的显著增加。

这一方法面临的挑战在于,生成恶意提示词需要对推理模型进行多次查询,成本较高,曹威也坦承这在一定程度上限制了攻击的性价比。不过,研究团队进一步验证,使用更小、更廉价的模型生成恶意提示词,同样能诱导目标模型产生数倍于正常长度的输出。这种跨模型迁移能力,大幅提升了攻击的可行性。

不过,曹威强调,该研究的目的并非开发一种实用的拒绝服务攻击手段。模型提供商的定价策略、速率限制、上下文窗口大小以及现有防御机制,都会影响此类攻击的实际效果。研究的真正意图,是揭示这些模型在面对逻辑不一致提示词时的脆弱性,促使服务提供商着手解决这一问题。

"我们的目标不是证明可以以极低成本发动大规模攻击,而是要表明这一攻击面客观存在,"他写道,"我们的研究结果表明,这一漏洞是一个真实存在的安全隐患。"

Q&A

Q1:什么是AI推理模型的"过度思考"漏洞?

A:推理模型在处理逻辑矛盾或缺失关键前提的问题时,无法识别问题本身有误,而是反复进行无效推理,导致输出内容极度冗长。研究人员通过遗传算法构造逻辑混乱的提示词,可人为诱发这一现象,使模型输出长度最高达到正常响应的26倍,从而增加服务器负载,影响正常用户体验。

Q2:哪些AI模型受到这种"过度思考"攻击的影响?

A:研究团队测试了多个主流推理模型,均受到不同程度的影响,包括DeepSeek-R1、阿里巴巴的Qwen3-Thinking、OpenAI的GPT-o3以及谷歌的Gemini 2.5 Flash。其中DeepSeek-R1在数学基准测试中受影响最为显著,输出长度最高达正常响应的26.1倍。

Q3:这种攻击方式需要访问模型内部结构吗?

A:不需要。该攻击方法仅通过向目标模型发送查询来生成恶意提示词,无需获取模型内部参数。这意味着即便是闭源的商业AI服务也同样面临风险。此外,研究还证明,使用小型廉价模型生成的恶意提示词,同样能有效攻击大型推理模型,进一步提升了攻击的可行性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
97%白人占比的阿根廷,为什么永远挤不进欧美“白人圈子”?

97%白人占比的阿根廷,为什么永远挤不进欧美“白人圈子”?

健身狂人
2026-07-05 06:06:40
死伤惨重!北约峰会前夕,一场惨烈报复性空袭打响

死伤惨重!北约峰会前夕,一场惨烈报复性空袭打响

大国之翼
2026-07-07 06:35:18
震惊!75元南宁校服与69000元LV夹克“撞衫”,网友:能起诉吗

震惊!75元南宁校服与69000元LV夹克“撞衫”,网友:能起诉吗

火山詩话
2026-07-07 11:40:39
前TVB咪神普吉岛补办婚礼,36E身材抢镜老公不敢露脸

前TVB咪神普吉岛补办婚礼,36E身材抢镜老公不敢露脸

悠悠说世界
2026-07-06 21:12:23
你以为路灯是免费的?揭秘中国路灯电费归属,产生的电费有多少?

你以为路灯是免费的?揭秘中国路灯电费归属,产生的电费有多少?

有牙的兔纸
2026-07-03 01:31:20
连续9场世界杯破门!卡卡谈梅西:这不是纪录,这是足球历史奇迹

连续9场世界杯破门!卡卡谈梅西:这不是纪录,这是足球历史奇迹

体育闲话说
2026-07-08 07:25:52
"免费午餐"该结束了?中国电动汽车热潮如何酿成巨大的财政黑洞

"免费午餐"该结束了?中国电动汽车热潮如何酿成巨大的财政黑洞

时光会带走回忆
2026-06-23 07:46:43
不留退路!俄罗斯法院裁定:没收欧洲清算银行2490亿美元资产

不留退路!俄罗斯法院裁定:没收欧洲清算银行2490亿美元资产

小正说娱乐
2026-05-19 03:01:40
老詹又给机会了?奇才对浓眉要价曝光:勇士需送出巴特勒+多个首轮次轮

老詹又给机会了?奇才对浓眉要价曝光:勇士需送出巴特勒+多个首轮次轮

罗说NBA
2026-07-08 19:13:25
人口大迁徙或成定局?未来超半数中国人,大概会涌向这些地方

人口大迁徙或成定局?未来超半数中国人,大概会涌向这些地方

王二哥老搞笑
2026-07-03 17:49:36
凭什么?梅西怎么又成了全场最佳?

凭什么?梅西怎么又成了全场最佳?

果壳
2026-07-08 13:02:29
特朗普扬言在卸任前要让美国掌握四成至六成晶片产能,国台办回应:民进党当局无底线媚美卖台,换来的不过是美国得寸进尺、吃干榨净

特朗普扬言在卸任前要让美国掌握四成至六成晶片产能,国台办回应:民进党当局无底线媚美卖台,换来的不过是美国得寸进尺、吃干榨净

政知新媒体
2026-07-08 13:31:25
台风巴威登陆浙江中南部到福建北部概率最高80%,上海有局部大暴雨可能

台风巴威登陆浙江中南部到福建北部概率最高80%,上海有局部大暴雨可能

上观新闻
2026-07-08 19:58:31
不统而统!社科院专家首提新概念,或成两岸统一“第三条路”?

不统而统!社科院专家首提新概念,或成两岸统一“第三条路”?

时光漫游志
2026-06-30 06:34:18
那个提出生机勃勃的老年人的经济学家走了

那个提出生机勃勃的老年人的经济学家走了

阿亮评论
2026-07-08 13:00:55
土耳其女老板在印度投了17年,4亿多美元,1万员工,一觉醒来全没

土耳其女老板在印度投了17年,4亿多美元,1万员工,一觉醒来全没

李子橱
2026-06-21 17:15:11
巴菲特曾预言:20年或50年后,日本和美国都会更强大,中国呢?

巴菲特曾预言:20年或50年后,日本和美国都会更强大,中国呢?

小兰聊历史
2026-05-19 13:03:56
成都金牛区厢式货车失控,撞倒路中间安全岛2人,现场情况惨烈;警方:很快进行通报

成都金牛区厢式货车失控,撞倒路中间安全岛2人,现场情况惨烈;警方:很快进行通报

大风新闻
2026-07-08 20:22:36
罗马诺:安帅与巴西足协将继续合作,备战下届美洲杯和世界杯

罗马诺:安帅与巴西足协将继续合作,备战下届美洲杯和世界杯

懂球帝
2026-07-08 17:30:15
澳大利亚海滩惊现6个神秘金属球 当地消防警告民众千万不要触摸 澳航天局:可能来自太空

澳大利亚海滩惊现6个神秘金属球 当地消防警告民众千万不要触摸 澳航天局:可能来自太空

台州交通广播
2026-07-08 01:57:49
2026-07-09 07:11:00
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
19974文章数 49717关注度
往期回顾 全部

科技要闻

独家对话小红书IPO举报风波当事人

头条要闻

广西贵港3000名师生等待救援 老师:人几乎都要被冲走

头条要闻

广西贵港3000名师生等待救援 老师:人几乎都要被冲走

体育要闻

阿根廷绝境重生,离不开这个罗!

娱乐要闻

鹿晗出轨?邓超出轨绯闻又被扒出

财经要闻

新能源车"外挂电池"乱象:暗藏致命风险

汽车要闻

MB.EA纯电架构/售价33.98万 全新奔驰纯电GLC鎏金版上市

态度原创

健康
本地
数码
家居
公开课

干细胞是人体的专属修理工吗?

本地新闻

万斤西瓜免费吃,来河南顶“瓜瓜”

数码要闻

1399元!小米发布米家无线洗地机5:污渍毛发一拖即净

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版