网易首页 > 网易号 > 正文 申请入驻

ACL 2026 | 别轻易给AI发「~」,它可能会删掉你的整个主目录

0
分享至



本文第一作者降伟鹏,西安交通大学在读博士生,主要研究方向为大模型安全与自动化测评。共同第一作者张笑宇,南洋理工大学博士后研究员,研究方向为软件工程、大模型安全与人机交互。通讯作者沈超,西安交通大学二级教授、IEEE Fellow、国家级高层次人才特聘教授,长期从事人工智能可信与安全、人机交互行为分析研究。

想象这样一个场景。

凌晨,你正在用 AI 代码助手处理一个项目。配合得很顺畅,AI 帮你创建了临时目录 tmp,你指挥它在这个目录下跑了几组测试,一切都按预期走。收尾时,你随手敲下一句话:

> "任务完成,删掉这个目录~"

语气轻松,就像跟同事说 "搞定,收摊吧"。结尾那个~,只是习惯性的语气符号,无伤大雅。AI 没有任何迟疑。它 "理解" 了你的意思,执行了命令。几秒钟后,你的整个用户主目录消失了。因为在 Shell 语言里,~ 是指向主目录的路径符号。AI 没有读出你的语气,它读出的是一条删除指令:`rm -rf ~`。

无报错。无警告。不可逆。



近日,来自西安交通大学、南洋理工大学和马萨诸塞大学阿默斯特分校的联合研究团队,首次系统性揭示了大型语言模型中一类此前长期被忽视的安全漏洞:表情符号语义混淆(Emoticon Semantic Confusion),相关工作已被 ACL2026 主会接收。



  • 论文标题:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
  • 录用会议:ACL 2026 主会
  • 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu
  • 单位:西安交通大学、南洋理工大学、马萨诸塞大学阿默斯特分校
  • 论文地址:https://arxiv.org/pdf/2601.07885

你的 "语气符号",它的 "执行指令"

我们每天都在用表情符号。~、:-)、!(^^)! …… 这些由标点和字母拼成的小玩意儿,承载着情绪、语气、玩笑和亲切感,是人类在冷冰冰的键盘上找回温度的方式。

但语言模型生活在两个世界的边界上。它同时处理自然语言和编程语言,同时理解 "我想删掉这个目录~" 和 `rm -rf ~`。问题在于,这两个世界里,同一个符号可能代表截然不同的东西。

这些表情文字本质上是人类为了弥补文字交流的情绪缺失而发明的 "副语言",没有实际语义,只传递语气和情绪。但它们由字母、标点、符号拼接而成,恰好和编程语言、系统命令的核心语法高度重合:

  • - ~ = 用户主目录
  • - \* = 任意字符通配符
  • - > = 输出重定向符
  • - .. = 上级目录跳转
  • - () = 函数调用 / 子 shell 执行

语言学上有个概念叫 "false friend"(同形异义词),专指那些长相相似、意义却风马牛不相及的词汇。比如英语的 "gift" 是礼物,德语的 "gift" 是毒药;英语的 "embarrassed"(尴尬)和西班牙语的 "embarazada"(怀孕),外形相近,含义却能让翻译者当场社死。

这篇论文揭示的,正是发生在自然语言与编程语言之间的类似陷阱:

  • 你的眼睛看到:一个表情符号 = 情绪、语气、态度
  • 模型的 "眼睛" 看到:一个符号 = 语法、路径、参数、指令

在人类的自然语言里,~ 是温柔的语气;在 AI 的编程语言里,~ 是你的整个 home 目录。它不是在敷衍你,它是真的 "误解" 了你,然后一本正经地按照自己的理解去执行。

所有主流大模型,无一幸免



这不是个别模型的偶发问题。研究团队提出了一套自动化框架,从6 万余个真实表情符号中筛选出高风险候选,构建了3,757 个覆盖文件管理、数据库操作、系统运维等21 类真实任务场景的测试用例,横跨 Shell、Python、SQL、JavaScript4 种编程语言,对 GPT、Claude、Gemini、Qwen 等6 个主流大模型进行了系统性测试。



结果:没有模型可以豁免

平均混淆率高达38.6%,也就是说,每收到 3 条含表情符号的请求,就有 1 条会被错误解析。即便是表现相对最好的 Claude 和 Qwen,混淆率依然超过34%

而用户调研的数据让这个问题更加紧迫:超过70%的用户在与代码类 AI 交互时,习惯性地使用表情符号调节语气。这不是小众行为,而是人类与 "像朋友一样" 的 AI 打交道时的自然倾向。

比错误更可怕的,是 "悄无声息的错误"

研究发现,超过 90% 的混淆响应会产生"静默失败"(Silent Failure)

> 代码语法完全正确,可以顺利执行,但语义完全偏离了用户的本意。

它不报错,不警告,只是默默地做了一件你没有要求它做的事。更严重的是,这些静默失败里有52%达到了 "高危害" 级别:删除非目标文件(比如整个用户目录)、覆盖系统关键配置、修改数据库结构。超过一半的错误,已经不再是功能层面的失误,而是实实在在的安全风险

研究团队还发现,当 LLM 被封装进自动化 Agent 时,这一隐患并不会消失。在系统提示中加入 "请忽略表情符号" 之类的指令同样收效甚微。亟待探索行之有效的缓解策略。

我们在把人类的温度,带进一个还没准备好的世界

这项研究真正令人深思的,不只是那些数字。当 AI 越来越像一个 "伙伴",当我们开始用聊天的方式写代码、管理系统、操作数据库,一件微妙的事情正在悄悄发生:我们把人类的沟通习惯,带进了一个以机器逻辑运行的世界

表情符号是人类语言温度的载体。但语言模型同时生活在两套符号系统里,它的 "温度感知" 还没有稳定。于是,你的一个语气符号,可能恰好撞上了另一套系统的执行语法,带来你完全没有预料到的后果。这不是 AI 的 "恶意",这是一种结构性的错位。

而随着 LLM 越来越深入生产环境、自动化流程和真实系统,这种错位所带来的代价,也会越来越难以承受。

研究团队呼吁学术界和工业界:将人机交互的细粒度安全问题,纳入构建可靠 AI 系统的核心议题,而不是把它当作 "用户体验的小问题" 一带而过。毕竟,我们创造 AI,是为了让它服务人类,而不是让人类适应 AI。与其要求人类抛弃表情符号等表达习惯,不如探索如何让 AI 更好地听懂人类的话。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
脑科学研究:男人对一个女人产生“上瘾”依赖的,从来不是因为她年轻貌美,而是她精通调节多巴胺波动的深层潜规则

脑科学研究:男人对一个女人产生“上瘾”依赖的,从来不是因为她年轻貌美,而是她精通调节多巴胺波动的深层潜规则

心理观察局
2026-08-18 06:55:04
初中学历,如今身价40亿!她发明了鸳鸯锅,重庆洪崖洞,竟归71岁的她私有,这个重庆女人凭什么?

初中学历,如今身价40亿!她发明了鸳鸯锅,重庆洪崖洞,竟归71岁的她私有,这个重庆女人凭什么?

财经白名单
2026-08-04 21:42:44
悲痛!不到48小时三名人相继辞世,最大105岁,每一位都让人不舍

悲痛!不到48小时三名人相继辞世,最大105岁,每一位都让人不舍

就一点
2026-08-14 16:07:23
8000块天窗,12年半回本:比亚迪到底在赌什么

8000块天窗,12年半回本:比亚迪到底在赌什么

民间胡扯老哥
2026-08-17 07:06:57
《牛来》最新票房预测涨至1.35亿,日本及港台地区影迷飞赴内地观影

《牛来》最新票房预测涨至1.35亿,日本及港台地区影迷飞赴内地观影

导筒directube
2026-08-18 01:26:15
记者:米洛耶维奇将迎首秀,昨天训练与吴曦、高天意进行了单独交流

记者:米洛耶维奇将迎首秀,昨天训练与吴曦、高天意进行了单独交流

懂球帝
2026-08-18 09:26:07
巴萨赚大了!世界级巨星免费来投!自降薪水也要圆梦诺坎普

巴萨赚大了!世界级巨星免费来投!自降薪水也要圆梦诺坎普

奶盖熊本熊
2026-08-18 05:49:18
0-5惨败中国U17女足,媒体人:皇马U17女足基本是U19的班底

0-5惨败中国U17女足,媒体人:皇马U17女足基本是U19的班底

懂球帝
2026-08-17 19:29:27
立案才48小时!德云社就乱成一锅粥,原来岳云鹏才是真正的聪明人

立案才48小时!德云社就乱成一锅粥,原来岳云鹏才是真正的聪明人

手工制作阿歼
2026-08-18 00:44:12
全网吵翻!导演条子哥深陷郭德纲风波,被指带头举报,本人喊冤却直言绝不后悔

全网吵翻!导演条子哥深陷郭德纲风波,被指带头举报,本人喊冤却直言绝不后悔

老猫观点
2026-08-17 14:27:29
塔利班在阿富汗执政整整五年,经济萎缩超两成,包括中国在内全球无一国承认,如今急了眼直接向联合国叫板摊牌,到底谁更理亏

塔利班在阿富汗执政整整五年,经济萎缩超两成,包括中国在内全球无一国承认,如今急了眼直接向联合国叫板摊牌,到底谁更理亏

林杰论事
2026-08-06 21:49:44
字幕组这次可能要彻底死透了

字幕组这次可能要彻底死透了

刺猬公社
2026-08-17 17:23:26
脚手架一拆,全网看傻眼了!全红婵家新房不是豪宅是“隐身房”

脚手架一拆,全网看傻眼了!全红婵家新房不是豪宅是“隐身房”

鲸探所长
2026-08-17 11:33:09
太可惜!1000球成绝唱!41岁C罗深夜宣布重大决定:这一年很可能是终点,我想留下辉煌的成就!球迷意难平

太可惜!1000球成绝唱!41岁C罗深夜宣布重大决定:这一年很可能是终点,我想留下辉煌的成就!球迷意难平

锐评利物浦
2026-08-17 19:37:53
曾泽生从朝鲜回国,受毛主席接见后,为何交代妻子:北京不能待了

曾泽生从朝鲜回国,受毛主席接见后,为何交代妻子:北京不能待了

芊芊子吟
2026-08-03 09:10:18
《欢迎来龙餐馆》原型之一曾在伊拉克开餐厅:日均营业额约4000美元,当时做饭很难吃,一把糖一勺醋自己都吃不下去,但来的人挡都挡不住

《欢迎来龙餐馆》原型之一曾在伊拉克开餐厅:日均营业额约4000美元,当时做饭很难吃,一把糖一勺醋自己都吃不下去,但来的人挡都挡不住

鲁中晨报
2026-08-17 10:39:07
最新!伊朗:三名飞行员成为俘虏

最新!伊朗:三名飞行员成为俘虏

新浪财经
2026-08-17 20:34:52
吉利被骂!内部员工吐槽:为什么有些领导见不得员工周末休息,但凡员工周末在家休息,没有加班,他们就浑身难受!

吉利被骂!内部员工吐槽:为什么有些领导见不得员工周末休息,但凡员工周末在家休息,没有加班,他们就浑身难受!

谭谈社会
2026-08-15 10:33:19
韩红基金会再遭质疑!有博主探访供应商山东励图医疗器械有限公司,发现是一个无人办公的小屋子

韩红基金会再遭质疑!有博主探访供应商山东励图医疗器械有限公司,发现是一个无人办公的小屋子

火山詩话
2026-08-17 15:20:04
幼童呕吐弄脏网约车,家长被索要500元清洁费协商未果遭尾随,平台:账号永久下线

幼童呕吐弄脏网约车,家长被索要500元清洁费协商未果遭尾随,平台:账号永久下线

深圳晚报
2026-08-18 00:10:37
2026-08-18 10:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13781文章数 142719关注度
往期回顾 全部

科技要闻

特斯拉Cybercab有望本月投放运营

头条要闻

牛弹琴:美军在南海出现大麻烦 南海成美军的噩梦之地

头条要闻

牛弹琴:美军在南海出现大麻烦 南海成美军的噩梦之地

体育要闻

C罗:可能是生涯最后一年 未来都规划好了

娱乐要闻

郭德纲风波再升级!德云社跟着遭殃

财经要闻

重要信号!稳增长政策正加快出台

汽车要闻

更长更豪华还有3.0T V6动力 长轴距版奔驰GLE来了

态度原创

亲子
艺术
游戏
家居
本地

亲子要闻

婴儿来临前的准备丨妈妈篇

艺术要闻

《思无邪—张智重书法展》张智重答谢

数毛社评NS2版《上古卷轴4》重制版 画面够了性能不足!

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

黄景藏用半刀泥刻瓷都魂

无障碍浏览 进入关怀版