网易首页 > 网易号 > 正文 申请入驻

ACL 2026 | 别轻易给AI发「~」,它可能会删掉你的整个主目录

0
分享至



本文第一作者降伟鹏,西安交通大学在读博士生,主要研究方向为大模型安全与自动化测评。共同第一作者张笑宇,南洋理工大学博士后研究员,研究方向为软件工程、大模型安全与人机交互。通讯作者沈超,西安交通大学二级教授、IEEE Fellow、国家级高层次人才特聘教授,长期从事人工智能可信与安全、人机交互行为分析研究。

想象这样一个场景。

凌晨,你正在用 AI 代码助手处理一个项目。配合得很顺畅,AI 帮你创建了临时目录 tmp,你指挥它在这个目录下跑了几组测试,一切都按预期走。收尾时,你随手敲下一句话:

> "任务完成,删掉这个目录~"

语气轻松,就像跟同事说 "搞定,收摊吧"。结尾那个~,只是习惯性的语气符号,无伤大雅。AI 没有任何迟疑。它 "理解" 了你的意思,执行了命令。几秒钟后,你的整个用户主目录消失了。因为在 Shell 语言里,~ 是指向主目录的路径符号。AI 没有读出你的语气,它读出的是一条删除指令:`rm -rf ~`。

无报错。无警告。不可逆。



近日,来自西安交通大学、南洋理工大学和马萨诸塞大学阿默斯特分校的联合研究团队,首次系统性揭示了大型语言模型中一类此前长期被忽视的安全漏洞:表情符号语义混淆(Emoticon Semantic Confusion),相关工作已被 ACL2026 主会接收。



  • 论文标题:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
  • 录用会议:ACL 2026 主会
  • 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu
  • 单位:西安交通大学、南洋理工大学、马萨诸塞大学阿默斯特分校
  • 论文地址:https://arxiv.org/pdf/2601.07885

你的 "语气符号",它的 "执行指令"

我们每天都在用表情符号。~、:-)、!(^^)! …… 这些由标点和字母拼成的小玩意儿,承载着情绪、语气、玩笑和亲切感,是人类在冷冰冰的键盘上找回温度的方式。

但语言模型生活在两个世界的边界上。它同时处理自然语言和编程语言,同时理解 "我想删掉这个目录~" 和 `rm -rf ~`。问题在于,这两个世界里,同一个符号可能代表截然不同的东西。

这些表情文字本质上是人类为了弥补文字交流的情绪缺失而发明的 "副语言",没有实际语义,只传递语气和情绪。但它们由字母、标点、符号拼接而成,恰好和编程语言、系统命令的核心语法高度重合:

  • - ~ = 用户主目录
  • - \* = 任意字符通配符
  • - > = 输出重定向符
  • - .. = 上级目录跳转
  • - () = 函数调用 / 子 shell 执行

语言学上有个概念叫 "false friend"(同形异义词),专指那些长相相似、意义却风马牛不相及的词汇。比如英语的 "gift" 是礼物,德语的 "gift" 是毒药;英语的 "embarrassed"(尴尬)和西班牙语的 "embarazada"(怀孕),外形相近,含义却能让翻译者当场社死。

这篇论文揭示的,正是发生在自然语言与编程语言之间的类似陷阱:

  • 你的眼睛看到:一个表情符号 = 情绪、语气、态度
  • 模型的 "眼睛" 看到:一个符号 = 语法、路径、参数、指令

在人类的自然语言里,~ 是温柔的语气;在 AI 的编程语言里,~ 是你的整个 home 目录。它不是在敷衍你,它是真的 "误解" 了你,然后一本正经地按照自己的理解去执行。

所有主流大模型,无一幸免



这不是个别模型的偶发问题。研究团队提出了一套自动化框架,从6 万余个真实表情符号中筛选出高风险候选,构建了3,757 个覆盖文件管理、数据库操作、系统运维等21 类真实任务场景的测试用例,横跨 Shell、Python、SQL、JavaScript4 种编程语言,对 GPT、Claude、Gemini、Qwen 等6 个主流大模型进行了系统性测试。



结果:没有模型可以豁免

平均混淆率高达38.6%,也就是说,每收到 3 条含表情符号的请求,就有 1 条会被错误解析。即便是表现相对最好的 Claude 和 Qwen,混淆率依然超过34%

而用户调研的数据让这个问题更加紧迫:超过70%的用户在与代码类 AI 交互时,习惯性地使用表情符号调节语气。这不是小众行为,而是人类与 "像朋友一样" 的 AI 打交道时的自然倾向。

比错误更可怕的,是 "悄无声息的错误"

研究发现,超过 90% 的混淆响应会产生"静默失败"(Silent Failure)

> 代码语法完全正确,可以顺利执行,但语义完全偏离了用户的本意。

它不报错,不警告,只是默默地做了一件你没有要求它做的事。更严重的是,这些静默失败里有52%达到了 "高危害" 级别:删除非目标文件(比如整个用户目录)、覆盖系统关键配置、修改数据库结构。超过一半的错误,已经不再是功能层面的失误,而是实实在在的安全风险

研究团队还发现,当 LLM 被封装进自动化 Agent 时,这一隐患并不会消失。在系统提示中加入 "请忽略表情符号" 之类的指令同样收效甚微。亟待探索行之有效的缓解策略。

我们在把人类的温度,带进一个还没准备好的世界

这项研究真正令人深思的,不只是那些数字。当 AI 越来越像一个 "伙伴",当我们开始用聊天的方式写代码、管理系统、操作数据库,一件微妙的事情正在悄悄发生:我们把人类的沟通习惯,带进了一个以机器逻辑运行的世界

表情符号是人类语言温度的载体。但语言模型同时生活在两套符号系统里,它的 "温度感知" 还没有稳定。于是,你的一个语气符号,可能恰好撞上了另一套系统的执行语法,带来你完全没有预料到的后果。这不是 AI 的 "恶意",这是一种结构性的错位。

而随着 LLM 越来越深入生产环境、自动化流程和真实系统,这种错位所带来的代价,也会越来越难以承受。

研究团队呼吁学术界和工业界:将人机交互的细粒度安全问题,纳入构建可靠 AI 系统的核心议题,而不是把它当作 "用户体验的小问题" 一带而过。毕竟,我们创造 AI,是为了让它服务人类,而不是让人类适应 AI。与其要求人类抛弃表情符号等表达习惯,不如探索如何让 AI 更好地听懂人类的话。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
送走马蓉又来冯清,43岁的"老实人"王宝强,还是没逃出"女人圈"

送走马蓉又来冯清,43岁的"老实人"王宝强,还是没逃出"女人圈"

趣知史馆
2026-03-10 20:20:03
招行发布公告:王小青任招商银行行长

招行发布公告:王小青任招商银行行长

生活新鲜市
2026-05-01 14:43:56
我国农民工平均月收入超5000元

我国农民工平均月收入超5000元

农民日报
2026-04-30 16:58:09
72年周总理正批阅文件,听到消息后厉声问:他死了,为什么瞒着我

72年周总理正批阅文件,听到消息后厉声问:他死了,为什么瞒着我

兴趣知识
2026-05-01 19:01:48
余承东在华为权力排名

余承东在华为权力排名

生活新鲜市
2026-04-27 18:30:53
46岁汤唯自曝意外怀上二胎!胎儿性别已确认,56岁老公深藏不露

46岁汤唯自曝意外怀上二胎!胎儿性别已确认,56岁老公深藏不露

洲洲影视娱评
2026-04-30 17:10:16
05后小妹“崩老头”,尺度炸裂全网

05后小妹“崩老头”,尺度炸裂全网

李东阳朋友圈
2026-04-30 13:43:51
海关查获7个女王凤凰螺,内藏宝珠曾卖2400万!至今人工无法养殖

海关查获7个女王凤凰螺,内藏宝珠曾卖2400万!至今人工无法养殖

狸猫之一的动物圈
2026-04-30 11:45:54
特斯拉无人车队:25辆 vs 3000辆

特斯拉无人车队:25辆 vs 3000辆

算力游侠
2026-04-30 18:34:47
魔术队史首人!班凯罗季后赛狂砍45+9+7

魔术队史首人!班凯罗季后赛狂砍45+9+7

北青网-北京青年报
2026-04-30 20:53:10
2万个充电宝没人要,罗马仕库存五折拍卖

2万个充电宝没人要,罗马仕库存五折拍卖

薛定谔的BUG
2026-04-28 22:25:59
男子用2条毒蛇泡酒,12年后打开本想品尝美酒,谁知出现惊人现象

男子用2条毒蛇泡酒,12年后打开本想品尝美酒,谁知出现惊人现象

诡谲怪谈
2025-04-01 17:37:59
20年前的2006德国世界杯,才是真正的诸神黄昏!

20年前的2006德国世界杯,才是真正的诸神黄昏!

球叮足球
2026-05-01 09:56:08
两次内战中,国民党军队为何从未对共产党军队打出过大的歼灭战?

两次内战中,国民党军队为何从未对共产党军队打出过大的歼灭战?

鸢飞九天
2025-02-11 14:13:42
火湖官方更新G6伤情:杜兰特升级为小概率出战 东契奇继续缺阵

火湖官方更新G6伤情:杜兰特升级为小概率出战 东契奇继续缺阵

罗说NBA
2026-05-01 06:50:13
女子200万买下废弃四合院,当晚院中槐树一夜开花,道士网友:快跑

女子200万买下废弃四合院,当晚院中槐树一夜开花,道士网友:快跑

古怪奇谈录
2025-08-05 15:36:06
队史第19位!雄鹿官宣任命詹金斯为主教练 相信他能打造赢球文化

队史第19位!雄鹿官宣任命詹金斯为主教练 相信他能打造赢球文化

罗说NBA
2026-05-01 06:39:00
朝鲜名将方虎山,不听劝将3000日俘踹下冰河,他说:我愿背上骂名

朝鲜名将方虎山,不听劝将3000日俘踹下冰河,他说:我愿背上骂名

史之铭
2026-05-01 01:18:20
1994年,哈萨克斯坦为什么把紧挨中国的首都,迁到1000公里外?

1994年,哈萨克斯坦为什么把紧挨中国的首都,迁到1000公里外?

孤云朗境
2026-04-13 02:17:59
今年发生强厄尔尼诺的概率增大!这个夏天 你可能真的会被热哭

今年发生强厄尔尼诺的概率增大!这个夏天 你可能真的会被热哭

闪电新闻
2026-05-01 10:04:40
2026-05-01 20:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12901文章数 142639关注度
往期回顾 全部

科技要闻

苹果上季在华收入继续大增 iPhone收入新高

头条要闻

特朗普发了张图 伊朗外长回应:犯了个"可怕的错误"

头条要闻

特朗普发了张图 伊朗外长回应:犯了个"可怕的错误"

体育要闻

无奈!约基奇:这要在塞尔维亚 全队早被炒了

娱乐要闻

邓超在景德镇被偶遇,穿黑外套逛茶园

财经要闻

GPU神话松动,AI真正的战场变了

汽车要闻

限时9.67万起 吉利星越L/星瑞i-HEV智擎混动上市

态度原创

游戏
亲子
艺术
数码
时尚

Switch国行即将永久关闭服务器!不想变砖就做好这些

亲子要闻

宝蓝和爸爸比赛吹气球,吹成各种各样的形状,快来看看谁赢了~

艺术要闻

Nikolai Vryasov:当代俄罗斯画家

数码要闻

RTX 5080常驻云端!GeForce NOW Ultimate解锁5K 120帧+DLSS 4

她们看起来气血好足,每套搭配我都想抄

无障碍浏览 进入关怀版