网易首页 > 网易号 > 正文 申请入驻

颜水成团队等联合发布PaDT多模态大模型:实现真正多模态表征输出

0
分享至

近年来,多模态大语言模型(Multimodal Large Language Models, MLLMs)在图文理解、视觉问答等任务上取得了令人瞩目的进展。然而,当面对需要精细空间感知的任务 —— 比如目标检测、实例分割或指代表达理解时,现有模型却常常「力不从心」。其根本原因在于:当前主流 MLLMs 仍依赖将视觉目标「翻译」成文本坐标(如 [x1, y1, x2, y2] )的方式进行输出。

这种方式不仅存在格式混乱、解析困难,还容易因数字被拆分成多个独立文本 token(如 489 -> 4, 8, 9),导致语义丢失、图文脱节,从而出现重复生成甚至「幻觉」现象。

针对这一核心瓶颈,新加坡工程院院士、AAAI/ACM/IEEE/IAPR Fellow 颜水成带队,携同华南理工大学、新加坡科技研究局(A*STAR)I2R 研究所、腾讯 WeChat Vision 等机构的研究团队,提出了一种全新的统一范式 —— Patch-as-Decodable Token(PaDT)。

PaDT 的核心思想很简单但颠覆性:

  1. 把图像划分成多个视觉小块(patch),并让模型可以直接生成这些小块对应的视觉令牌(Visual Reference Tokens, VRTs)。
  2. 在 MLLMs 的输入和输出端中,实现文本令牌与视觉令牌的无缝交替出现,让模型「说」图像内容就像「说」文字一样自然。
  3. 从而使模型不再「猜坐标」,而能在生成句子中直接指出图像目标。

凭借这一设计,PaDT 在检测、分割、指代表达等任务上全面刷新 SOTA,甚至以仅 3B 参数的小模型超越了 78B 的 InternVL3!

  • 论文链接:https://huggingface.co/papers/2510.01954
  • 代码地址:https://github.com/Gorilla-Lab-SCUT/PaDT
  • 模型权重:https://huggingface.co/PaDT-MLLM
  • PaperScope 解读:https://www.paperscope.ai/hf/2510.01954

PaDT 的核心思想:从「说坐标」到「指图像」

传统 MLLMs(如 Qwen2.5-VL、InternVL3)在处理视觉任务时,通常将检测框的坐标以字符串形式输出。例如,模型可能会生成 「 [489, 120, 600, 300] 」。然而,这种做法存在三大痛点:

  1. 格式不一致:同一 Prompt 作为输入,不同样本可能生成绝对坐标、归一化坐标、甚至非结构化文本格式,极大地增加目标解析难度;
  2. 语义断裂:数字「489」会被拆成「4」「8」「9」三个独立 token,破坏了空间连续性;
  3. 图文关联弱:坐标数字 token 本身不含语义,难以与图像内容建立深层关联,从而容易导致重复或幻觉生成。

图 1:(a) 传统方法输出格式混乱;(b) Qwen2.5-VL 的 Token Activation Map 显示坐标 token 与图像区域关联弱;(c) PaDT 的 VRTs 与目标区域高度对齐;(d) 单个 VRT 的热力图显示其预测具有空间连续性。

PaDT 的突破在于:不再让模型「描述」位置,而是让它「指向」图像中的具体区域。

具体而言,PaDT 引入了Visual Reference Tokens(VRTs)—— 这些令牌直接来源于输入图像的视觉 patch 嵌入。在每次前向传播中,模型会动态地将当前图像的 patch 特征扩展进文本词表,形成一个「图文一体」的动态嵌入表。这样,模型在生成过程中,既可以输出文字(如类别名),也可以插入 VRT(如

),后者直接对应图像中的某个局部区域。

图 2:PaDT 实现了文本 token 与视觉 patch token 的统一预测,使 MLLM 能同时输出语义描述与空间定位。

这种设计巧妙地避开了传统方法依赖全局视觉码本(如 ClawMachine)的缺陷 —— 后者容易混淆相似物体,且可能生成图像中根本不存在的 patch。而 PaDT 的 VRTs仅来自当前图像,天然具备唯一性和空间一致性。

轻量解码器 + 鲁棒训练:让 VRTs 真正「生效」

仅有 VRTs 还不够,如何将其转化为具体的检测框或分割掩码?PaDT 设计了一个轻量级的 PaDT Decoder,仅由三个双向注意力块组成。该解码器接收 LLM 输出的 VRT 隐藏状态,通过注入任务特定的可学习 token(如 box token、mask token 和 score token),即可统一解码出 bounding box、segmentation mask 和置信度分数。

更关键的是,PaDT 提出了一套鲁棒的训练策略。传统方法往往要求模型预测目标区域内的所有前景 patch,但这会导致训练偏差和过拟合。PaDT 则在每次训练时随机采样少量(如 5 个)前景 VRTs 作为监督信号,并通过一种掩码交叉熵损失,动态屏蔽未选中的 VRT logits,从而鼓励模型探索多样化的有效视觉参考。

这种「少而精」的监督方式,不仅提升了模型泛化能力,还显著降低了推理时的 token 消耗 —— 每个目标仅需 5 个 VRTs,远少于逐字符生成坐标的开销。

图 3:PaDT 整体框架。图像 patch 特征经动态嵌入模块扩展为 VRTs,与文本 token 一同输入 LLM;输出序列中的 VRTs 被轻量解码器转换为结构化视觉结果。

性能炸裂:3B 模型干翻 78B 巨无霸

PaDT 的实验结果堪称惊艳。在RefCOCO/+/g的指代表达理解(REC)任务上,PaDT Pro(3B)以 93.6 的平均准确率,超越了参数量高达 78B 的 InternVL3(91.4)。而在指代表达分割(RES)任务中,PaDT 同样大幅领先,即便对比使用 SAM 等强大分割基础模型的方法(如 Text4Seg+SAM),依然保持优势。

更令人震撼的是在COCO 开放词汇检测任务上的表现。传统 MLLMs 在此任务上 mAP 普遍低于 20,而PaDT Pro(3B)一举将 mAP 推高至 38.2,几乎翻倍! 7B 版本更是达到 39.0 mAP,展现出极强的可扩展性。

图 4:PaDT 在 RefCOCO/+/g 的指代表达理解(REC)任务结果。PaDT Pro (3B) 以 93.6 的平均准确率,超越了参数量高达 78B 的 InternVL3(91.4)。

图 5:PaDT 在 RefCOCO/+/g 的指代表达分割(RES)任务结果。PaDT 依靠自带的轻量 decoder 轻松超越借助 SAM 强大分割基础模型的方法。

图 6:PaDT 在 COCO 开放词汇检测上的结果。PaDT Pro (3B) 一举将 mAP 推高至 38.2。

此外,团队还构建了一个新的Referring Image Captioning(RIC)数据集,要求模型在生成描述时显式关联对象 ID。PaDT 在此任务上同样大幅领先,CIDEr-D 分数从基线的 0.386 提升至 1.450,同时检测指标(GreedyPrecision 达 82.3%)也证明其生成的 caption 具备极强的视觉 grounding 能力。

图 7:Referring Image Captioning (RIC) 数据集。

为什么 PaDT 如此有效?

PaDT 的成功,源于其对 MLLM 视觉能力瓶颈的深刻洞察。它没有试图在文本空间内「拟合」视觉信息,而是将视觉 patch 本身作为可生成的 token,实现了模态间的原生对齐。

首先,动态嵌入机制确保了 VRTs 与当前图像的强绑定,避免了跨图像混淆;其次,统一的 token 空间让 LLM 能以相同的方式处理语言和视觉信息,简化了训练;最后,轻量解码器将复杂的 dense prediction 任务从 LLM 中解耦,既保留了 LLM 的语义推理能力,又赋予了其精准的空间输出能力。

值得一提的是,PaDT 还展现出强大的多任务泛化能力。通过联合训练 REC、RES、OVD 和 RIC 任务得到的PaDT Pro模型,仅通过切换 prompt 即可无缝切换任务,且性能普遍优于单任务模型,证明了该范式的通用性。

结语:迈向真正的通用多模态智能

PaDT 的提出,标志着 MLLMs 在细粒度视觉理解上迈出了关键一步。它不再满足于「看图说话」,而是能够「指图说话」—— 精准地指出图像中的每一个相关区域,并生成对应的结构化输出。

这项工作不仅在技术上实现了突破,更在理念上启发我们:未来的通用人工智能,或许不应强行将一切信息压缩到文本空间,而应允许不同模态以其最自然的形式共存与交互。

目前,PaDT 的代码和 checkpoints(模型权重)已开源。对于关注多模态、计算机视觉与大模型融合的研究者和工程师而言,这无疑是一个值得关注和尝试的新范式。

作者信息

苏永怡 (第一作者)

华南理工大学博四研究生,A*STAR I2R 访问学者,主要研究多模态大语言模型、基础视觉模型、测试时领域适应课题。

  • 作者个人主页:https://yysu.site/

张浩杰 (共同一作)

华南理工大学三年级研究生,微信视觉团队实习生。主要研究多模态大模型、视频生成模型、基础视觉模型。

  • 作者个人主页:https://zhang-haojie.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌军炸塌克里米亚大桥钢拱,专家估计:修复可能要两年

乌军炸塌克里米亚大桥钢拱,专家估计:修复可能要两年

桂系007
2026-11-20 23:59:14
有网友问,邢道荣这种货色是怎么混成大将的?评论区留言太精辟了!

有网友问,邢道荣这种货色是怎么混成大将的?评论区留言太精辟了!

夜深爱杂谈
2026-11-15 22:47:29
京东市值420亿美元,养活90万员工,孙宇晨高调开炮:没有波场高,波场员工500人

京东市值420亿美元,养活90万员工,孙宇晨高调开炮:没有波场高,波场员工500人

互联鱼
2026-11-19 00:10:04
黄仁勋大概没想到,英伟达董事会拒绝他回归,祸根在他女儿身上

黄仁勋大概没想到,英伟达董事会拒绝他回归,祸根在他女儿身上

听风看局
2026-11-21 10:06:39
毛主席的警卫规格有多高,整个一个师的建制?

毛主席的警卫规格有多高,整个一个师的建制?

往史
2026-11-20 15:00:07
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
张天爱,心气散了

张天爱,心气散了

她时尚丫
2025-05-09 22:16:09
美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

扶苏聊历史
2026-11-19 13:37:49
金融危机不是要来了,而是已经到来了:最先露馅的是黄金

金融危机不是要来了,而是已经到来了:最先露馅的是黄金

小陆搞笑日常
2026-11-20 16:00:23
又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

人生录
2026-11-02 09:08:26
不是迷信!11月22日小雪节气,记得:1不戴,2不吃,吃3样,忌2事

不是迷信!11月22日小雪节气,记得:1不戴,2不吃,吃3样,忌2事

简食记工作号
2026-11-19 03:06:57
8天3赛硬仗!穆帅亮底牌:不靠巨星靠深度

8天3赛硬仗!穆帅亮底牌:不靠巨星靠深度

带你逛体坛
2026-11-21 11:04:08
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
34年蒋介石断言毛泽东不行了,宋美龄却说:毛泽东也许还会给你机会!

34年蒋介石断言毛泽东不行了,宋美龄却说:毛泽东也许还会给你机会!

老钱道古今
2026-11-20 13:22:58
2026至2027中国女排超级联赛:11月21日赛程看点

2026至2027中国女排超级联赛:11月21日赛程看点

开着车去流浪
2026-11-21 10:28:26
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
将黄乐送给黄仁勋的正是其丈夫本人

将黄乐送给黄仁勋的正是其丈夫本人

辇毂
2026-11-12 21:53:52
深圳APEC晚宴的主桌座次,很有深意

深圳APEC晚宴的主桌座次,很有深意

煮酒杂谈
2026-11-20 20:40:05
奥斯卡影帝从山顶纵身跃下,新一季定档2027年3月

奥斯卡影帝从山顶纵身跃下,新一季定档2027年3月

生活观察员啊
2026-11-20 00:27:10
2026-11-21 14:00:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

45岁男子奸淫幼女辩称不知其不满14岁 二审改判七年

头条要闻

45岁男子奸淫幼女辩称不知其不满14岁 二审改判七年

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
手机
本地
家居
旅游

教育要闻

夯爆了!京南首个民办校“钱学森班”亮相,凭啥落地这所学校?

手机要闻

对标iPhone Duo!摩托罗拉首款阔折叠Razr Flex 2027渲染图出炉

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

发现宝藏山东丨枣庄山亭:抱犊崮红叶冬景上新 体验别样山野乐趣

无障碍浏览 进入关怀版