网易首页 > 网易号 > 正文 申请入驻

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

0
分享至

新智元报道

编辑:桃子

【新智元导读】视觉AI终极突破来了!英伟达等机构推出超强多模态模型DAM,仅3B参数,就能精准描述图像和视频中的任何细节。

有了AI,谁还愿意用手配「字幕」?

刚刚,英伟达联手UC伯克利、UCSF团队祭出首个神级多模态模型——Describe Anything Model(DAM),仅3B参数。

论文地址:https://arxiv.org/pdf/2504.16072

正如其名Describe Anything,上传一张图,圈哪点哪,它即可生成一段丰富的文字描述。

即便是一段视频,DAM也能精准捕捉到白色SUV,给出详细的描述。

DAM是一个专为详细局部标注(DLC)而设计的模型,即为特定区域生成详细且精确的描述。

通过两大创新,研究人员在细节与上下文之间找到平衡:

· 焦点提示:对目标区域进行高分辨率编码,就像给模型配备了一副「放大镜」,清晰捕捉到局部区域细微特征

· 局部视觉骨干网络:将精确定位的特定区域,与上下文无缝整合

换句话说,DAM不仅能放大细节看,还能放眼全局看,无论是静态图,还是动态视频,都能做到游刃有余。

网友惊叹道,「终极视觉AI突破」!

AI用「放大镜」看世界

在项目主页中,英伟达等研究团队放出了更多精彩demo。任何人通过点、框、涂鸦或掩码的交互,即可一键生成描述。

上传一张柯基在草地上欢快奔跑的图,选中柯基,让DAM去描述:

一只中等体型的狗,拥有浓密的红棕色毛发,腹部和腿部为白色。这只狗尾巴蓬松,耳朵尖立,戴着带有银色吊牌的红色项圈。它张着嘴露出牙齿,舌头伸在外面。狗呈奔跑姿势,前腿向前伸展,后腿向后伸直。

一只被挤到犄角旮旯的猫星人,DAM是这样配文的,「一只白猫,耳朵呈浅橙色,鼻子是粉色的。猫咪表情放松,眼睛微微闭着,全身覆盖着柔软的白毛」。

再比如,随手涂鸦一栋高楼,DAM可以不断放大细节,给出这幢楼更细致的描述:

一座现代风格的摩天大楼,采用流线型矩形设计,外立面排列着间距均匀的竖向条形窗。建筑呈阶梯式结构,每一层段都比下层略微内缩,形成错落有致的退台造型。建筑幕墙主要由反光玻璃面板构成,整体呈现出极具现代感的抛光效果。

甚至,DAM看着视频中的一头牛,就能直出一篇经典「小作文」:

一幅描绘棕褐色奶牛的动态序列图:这头毛色浓密的奶牛臀部带有浅色斑块,初始画面中它微微低头,透着安详的神态。随着动作展开,奶牛开始稳步前行,四肢舒展着节奏分明的步态,尾梢的簇毛随每一步轻摆,为行进增添流畅韵律。它始终保持挺拔的站姿,略微弓起的背部线条透出放松状态,肌肉结实的腿部稳健地向前迈进。整个运动过程中,奶牛保持着均匀从容的步调,每一个动作都流畅而不迫,展现出宁静自若的生命姿态。

DAM如此厉害,是如何做到的?

DAM技术架构,精准捕捉细节

与传统图像描述(概括整个场景)不同,DLC聚焦于用户指定的局部区域,来生成细致入微的描述。

想象一张照片中一只猫,你不仅需要描述「一只猫在窗台上」,还要深入些几「猫的毛发呈现柔软和灰色条纹,耳朵微微倾斜,眼睛在阳光下闪着琥珀色的光芒」。

可以看出,DLC的目标是捕捉区域的纹理、颜色、形状、显著部件等特征,同时也要保持与整体场景关联。

而在视频领域中,DLC挑战更大。

模型需要追目标区域在多个帧中的变化,描述其外观、交互、和细微动态的演变。

为了应对DLC复杂需求,Describe Anything Model引入了两大核心创新,让局部细节与全局上下文完美平衡。

焦点提示(Focal Prompt)

通过「焦点提示」机制,DAM能够同时处理全图和目标区域的放大视图。

这确保它在捕捉细微特征同时,不丢失整体场景的背景信息。

局部视觉骨干网络(Localized Vision Backbone)

DAM的视觉骨干网络通过空间对齐的图像和掩码,融合全局与局部特征。

利用门控交叉注意力层,模型将详细的局部线索与全局上下文无缝整合。

新参数初始化为0,保留了预训练能力,从而生成更丰富、更具上下文关联的描述。

这种架构让DAM在生成关键词、短语,甚至是多句式的复杂描述时,都能保持高精度和连贯性。

DLC-SDP:破解数据瓶颈

要知道,高质量的DLC数据集极为稀缺,限制了模型的训练。为此,研究团队设计了基于半监督学习的流水线(DLC-SDP),通过两阶段策略构建大规模训练数据。

阶段一,是从分割数据集扩展。利用现有分割数据集短标签(猫),通过视觉-语言模型生成丰富的描述(灰色短毛猫,耳朵直立。

阶段二,自训练未标记的图像,通过半监督学习,DAM对未标记的网络图像生成初始描述,并迭代精炼,形成高质量的DLC数据。

DLC-Bench:重定义评估标准

那么,如何公平地评估DLC模型。

传统方法主要依赖文本重叠,但这无法全面反映描述的准确性和细节。

为此,研究团队提出了全新基准DLC-Bench。通过LLM判断,检查描述的正确细节和错误缺失,而非简单对比文本。

DAM仅能生成详细描述,还具备强大的灵活性和交互性。

指令控制描述

你可以根据需求调整描述的详细程度和风格。

零样本区域问答

而且,无需额外训练,DAM就能回答关于特定区域的问题。

碾压GPT-4o,刷新SOTA

在DLC-Bench和其他7个涵盖图像与视频的基准测试中,DAM全面超越现有模型,树立了新的标杆。

如下表2所示,DAM在具有挑战性的 PACO 基准测试中表现出色,创下了89高分。

而在零样本评估在短语级数据集Flickr30k Entities上,新模型相比之前的最佳结果平均相对提升了7.34%。

此外,零样本评估在详细描述数据Ref-L4 上,DAM在基于短/长语言的描述指标上分别实现了39.5%和13.1%的平均相对提升。

在研究人员提出的DLC-Bench测试中,DAM在详细局部描述方面优于之前的仅API模型、开源模型和特定区域VLM。

下表6所示,DAM在详细局部视频字幕方面刷新SOTA。

总而言之,DAM的优势主要有三大点:更详细、更准确;更少幻觉;多场景适用。

它的强大能力为众多应用场景打开了大门,未来诸如数据标注、医疗影像、内容创作等领域,都可以加速落地。

作者介绍

Long (Tony) Lian

Long (Tony) Lian目前是UC伯克利电子工程与计算机科学博士研究生,师从Adam Yala教授和Trevor Darrell教授。

他的研究主要聚焦于,通过强化学习(RL)开发具备推理能力的大模型(LLM)与视觉语言模型(VLM)。

此前,他曾在英伟达研究院Deep Imagination Research团队实习。

Long (Tony) Lian本科毕业于UC伯克利计算机科学专业,师从Stella Yu教授。

参考资料:

https://x.com/YinCuiCV/status/1915054443734986912

https://describe-anything.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
6死15伤!普京放话报复不到一天,基辅凌晨就挨炸,多座桥被毁

6死15伤!普京放话报复不到一天,基辅凌晨就挨炸,多座桥被毁

万物知识圈
2026-11-22 09:54:43
一觉醒来,中国斯诺克3胜2负!2场6-2,白雨露被逆转,新人1轮游!

一觉醒来,中国斯诺克3胜2负!2场6-2,白雨露被逆转,新人1轮游!

刘姚尧的文字城堡
2026-11-22 05:39:50
运动员哪能这么白这么露?铁三女神冯竟爽再次夺冠,回击流言蜚语

运动员哪能这么白这么露?铁三女神冯竟爽再次夺冠,回击流言蜚语

杨华评论
2026-06-03 02:20:48
广东男篮13分惨败给香港金牛过去仅一夜,带来广东男篮徐杰和贝罗卡尔最新动态,黄明依说的很到位

广东男篮13分惨败给香港金牛过去仅一夜,带来广东男篮徐杰和贝罗卡尔最新动态,黄明依说的很到位

凯丰侃球
2026-11-22 05:00:36
太会演!两日本人在上海打架致死,日本部分媒体刻意隐瞒关键信息

太会演!两日本人在上海打架致死,日本部分媒体刻意隐瞒关键信息

三石记
2026-11-22 07:55:07
首次到访深圳,马斯克:特斯拉会继续在中国提高产量,我是中国的超级粉丝,中国有太多宏伟壮观的建筑与自然景观

首次到访深圳,马斯克:特斯拉会继续在中国提高产量,我是中国的超级粉丝,中国有太多宏伟壮观的建筑与自然景观

极目新闻
2026-11-19 12:31:20
亚洲金融巨头落户珠江新城,将带来千个工作岗位

亚洲金融巨头落户珠江新城,将带来千个工作岗位

孙不熟读城市
2026-11-21 21:48:32
沈腾,获最佳男主角

沈腾,获最佳男主角

澎湃新闻
2026-11-20 23:56:06
8胜7负独行侠主场迎快船,两队伤停名单合计8人

8胜7负独行侠主场迎快船,两队伤停名单合计8人

坠入温柔晚风
2026-11-22 10:30:40
他长得帅演技好,因名字太特别,出道29年戏红人不红

他长得帅演技好,因名字太特别,出道29年戏红人不红

东方不败然多多
2026-11-22 01:09:35
江西摩的司机黄全顺:3年奸杀16名女子,19岁妻子得知真相绝望自尽

江西摩的司机黄全顺:3年奸杀16名女子,19岁妻子得知真相绝望自尽

雾岛夜话
2026-11-21 15:11:03
《GTA6》曼迪演员登上热搜!游戏中大胆勾引杰森

《GTA6》曼迪演员登上热搜!游戏中大胆勾引杰森

游民星空
2026-11-20 12:11:28
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
《GTA6》女主换装太诱人 超多比基尼可选!

《GTA6》女主换装太诱人 超多比基尼可选!

游民星空
2026-11-20 11:07:52
韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

趣笔谈
2026-11-21 11:08:09
信访新规强调:越级上访就问责!可如果基层不受理,该到哪说理去

信访新规强调:越级上访就问责!可如果基层不受理,该到哪说理去

职场资深秘书
2026-11-20 10:37:14
威廉王子动真格?被曝要让哈里梅根彻底变平民,夏洛特路易也可放弃头衔

威廉王子动真格?被曝要让哈里梅根彻底变平民,夏洛特路易也可放弃头衔

译言
2026-11-22 09:00:24
他靠给自己戴100顶绿帽,改写了历史,成就了千秋伟业!

他靠给自己戴100顶绿帽,改写了历史,成就了千秋伟业!

等闲哥
2025-02-05 12:47:49
巴拿马总统曾摊牌!没收中国港口不是美逼的,准备和中国续签协议

巴拿马总统曾摊牌!没收中国港口不是美逼的,准备和中国续签协议

悦心知足
2026-11-21 14:03:22
去上海才明白:没人穿耐克、阿迪了!满街都是“萨洛蒙、鬼塚虎”

去上海才明白:没人穿耐克、阿迪了!满街都是“萨洛蒙、鬼塚虎”

启迪你的思维
2026-11-21 11:26:35
2026-11-22 10:43:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16738文章数 67248关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"敢不敢玩刺激的" 女博士当主播6个月至今有心理阴影

头条要闻

"敢不敢玩刺激的" 女博士当主播6个月至今有心理阴影

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
健康
手机
本地
房产

我们总说爱动物,但我们真的懂得如何善待它们吗?

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

华为星芒首款手机OSTA O1 Pro维修备件价格出炉

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版