网易首页 > 网易号 > 正文 申请入驻

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

0
分享至

新智元报道

编辑:桃子

【新智元导读】视觉AI终极突破来了!英伟达等机构推出超强多模态模型DAM,仅3B参数,就能精准描述图像和视频中的任何细节。

有了AI,谁还愿意用手配「字幕」?

刚刚,英伟达联手UC伯克利、UCSF团队祭出首个神级多模态模型——Describe Anything Model(DAM),仅3B参数。

论文地址:https://arxiv.org/pdf/2504.16072

正如其名Describe Anything,上传一张图,圈哪点哪,它即可生成一段丰富的文字描述。

即便是一段视频,DAM也能精准捕捉到白色SUV,给出详细的描述。

DAM是一个专为详细局部标注(DLC)而设计的模型,即为特定区域生成详细且精确的描述。

通过两大创新,研究人员在细节与上下文之间找到平衡:

· 焦点提示:对目标区域进行高分辨率编码,就像给模型配备了一副「放大镜」,清晰捕捉到局部区域细微特征

· 局部视觉骨干网络:将精确定位的特定区域,与上下文无缝整合

换句话说,DAM不仅能放大细节看,还能放眼全局看,无论是静态图,还是动态视频,都能做到游刃有余。

网友惊叹道,「终极视觉AI突破」!

AI用「放大镜」看世界

在项目主页中,英伟达等研究团队放出了更多精彩demo。任何人通过点、框、涂鸦或掩码的交互,即可一键生成描述。

上传一张柯基在草地上欢快奔跑的图,选中柯基,让DAM去描述:

一只中等体型的狗,拥有浓密的红棕色毛发,腹部和腿部为白色。这只狗尾巴蓬松,耳朵尖立,戴着带有银色吊牌的红色项圈。它张着嘴露出牙齿,舌头伸在外面。狗呈奔跑姿势,前腿向前伸展,后腿向后伸直。

一只被挤到犄角旮旯的猫星人,DAM是这样配文的,「一只白猫,耳朵呈浅橙色,鼻子是粉色的。猫咪表情放松,眼睛微微闭着,全身覆盖着柔软的白毛」。

再比如,随手涂鸦一栋高楼,DAM可以不断放大细节,给出这幢楼更细致的描述:

一座现代风格的摩天大楼,采用流线型矩形设计,外立面排列着间距均匀的竖向条形窗。建筑呈阶梯式结构,每一层段都比下层略微内缩,形成错落有致的退台造型。建筑幕墙主要由反光玻璃面板构成,整体呈现出极具现代感的抛光效果。

甚至,DAM看着视频中的一头牛,就能直出一篇经典「小作文」:

一幅描绘棕褐色奶牛的动态序列图:这头毛色浓密的奶牛臀部带有浅色斑块,初始画面中它微微低头,透着安详的神态。随着动作展开,奶牛开始稳步前行,四肢舒展着节奏分明的步态,尾梢的簇毛随每一步轻摆,为行进增添流畅韵律。它始终保持挺拔的站姿,略微弓起的背部线条透出放松状态,肌肉结实的腿部稳健地向前迈进。整个运动过程中,奶牛保持着均匀从容的步调,每一个动作都流畅而不迫,展现出宁静自若的生命姿态。

DAM如此厉害,是如何做到的?

DAM技术架构,精准捕捉细节

与传统图像描述(概括整个场景)不同,DLC聚焦于用户指定的局部区域,来生成细致入微的描述。

想象一张照片中一只猫,你不仅需要描述「一只猫在窗台上」,还要深入些几「猫的毛发呈现柔软和灰色条纹,耳朵微微倾斜,眼睛在阳光下闪着琥珀色的光芒」。

可以看出,DLC的目标是捕捉区域的纹理、颜色、形状、显著部件等特征,同时也要保持与整体场景关联。

而在视频领域中,DLC挑战更大。

模型需要追目标区域在多个帧中的变化,描述其外观、交互、和细微动态的演变。

为了应对DLC复杂需求,Describe Anything Model引入了两大核心创新,让局部细节与全局上下文完美平衡。

焦点提示(Focal Prompt)

通过「焦点提示」机制,DAM能够同时处理全图和目标区域的放大视图。

这确保它在捕捉细微特征同时,不丢失整体场景的背景信息。

局部视觉骨干网络(Localized Vision Backbone)

DAM的视觉骨干网络通过空间对齐的图像和掩码,融合全局与局部特征。

利用门控交叉注意力层,模型将详细的局部线索与全局上下文无缝整合。

新参数初始化为0,保留了预训练能力,从而生成更丰富、更具上下文关联的描述。

这种架构让DAM在生成关键词、短语,甚至是多句式的复杂描述时,都能保持高精度和连贯性。

DLC-SDP:破解数据瓶颈

要知道,高质量的DLC数据集极为稀缺,限制了模型的训练。为此,研究团队设计了基于半监督学习的流水线(DLC-SDP),通过两阶段策略构建大规模训练数据。

阶段一,是从分割数据集扩展。利用现有分割数据集短标签(猫),通过视觉-语言模型生成丰富的描述(灰色短毛猫,耳朵直立。

阶段二,自训练未标记的图像,通过半监督学习,DAM对未标记的网络图像生成初始描述,并迭代精炼,形成高质量的DLC数据。

DLC-Bench:重定义评估标准

那么,如何公平地评估DLC模型。

传统方法主要依赖文本重叠,但这无法全面反映描述的准确性和细节。

为此,研究团队提出了全新基准DLC-Bench。通过LLM判断,检查描述的正确细节和错误缺失,而非简单对比文本。

DAM仅能生成详细描述,还具备强大的灵活性和交互性。

指令控制描述

你可以根据需求调整描述的详细程度和风格。

零样本区域问答

而且,无需额外训练,DAM就能回答关于特定区域的问题。

碾压GPT-4o,刷新SOTA

在DLC-Bench和其他7个涵盖图像与视频的基准测试中,DAM全面超越现有模型,树立了新的标杆。

如下表2所示,DAM在具有挑战性的 PACO 基准测试中表现出色,创下了89高分。

而在零样本评估在短语级数据集Flickr30k Entities上,新模型相比之前的最佳结果平均相对提升了7.34%。

此外,零样本评估在详细描述数据Ref-L4 上,DAM在基于短/长语言的描述指标上分别实现了39.5%和13.1%的平均相对提升。

在研究人员提出的DLC-Bench测试中,DAM在详细局部描述方面优于之前的仅API模型、开源模型和特定区域VLM。

下表6所示,DAM在详细局部视频字幕方面刷新SOTA。

总而言之,DAM的优势主要有三大点:更详细、更准确;更少幻觉;多场景适用。

它的强大能力为众多应用场景打开了大门,未来诸如数据标注、医疗影像、内容创作等领域,都可以加速落地。

作者介绍

Long (Tony) Lian

Long (Tony) Lian目前是UC伯克利电子工程与计算机科学博士研究生,师从Adam Yala教授和Trevor Darrell教授。

他的研究主要聚焦于,通过强化学习(RL)开发具备推理能力的大模型(LLM)与视觉语言模型(VLM)。

此前,他曾在英伟达研究院Deep Imagination Research团队实习。

Long (Tony) Lian本科毕业于UC伯克利计算机科学专业,师从Stella Yu教授。

参考资料:

https://x.com/YinCuiCV/status/1915054443734986912

https://describe-anything.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

随着皇马2-1逆转,皇家贝蒂斯1-1,西甲最新积分榜出炉

侧身凌空斩
2026-11-22 06:10:24
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
【德甲】拜仁高层频频向穆西亚拉施压,世界职业球员协会实在看不下去了

【德甲】拜仁高层频频向穆西亚拉施压,世界职业球员协会实在看不下去了

体坛周报
2026-11-22 12:07:12
曝波切蒂诺曼联6人清洗名单!欲彻底推倒重建,B费马奎尔拉什福德全卖掉

曝波切蒂诺曼联6人清洗名单!欲彻底推倒重建,B费马奎尔拉什福德全卖掉

罗米的曼联博客
2026-11-22 11:46:44
52万“内推”南洋理工,中介私造假伯克利成绩单:女儿入学3个月被退学,退费≠免责

52万“内推”南洋理工,中介私造假伯克利成绩单:女儿入学3个月被退学,退费≠免责

青科新闻
2026-11-21 16:15:13
“别抱侥幸心理了,科技股投资者”!摩根大通劝退科技股:“还有很多人没卖”

“别抱侥幸心理了,科技股投资者”!摩根大通劝退科技股:“还有很多人没卖”

华尔街见闻官方
2026-11-22 12:14:16
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
金价跌破760元/克:有人花85万元一次入手11根金条,有人高位囤金“扛着”

金价跌破760元/克:有人花85万元一次入手11根金条,有人高位囤金“扛着”

民生故事会
2026-11-21 14:11:17
37岁张檬广州遛娃引热议!双保姆随行太惬意,产后状态太真实

37岁张檬广州遛娃引热议!双保姆随行太惬意,产后状态太真实

揭秘世间万象
2026-11-21 09:33:45
张雪骑摩托刚出P房就摔倒 师傅牙哥“技术不行 纯瘾大”的含金量还在上升

张雪骑摩托刚出P房就摔倒 师傅牙哥“技术不行 纯瘾大”的含金量还在上升

快科技
2026-11-22 08:56:13
中餐为啥不能把白酒推向全世界 ?评论区引发万千共鸣!都太敢说了

中餐为啥不能把白酒推向全世界 ?评论区引发万千共鸣!都太敢说了

另子维爱读史
2026-11-19 20:42:09
天冷,也阻挡不了我穿丝袜的热情

天冷,也阻挡不了我穿丝袜的热情

疾跑的小蜗牛
2026-11-21 20:44:46
泽连斯基给出“简单方案”,想阻止俄罗斯,先停止与俄贸易

泽连斯基给出“简单方案”,想阻止俄罗斯,先停止与俄贸易

无情有思ss
2026-11-22 12:49:27
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
惊人预言:中国有一半的人口将塞进这几个地方,房产可能翻番

惊人预言:中国有一半的人口将塞进这几个地方,房产可能翻番

专业聊房君
2026-11-18 19:51:29
我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

麦子情感故事
2026-11-22 10:35:40
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
精壮身材、高冷气场!7位当兵后更有魅力的韩星!

精壮身材、高冷气场!7位当兵后更有魅力的韩星!

ChicMyGeek
2026-11-22 11:08:10
黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

3DM游戏
2026-11-22 10:42:38
争议?皇马1.3亿巨星点赞切尔西1-4惨败!嘲讽阿隆索+时隔1年仍记仇

争议?皇马1.3亿巨星点赞切尔西1-4惨败!嘲讽阿隆索+时隔1年仍记仇

我爱英超
2026-11-22 07:20:17
2026-11-22 14:32:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16740文章数 67253关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
教育
房产
艺术
公开课

手机要闻

DOOGEE Wide Core亮相,6500mAh电池、紫光展锐T7250处理器

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

艺术要闻

世界十大著名宫殿盘点:中国独占两席

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版