网易首页 > 网易号 > 正文 申请入驻

DeepSeek公布多模态模型技术报告

0
分享至

IT之家 4 月 30 日消息,DeepSeek 在 GitHub 平台正式发布了其多模态大模型,并同步公开了配套技术报告。该报告提出了一种基于“视觉原语”的创新推理框架,旨在突破当前多模态大语言模型(MLLMs)在空间参照任务中的核心瓶颈。


技术报告指出,尽管多模态大语言模型近年来取得长足进步,但主流的链式思维(CoT)推理范式仍主要局限于语言学领域。现有研究多聚焦于通过高分辨率图像裁剪等技术手段弥合“感知鸿沟”,即提升模型对视觉细节的识别能力。然而,DeepSeek 团队认为,这一思路忽视了一个更为根本的限制:参照鸿沟。

自然语言固有的模糊性使其难以对复杂的空间布局提供精确、明确的指引。当模型需要执行涉及严谨空间参照的任务时,这种语言表达的局限性往往导致推理链条断裂,出现逻辑崩溃。

针对上述问题,DeepSeek 提出了“基于视觉原语的思考”(Thinking with Visual Primitives)框架。该框架将点、边界框等空间标记从单纯的视觉输入元素,提升为推理过程中的“基本思维单元”。通过将这些视觉原语直接嵌入模型的思考链路,DeepSeek 使模型在推理过程中具备了“指代”能力 —— 即能够将抽象的认知轨迹锚定到图像的具体物理坐标上,从而实现对空间关系的精确推演。

技术报告披露,该框架采用了高度优化的模型架构,具备极高的视觉标记效率。尽管模型规模紧凑且图像标记预算显著较低,DeepSeek 的多模态模型在具有挑战性的计数和空间推理基准测试上,能够与 GPT-5.4、Claude-Sonnet-4.6 和 Gemini-3-Flash 等前沿模型匹配。这为开发更高效、更具可扩展性的 System-2 类多模态智能指明了方向。


IT之家注意到,DeepSeek 此前已经上线了“识图模式”,该模式和“快速模式”“专家模式”并列,并非简单的 OCR 文字,而是终于具备了多模态识别能力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央视曝光后,多地成立调查组

央视曝光后,多地成立调查组

澎湃新闻
2026-08-10 16:15:04
完蛋男同学B站累计播放破千万!LGBT博主抵制遭狂喷

完蛋男同学B站累计播放破千万!LGBT博主抵制遭狂喷

游民星空
2026-08-11 12:08:24
大反转!山东特大暴雨落空!白海豚台风彻底跑偏

大反转!山东特大暴雨落空!白海豚台风彻底跑偏

远山行客
2026-08-10 18:57:56
博主:迈阿密国际给梅西无限期放假,不会催促他归队

博主:迈阿密国际给梅西无限期放假,不会催促他归队

懂球帝
2026-08-11 08:22:14
2026年养老金调整,企退人员工龄40年,每月3400元,能否再涨200元呢?

2026年养老金调整,企退人员工龄40年,每月3400元,能否再涨200元呢?

碎月导师
2026-08-11 09:37:08
1962年,毛泽东设宴款待溥仪,席间突然发问:你们御膳房的饭菜,到底好不好吃?溥仪是如何回答的?

1962年,毛泽东设宴款待溥仪,席间突然发问:你们御膳房的饭菜,到底好不好吃?溥仪是如何回答的?

人生录
2026-08-08 00:05:22
WTT瑞典大满贯:8月11日赛程公布!王曼昱迎首秀,向鹏战强敌

WTT瑞典大满贯:8月11日赛程公布!王曼昱迎首秀,向鹏战强敌

全言作品
2026-08-11 06:40:06
记者:8天3战考验申花,球队今天返回上海

记者:8天3战考验申花,球队今天返回上海

懂球帝
2026-08-11 10:39:07
首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

柳絮忆史
2025-07-22 07:15:03
唐朝灭亡到北宋建立只隔了53年,为什么我们会有感觉隔了一千年?

唐朝灭亡到北宋建立只隔了53年,为什么我们会有感觉隔了一千年?

老达子
2026-08-10 06:35:07
中国第一位办手机号码的人,当时号码随便选,最终他挑了什么号?

中国第一位办手机号码的人,当时号码随便选,最终他挑了什么号?

云霄纪史观
2026-08-05 08:44:45
卫诗雅缝50多针后首露面,10天拆线火速赶机场,赴北京争百花奖

卫诗雅缝50多针后首露面,10天拆线火速赶机场,赴北京争百花奖

阿废冷眼观察所
2026-08-10 12:43:03
投票结果2:1,特朗普输了,最终裁决送到白宫,没给他留一点面子

投票结果2:1,特朗普输了,最终裁决送到白宫,没给他留一点面子

冰语历史
2026-08-11 11:24:07
留学生翟云瑶被驱逐回中国:“只欺负中国人”的女魔头,回国改名

留学生翟云瑶被驱逐回中国:“只欺负中国人”的女魔头,回国改名

西楼知趣杂谈
2026-08-08 06:09:42
失联女孩找到,三次奔赴南太行不只为游玩,亲哥发声揭开背后遗憾

失联女孩找到,三次奔赴南太行不只为游玩,亲哥发声揭开背后遗憾

石辰搞笑日常
2026-08-11 05:23:23
南水北调东中线一期工程调水超900亿立方米

南水北调东中线一期工程调水超900亿立方米

澎湃新闻
2026-08-10 10:18:02
没有演技别硬演老人!看沈腾《欢迎来龙餐馆》,才知何为判若两人

没有演技别硬演老人!看沈腾《欢迎来龙餐馆》,才知何为判若两人

剧芒芒
2026-08-10 19:51:02
特朗普这句无耻的发言,让美网友直呼:从未见过如此厚颜无耻之人

特朗普这句无耻的发言,让美网友直呼:从未见过如此厚颜无耻之人

古史青云啊
2026-08-11 09:25:10
拜登预言成真,让特朗普干完这4年,美国将成为“世界老二”?

拜登预言成真,让特朗普干完这4年,美国将成为“世界老二”?

浯江孤舟
2026-08-10 11:04:55
银行总部大迁徙

银行总部大迁徙

21世纪经济报道
2026-08-10 21:48:23
2026-08-11 12:35:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
359737文章数 607438关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

世界小姐已被撕票 嫌犯还有另一宗更广为人知绑架案

头条要闻

世界小姐已被撕票 嫌犯还有另一宗更广为人知绑架案

体育要闻

阿森纳的39号球衣,有了最适合的主人

娱乐要闻

“易烊千玺影帝加冕:00后的崛起!

财经要闻

北京楼市新政落地,观望客开始入场

汽车要闻

搭载猎鹰500/限时售10.49万起 2027款艾瑞泽8PRO上市

态度原创

旅游
健康
房产
艺术
公开课

旅游要闻

北京多家博物馆及景区因汛期降雨临时闭馆闭园

咸汤圆比甜汤圆更健康?别被误导了

房产要闻

海南最难被说服的一群人,把15亿投给了同一个项目!

艺术要闻

吴冠中画漓江的第一幅,拍了2305万!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版