网易首页 > 网易号 > 正文 申请入驻

DeepSeek公布多模态模型技术报告

DeepSeek多模态模型来了

0
分享至

IT之家 4 月 30 日消息,DeepSeek 在 GitHub 平台正式发布了其多模态大模型,并同步公开了配套技术报告。该报告提出了一种基于“视觉原语”的创新推理框架,旨在突破当前多模态大语言模型(MLLMs)在空间参照任务中的核心瓶颈。


技术报告指出,尽管多模态大语言模型近年来取得长足进步,但主流的链式思维(CoT)推理范式仍主要局限于语言学领域。现有研究多聚焦于通过高分辨率图像裁剪等技术手段弥合“感知鸿沟”,即提升模型对视觉细节的识别能力。然而,DeepSeek 团队认为,这一思路忽视了一个更为根本的限制:参照鸿沟。

自然语言固有的模糊性使其难以对复杂的空间布局提供精确、明确的指引。当模型需要执行涉及严谨空间参照的任务时,这种语言表达的局限性往往导致推理链条断裂,出现逻辑崩溃。

针对上述问题,DeepSeek 提出了“基于视觉原语的思考”(Thinking with Visual Primitives)框架。该框架将点、边界框等空间标记从单纯的视觉输入元素,提升为推理过程中的“基本思维单元”。通过将这些视觉原语直接嵌入模型的思考链路,DeepSeek 使模型在推理过程中具备了“指代”能力 —— 即能够将抽象的认知轨迹锚定到图像的具体物理坐标上,从而实现对空间关系的精确推演。

技术报告披露,该框架采用了高度优化的模型架构,具备极高的视觉标记效率。尽管模型规模紧凑且图像标记预算显著较低,DeepSeek 的多模态模型在具有挑战性的计数和空间推理基准测试上,能够与 GPT-5.4、Claude-Sonnet-4.6 和 Gemini-3-Flash 等前沿模型匹配。这为开发更高效、更具可扩展性的 System-2 类多模态智能指明了方向。


IT之家注意到,DeepSeek 此前已经上线了“识图模式”,该模式和“快速模式”“专家模式”并列,并非简单的 OCR 文字,而是终于具备了多模态识别能力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“仚屳氽汆”不读shān shān shuǐ shuǐ,我出过丑,现在会读了!

“仚屳氽汆”不读shān shān shuǐ shuǐ,我出过丑,现在会读了!

白浅娱乐聊
2026-04-30 17:52:40
外交部宣布:贝尔伯克将访华

外交部宣布:贝尔伯克将访华

奇思妙想生活家
2026-04-30 06:29:55
角色反转,联大主席贝尔伯克访华露底牌,目标直指中国一票否决权

角色反转,联大主席贝尔伯克访华露底牌,目标直指中国一票否决权

遁走的两轮
2026-05-01 03:03:07
赛后大乱斗!C 罗卷入大规模冲突,和对手球星当场激烈对峙

赛后大乱斗!C 罗卷入大规模冲突,和对手球星当场激烈对峙

夜白侃球
2026-05-01 15:21:40
首批去雄安的北京高校2027年开学!上这些大学不去北京,是去河北

首批去雄安的北京高校2027年开学!上这些大学不去北京,是去河北

狐狸先森讲升学规划
2026-05-01 05:55:03
拥抱人民币果然是个幌子,阿联酋要跟美国一起掀桌子了

拥抱人民币果然是个幌子,阿联酋要跟美国一起掀桌子了

混沌录
2026-04-30 22:01:15
阿司匹林立大功!研究发现:老人吃阿司匹林,或能缓解 5 种症状

阿司匹林立大功!研究发现:老人吃阿司匹林,或能缓解 5 种症状

路医生健康科普
2026-05-01 11:50:03
心理学上有个词叫:螃蟹效应。永远要记住,和周围人搞好关系的秘诀就是,不分享喜悦、不炫耀成功、不说三道四、不假装聪明

心理学上有个词叫:螃蟹效应。永远要记住,和周围人搞好关系的秘诀就是,不分享喜悦、不炫耀成功、不说三道四、不假装聪明

德鲁克博雅管理
2026-04-28 17:04:30
北京首钢21分大胜!赵睿正式复出,威廉姆斯表现出色,冲击总冠军

北京首钢21分大胜!赵睿正式复出,威廉姆斯表现出色,冲击总冠军

体坛瞎白话
2026-05-01 08:38:58
四川5月1日禁烟:不是不让抽,这些地方绝对不行

四川5月1日禁烟:不是不让抽,这些地方绝对不行

瓜哥的动物日记
2026-05-01 11:37:28
南开生命科学院长被指论文多处数据存疑!校方:正调查将处理

南开生命科学院长被指论文多处数据存疑!校方:正调查将处理

南方都市报
2026-05-01 14:04:08
巴勒斯坦选举结果出炉,哈马斯被排除,加沙18年统治落幕

巴勒斯坦选举结果出炉,哈马斯被排除,加沙18年统治落幕

飘逸语人
2026-04-30 11:59:41
首组抢七!76人大胜绿军追到3-3 恩比德准三双马克西30分

首组抢七!76人大胜绿军追到3-3 恩比德准三双马克西30分

醉卧浮生
2026-05-01 10:30:39
触碰女人“生理开关”,只需要这四招,让她这辈子难以放手

触碰女人“生理开关”,只需要这四招,让她这辈子难以放手

匹夫来搞笑
2026-05-01 14:48:26
震惊!“夏雨荷”一夜之间消失,济南大明湖的地标路牌,已经抹去

震惊!“夏雨荷”一夜之间消失,济南大明湖的地标路牌,已经抹去

火山詩话
2026-04-30 06:09:31
美印尼狼狈为奸,断华经济命脉?中国还没发声,新加坡站边表态了

美印尼狼狈为奸,断华经济命脉?中国还没发声,新加坡站边表态了

看尽人间百态
2026-05-01 15:09:28
AI生成《黑神话:潘金莲》美图 性感风骚的美人

AI生成《黑神话:潘金莲》美图 性感风骚的美人

3DM游戏
2026-05-01 06:10:08
江青临终前,提出去毛主席纪念堂看主席最后一眼,中央:不准她去

江青临终前,提出去毛主席纪念堂看主席最后一眼,中央:不准她去

舆图看世界
2026-04-30 15:10:04
05后小妹“崩老头”,尺度炸裂全网

05后小妹“崩老头”,尺度炸裂全网

李东阳朋友圈
2026-04-30 13:43:51
《黑袍》星光在GTA6“下海”!街头服务“揽客”

《黑袍》星光在GTA6“下海”!街头服务“揽客”

游民星空
2026-04-29 19:43:05
2026-05-01 16:00:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
342183文章数 607178关注度
往期回顾 全部

科技要闻

苹果上季在华收入继续大增 iPhone收入新高

头条要闻

中国军号:日本有个致命的战略弱点 出兵就是作死

头条要闻

中国军号:日本有个致命的战略弱点 出兵就是作死

体育要闻

无奈!约基奇:这要在塞尔维亚 全队早被炒了

娱乐要闻

邓超在景德镇被偶遇,穿黑外套逛茶园

财经要闻

GPU神话松动,AI真正的战场变了

汽车要闻

限时9.67万起 吉利星越L/星瑞i-HEV智擎混动上市

态度原创

本地
亲子
旅游
公开课
军事航空

本地新闻

用青花瓷的方式,打开西溪湿地

亲子要闻

日本小儿子来家里了,喜娜酱直接扑进怀里,斩不断的血缘关系

旅游要闻

预计暑期开园,山东首个国风机甲神话文旅项目落地德州

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗:持续推进海上封锁的行为不可容忍

无障碍浏览 进入关怀版