网易首页 > 网易号 > 正文 申请入驻

DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini

0
分享至

新智元报道

编辑:定慧 好困

【新智元导读】DeepSeek开源DeepSeek-OCR2,引入了全新的DeepEncoder V2视觉编码器。该架构打破了传统模型按固定顺序(从左上到右下)扫描图像的限制,转而模仿人类视觉的「因果流(Causal Flow)」逻辑。

DeepSeek又双叒叕更新了!

这次是DeepSeek-OCR模型的重磅升级:DeepSeek-OCR2

还记得上一代DeepSeek-OCR吗?那个用视觉方式压缩一切的模型。

这一次,DeepSeek更进一步,对视觉编码器下手了,提出了一种全新的DeepEncoder V2架构,实现了视觉编码从「固定扫描」向「语义推理」的范式转变!

DeepSeek-OCR2不仅能像人类一样按逻辑顺序阅读复杂文档,还在多项基准测试中刷新了SOTA。

当然,按照DeepSeek的惯例,Paper、Code、Model全开源!

项目地址:

https://github.com/deepseek-ai/DeepSeek-OCR-2

模型下载:

https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

论文地址:

https://github.com/deepseek-ai/DeepSeek-OCR-2/blob/main/DeepSeek_OCR2_paper.pdf

DeepSeek-OCR2的核心创新在于通过DeepEncoder V2,赋予了模型因果推理能力(Causal Reasoning)

这就像是给机器装上了「人类的阅读逻辑」,让AI不再只是死板地从左上到右下扫描图像,而是能根据内容语义灵活调整阅读顺序。

DeepSeek-OCR2

视觉因果流

DeepSeek在论文中指出,传统的视觉语言模型(VLM)通常采用光栅扫描(Raster-Scan)顺序处理图像,即固定地从左到右、从上到下。

这种方式强行将2D图像拍扁成1D序列,忽略了图像内部的语义结构。

这显然与人类的视觉习惯背道而驰。

人类在看图或阅读文档时,目光是随着逻辑流动的:先看标题,再看正文,遇到表格会按列或按行扫视,遇到分栏会自动跳跃。

为了解决这个问题,DeepSeek-OCR2引入了DeepEncoder V2。

它最大的特点是用一个轻量级的大语言模型(Qwen2-0.5B)替换了原本的CLIP编码器,并设计了一种独特的「因果流查询」(Causal Flow Query)机制。

DeepEncoder V2架构详解

DeepEncoder V2主要由两部分组成:

1. 视觉分词器(Vision Tokenizer)

沿用了SAM-base(80M参数)加卷积层的设计,将图像转换为视觉Token。

2. 作为视觉编码器的LLM

这里DeepSeek使用了一个Qwen2-0.5B模型。

它不仅处理视觉Token,还引入了一组可学习的「查询Token」(Query Tokens)。

关键的创新点在于注意力掩码(Attention Mask)的设计:

视觉Token之间采用双向注意力(Bidirectional Attention),保持全局感知能力,类似于ViT。

而查询Token则采用因果注意力(Causal Attention),每一个查询Token只能看到它之前的Token。

通过这种设计,DeepEncoder V2实现了两级级联的因果推理:

编码器通过可学习的查询对视觉Token进行语义重排,随后的LLM解码器则在这个有序序列上进行自回归推理。

这意味着,DeepSeek-OCR2在编码阶段就已经把图像里的信息「理顺」了,而不是一股脑地扔给解码器。

Token更少,精度更高

实验数据显示,DeepSeek-OCR2在保持极高压缩率的同时,性能显著提升。

在OmniDocBench v1.5基准测试中,DeepSeek-OCR2在使用最少视觉Token(仅256-1120个)的情况下,综合得分高达91.09%,相比前代提升了3.73%。

特别值得一提的是,在阅读顺序(R-order)的编辑距离(Edit Distance)指标上,DeepSeek-OCR2从前代的0.085显著降低到了0.057。

这直接证明了新模型在处理复杂版面时,逻辑性更强,更懂「阅读顺序」。

在和Gemini-3 Pro等闭源强模型的对比中,DeepSeek-OCR2也丝毫不落下风。

在均使用约1120个视觉Token的情况下,DeepSeek-OCR2的文档解析编辑距离(0.100)优于Gemini-3 Pro(0.115)。

不仅是刷榜,DeepSeek-OCR2在实际生产环境中也非常能打。

DeepSeek披露,在处理在线用户日志图像时,OCR结果的重复率从6.25%降到了4.17%;在PDF数据生产场景中,重复率从3.69%降到了2.88%。

这意味着模型生成的文本更加干净、准确,对于作为LLM训练数据的清洗流水线来说,价值巨大。

迈向真正的多模态统一

DeepSeek在论文最后提到,DeepSeek-OCR2通过DeepEncoder V2验证了「LLM作为视觉编码器」的可行性。

这不仅是一个OCR模型的升级,更是迈向原生多模态(Native Multimodality)的重要一步。

未来,同一个编码器只要配备不同的模态查询嵌入(Query Embeddings),就能处理文本、图片、音频等多种模态的数据,真正实现万物皆可Token,万物皆可因果推理。

DeepSeek表示,虽然目前光学文本识别(OCR)是LLM时代最实用的视觉任务之一,但这只是视觉理解宏大图景的一小部分。

DeepSeek将继续探索,向着更通用的多模态智能进发。

参考资料:

https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
护照丢失 无缘世界杯!李月汝发声,媒体人3问:这理由让人难信服

护照丢失 无缘世界杯!李月汝发声,媒体人3问:这理由让人难信服

萌兰聊个球
2026-09-03 07:24:26
余承东:阔折叠比例被模仿后,含金量会提升!雷军:新形态中折叠!徐洁云:“我有一个同行朋友,学习能力挺强的,大家不要嘲笑他”

余承东:阔折叠比例被模仿后,含金量会提升!雷军:新形态中折叠!徐洁云:“我有一个同行朋友,学习能力挺强的,大家不要嘲笑他”

大白聊IT
2026-09-03 23:28:14
海牛1比5惨败垫底彻底摆烂开超市,17岁留洋天才邝兆镭被挂牌,4次替补72分钟连大名单都进不去

海牛1比5惨败垫底彻底摆烂开超市,17岁留洋天才邝兆镭被挂牌,4次替补72分钟连大名单都进不去

体育全天候
2026-09-03 17:45:18
官方:欧足联对贡多齐、格林伍德以及费内巴切启动纪律程序

官方:欧足联对贡多齐、格林伍德以及费内巴切启动纪律程序

懂球帝
2026-09-03 15:32:09
网传“贵州秋假连着中秋国庆连休13天?”辟谣→

网传“贵州秋假连着中秋国庆连休13天?”辟谣→

环球网资讯
2026-09-03 19:26:12
快评:集体撤展!一个中国原则不容挑战

快评:集体撤展!一个中国原则不容挑战

环球时报国际
2026-09-03 16:56:11
重庆54岁大叔的恒大血泪史:信了世界500强买养老房,到现在还在收拾烂摊子!

重庆54岁大叔的恒大血泪史:信了世界500强买养老房,到现在还在收拾烂摊子!

网易新闻出品
2026-09-03 10:14:30
四川一考生远赴211报到,住一晚就退学,学费已缴,本人回应:忽然醒悟了

四川一考生远赴211报到,住一晚就退学,学费已缴,本人回应:忽然醒悟了

育学笔谈
2026-09-03 13:46:33
黄喜灿在伯明翰一家韩餐馆用餐后,为餐厅所有食客买了单

黄喜灿在伯明翰一家韩餐馆用餐后,为餐厅所有食客买了单

懂球帝
2026-09-03 15:42:18
强盗本性爆发,美欧合力逼人民币升值,要让14亿中国人给美债买单

强盗本性爆发,美欧合力逼人民币升值,要让14亿中国人给美债买单

时尚的弄潮
2026-09-03 11:32:47
蔡国庆每月给弟弟蔡军发2万工资,发了20年,一共480万,条件就一个:在家全职照顾得阿尔茨海默症的母亲

蔡国庆每月给弟弟蔡军发2万工资,发了20年,一共480万,条件就一个:在家全职照顾得阿尔茨海默症的母亲

LULU生活家
2026-09-02 19:51:47
30岁大哥拒养7岁弟弟,父母气愤之下起诉他,裁决结果令众人傻眼

30岁大哥拒养7岁弟弟,父母气愤之下起诉他,裁决结果令众人傻眼

兰姐说故事
2026-02-16 10:20:10
王菲风波升级!男闺蜜跟李嫣贴身摇晃有细节,她更丑陋一面被曝光

王菲风波升级!男闺蜜跟李嫣贴身摇晃有细节,她更丑陋一面被曝光

白面书誏
2026-09-03 19:07:01
劲爆!星宇股份“查无此岗”的HR总监,疑似被挖出来了

劲爆!星宇股份“查无此岗”的HR总监,疑似被挖出来了

财通社
2026-09-03 22:13:38
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
泽连斯基宣布,乌开始封锁俄领空!话音落下,中方指出唯一出路

泽连斯基宣布,乌开始封锁俄领空!话音落下,中方指出唯一出路

影孖看世界
2026-09-03 23:06:10
哈兰德与女友长相出众,女友长得像洋娃娃,十分登对,浪漫幸福

哈兰德与女友长相出众,女友长得像洋娃娃,十分登对,浪漫幸福

娱你同欢
2026-08-30 18:30:43
杨瀚森面临三条路!第一条,留在开拓者,基本没戏

杨瀚森面临三条路!第一条,留在开拓者,基本没戏

林子说事
2026-09-03 10:34:11
这才是DLSS 5的正确用法:美乳性感女主更吸睛了

这才是DLSS 5的正确用法:美乳性感女主更吸睛了

游民星空
2026-09-02 17:13:47
普京就与乌克兰谈判提条件

普京就与乌克兰谈判提条件

参考消息
2026-09-03 14:10:09
2026-09-03 23:59:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16098文章数 67024关注度
往期回顾 全部

科技要闻

英伟达129亿美元拿下Hugging Face

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

本地
健康
时尚
教育
公开课

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

脑梗能否取栓,关键看这几点!

马甲+直筒裙,马甲+伞裙,火出圈的新中式老钱风现在穿正好

教育要闻

科利华新校区亮相,"梅园"变了!学区格局悄悄在变

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版