网易首页 > 网易号 > 正文 申请入驻

DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini

0
分享至

新智元报道

编辑:定慧 好困

【新智元导读】DeepSeek开源DeepSeek-OCR2,引入了全新的DeepEncoder V2视觉编码器。该架构打破了传统模型按固定顺序(从左上到右下)扫描图像的限制,转而模仿人类视觉的「因果流(Causal Flow)」逻辑。

DeepSeek又双叒叕更新了!

这次是DeepSeek-OCR模型的重磅升级:DeepSeek-OCR2

还记得上一代DeepSeek-OCR吗?那个用视觉方式压缩一切的模型。

这一次,DeepSeek更进一步,对视觉编码器下手了,提出了一种全新的DeepEncoder V2架构,实现了视觉编码从「固定扫描」向「语义推理」的范式转变!

DeepSeek-OCR2不仅能像人类一样按逻辑顺序阅读复杂文档,还在多项基准测试中刷新了SOTA。

当然,按照DeepSeek的惯例,Paper、Code、Model全开源!

项目地址:

https://github.com/deepseek-ai/DeepSeek-OCR-2

模型下载:

https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

论文地址:

https://github.com/deepseek-ai/DeepSeek-OCR-2/blob/main/DeepSeek_OCR2_paper.pdf

DeepSeek-OCR2的核心创新在于通过DeepEncoder V2,赋予了模型因果推理能力(Causal Reasoning)

这就像是给机器装上了「人类的阅读逻辑」,让AI不再只是死板地从左上到右下扫描图像,而是能根据内容语义灵活调整阅读顺序。

DeepSeek-OCR2

视觉因果流

DeepSeek在论文中指出,传统的视觉语言模型(VLM)通常采用光栅扫描(Raster-Scan)顺序处理图像,即固定地从左到右、从上到下。

这种方式强行将2D图像拍扁成1D序列,忽略了图像内部的语义结构。

这显然与人类的视觉习惯背道而驰。

人类在看图或阅读文档时,目光是随着逻辑流动的:先看标题,再看正文,遇到表格会按列或按行扫视,遇到分栏会自动跳跃。

为了解决这个问题,DeepSeek-OCR2引入了DeepEncoder V2。

它最大的特点是用一个轻量级的大语言模型(Qwen2-0.5B)替换了原本的CLIP编码器,并设计了一种独特的「因果流查询」(Causal Flow Query)机制。

DeepEncoder V2架构详解

DeepEncoder V2主要由两部分组成:

1. 视觉分词器(Vision Tokenizer)

沿用了SAM-base(80M参数)加卷积层的设计,将图像转换为视觉Token。

2. 作为视觉编码器的LLM

这里DeepSeek使用了一个Qwen2-0.5B模型。

它不仅处理视觉Token,还引入了一组可学习的「查询Token」(Query Tokens)。

关键的创新点在于注意力掩码(Attention Mask)的设计:

视觉Token之间采用双向注意力(Bidirectional Attention),保持全局感知能力,类似于ViT。

而查询Token则采用因果注意力(Causal Attention),每一个查询Token只能看到它之前的Token。

通过这种设计,DeepEncoder V2实现了两级级联的因果推理:

编码器通过可学习的查询对视觉Token进行语义重排,随后的LLM解码器则在这个有序序列上进行自回归推理。

这意味着,DeepSeek-OCR2在编码阶段就已经把图像里的信息「理顺」了,而不是一股脑地扔给解码器。

Token更少,精度更高

实验数据显示,DeepSeek-OCR2在保持极高压缩率的同时,性能显著提升。

在OmniDocBench v1.5基准测试中,DeepSeek-OCR2在使用最少视觉Token(仅256-1120个)的情况下,综合得分高达91.09%,相比前代提升了3.73%。

特别值得一提的是,在阅读顺序(R-order)的编辑距离(Edit Distance)指标上,DeepSeek-OCR2从前代的0.085显著降低到了0.057。

这直接证明了新模型在处理复杂版面时,逻辑性更强,更懂「阅读顺序」。

在和Gemini-3 Pro等闭源强模型的对比中,DeepSeek-OCR2也丝毫不落下风。

在均使用约1120个视觉Token的情况下,DeepSeek-OCR2的文档解析编辑距离(0.100)优于Gemini-3 Pro(0.115)。

不仅是刷榜,DeepSeek-OCR2在实际生产环境中也非常能打。

DeepSeek披露,在处理在线用户日志图像时,OCR结果的重复率从6.25%降到了4.17%;在PDF数据生产场景中,重复率从3.69%降到了2.88%。

这意味着模型生成的文本更加干净、准确,对于作为LLM训练数据的清洗流水线来说,价值巨大。

迈向真正的多模态统一

DeepSeek在论文最后提到,DeepSeek-OCR2通过DeepEncoder V2验证了「LLM作为视觉编码器」的可行性。

这不仅是一个OCR模型的升级,更是迈向原生多模态(Native Multimodality)的重要一步。

未来,同一个编码器只要配备不同的模态查询嵌入(Query Embeddings),就能处理文本、图片、音频等多种模态的数据,真正实现万物皆可Token,万物皆可因果推理。

DeepSeek表示,虽然目前光学文本识别(OCR)是LLM时代最实用的视觉任务之一,但这只是视觉理解宏大图景的一小部分。

DeepSeek将继续探索,向着更通用的多模态智能进发。

参考资料:

https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
水均益外孙女周岁宴曝光,雪宝长得好像爷爷,脖子上戴着3个金锁

水均益外孙女周岁宴曝光,雪宝长得好像爷爷,脖子上戴着3个金锁

柒佰娱
2026-08-11 10:29:34
表面是老艺术家,私下贪财又好色,这几位晚节不保一点不冤

表面是老艺术家,私下贪财又好色,这几位晚节不保一点不冤

梦想总会变成真
2026-08-04 07:50:17
你为什么和你男朋友分手 看网友讲述 想说你们是来搞笑的吗?

你为什么和你男朋友分手 看网友讲述 想说你们是来搞笑的吗?

侃神评故事
2026-08-11 20:40:05
百花奖闭幕,3人出尽风头,2人镀金失败,杨幂赢麻,1人丢尽体面

百花奖闭幕,3人出尽风头,2人镀金失败,杨幂赢麻,1人丢尽体面

史之韵
2026-08-11 14:15:48
救援队披露独闯南太行失联女子遗体被找到细节:事发地属完全未开发野山,部分悬崖落差超200米

救援队披露独闯南太行失联女子遗体被找到细节:事发地属完全未开发野山,部分悬崖落差超200米

红星新闻
2026-08-10 16:38:26
突然改号码!哈登要打兄弟篮球了!!恭喜!

突然改号码!哈登要打兄弟篮球了!!恭喜!

柚子说球
2026-08-11 09:53:51
7场不胜+球迷堵大巴!韦世豪下车“谈判”获掌声,李璇:这叫担当

7场不胜+球迷堵大巴!韦世豪下车“谈判”获掌声,李璇:这叫担当

林子说事
2026-08-11 15:20:42
郑钦文的地位不保?伊埃拉已签约大牌代言,日后会赶超郑钦文吗?

郑钦文的地位不保?伊埃拉已签约大牌代言,日后会赶超郑钦文吗?

搏击江湖
2026-08-11 18:51:31
TVB新处境剧开播好评不断!车婉婉演技获赞,26岁小花演活角色

TVB新处境剧开播好评不断!车婉婉演技获赞,26岁小花演活角色

TVB剧评社
2026-08-11 19:42:01
没有大梁,没有三把锁,这台伪越野凭什么卖爆20万?

没有大梁,没有三把锁,这台伪越野凭什么卖爆20万?

沙雕小琳琳
2026-08-10 07:58:38
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

妙知
2026-08-11 06:01:54
地球最大芯片厂破土动工,投资8000亿产能碾压全球总和

地球最大芯片厂破土动工,投资8000亿产能碾压全球总和

残梦重生来
2026-08-11 05:21:01
上梁不正下梁歪?胚胎案原配爆男方父亲猛料,全家里子面子都没了

上梁不正下梁歪?胚胎案原配爆男方父亲猛料,全家里子面子都没了

阿凫爱吐槽
2026-08-11 00:27:59
什么事情让你突然就泄了心气?网友:我努力半辈子 他吊儿郎当得到了

什么事情让你突然就泄了心气?网友:我努力半辈子 他吊儿郎当得到了

夜深爱杂谈
2026-07-16 20:56:27
网友称穿8850元MiuMiu羊皮鞋双脚被染黑,工作人员:鞋子采用植物染色,遇热会有轻微脱色,如遇较为严重的掉色问题,可以申请售后处理

网友称穿8850元MiuMiu羊皮鞋双脚被染黑,工作人员:鞋子采用植物染色,遇热会有轻微脱色,如遇较为严重的掉色问题,可以申请售后处理

大风新闻
2026-08-09 14:40:09
A股*ST闻泰短线异动拉升,现涨超7%

A股*ST闻泰短线异动拉升,现涨超7%

每日经济新闻
2026-08-11 14:15:48
瑞典大满贯!陈熠零封,日本大胜,国乒2人出局,王曼昱首秀出炉

瑞典大满贯!陈熠零封,日本大胜,国乒2人出局,王曼昱首秀出炉

衔春信
2026-08-11 08:23:12
东风导弹泄密案!间谍郭万钧一家三口,全部被处以死刑

东风导弹泄密案!间谍郭万钧一家三口,全部被处以死刑

番外行
2026-03-31 08:28:28
电影《去你的岛》票房破7000万

电影《去你的岛》票房破7000万

界面新闻
2026-08-11 21:35:40
原来两人是真夫妻!戏里戏外相伴20年,如今搭档赵丽颖终于大火

原来两人是真夫妻!戏里戏外相伴20年,如今搭档赵丽颖终于大火

古事寻踪记
2026-08-11 09:43:32
2026-08-11 22:12:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15915文章数 66998关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

40万人同时在线围观 "26版《西游记》"演成了当代职场

头条要闻

40万人同时在线围观 "26版《西游记》"演成了当代职场

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

汽车要闻

定价6.39万起 零跑A05能否再造女性代步车爆款?

态度原创

本地
艺术
教育
数码
公开课

本地新闻

黄州一夜,苏轼写给普通人的月光

艺术要闻

这位书法巨擘,“宋四家”都学过他的字,如今却几乎无人知晓!

教育要闻

又双叒叕拿金牌了!北京学子暑假闪耀国际赛场

数码要闻

三星Galaxy Buds耳机“助听器”功能获美国FDA批准,今年Q4上线

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版