网易首页 > 网易号 > 正文 申请入驻

DeepSeek又发新论文:让AI用“人类思维”理解图像

0
分享至

2026开年未满一个月,DeepSeek就发布了两篇创始人梁文锋署名的论文——元旦抛出mHC架构论文破解模型稳定性难题,月中又靠Engram论文提出 “静态知识存为可检索记忆表”的新思路。

1月27日,DeepSeek开源模型DeepSeek-OCR 2(其核心定位为处理静态图像)并同步发布论文《DeepSeek-OCR 2: Visual Causal Flow(直译为“视觉因果流”)》。新京报贝壳财经记者浏览论文发现,视觉因果流机制可使模型不再像扫描仪一样按像素顺序“扫图”,而是能够像人类阅读一样,依据语义和逻辑关系理解图像内容,从而显著提升其在表格、文档和公式等复杂结构场景中的识别与理解效果。

DeepSeek最新论文在github平台上的截图

不是模型不够强,而是看图的顺序不对

长期以来,主流视觉语言模型在处理图像时,普遍采用固定的像素扫描顺序。将图像切分为若干视觉单元后,按照从左到右、从上到下的方式输入模型。这种方式在自然图片中尚能发挥作用,但在表格、多栏文档、技术资料和数学公式等结构化内容中,却暴露出明显局限。

在这些场景下,信息之间往往存在清晰的语义层级和逻辑依赖,例如标题与正文、行名与数值、主公式与注释等。然而,固定的空间顺序无法反映这些关系,导致模型虽然能够识别局部文字,却难以还原整体结构,从而影响后续理解与推理效果。

随着模型规模不断扩大,这一问题并未得到根本解决。研究者逐渐意识到,性能瓶颈并不完全源于参数数量或算力不足,而在于视觉信息被组织和输入模型的方式本身。换言之,模型“看得见”,但“怎么看”才是关键。DeepSeek-OCR 2 正是在这一背景下提出,它尝试从根本上调整模型对图像的理解路径,而不是继续依赖更大的模型规模来弥补结构理解的不足。

先理清关系,再让模型去“理解”

在此背景下,DeepSeek-OCR 2的核心创新在于提出“视觉因果流”机制,使模型不再机械地按像素顺序处理图像,而是根据语义和逻辑关系动态组织视觉信息。在具体实现上,模型在视觉编码阶段引入语义与因果感知能力,通过改进的视觉编码器,对不同视觉单元之间的依赖关系进行建模,判断哪些信息在理解上具有先行性,哪些内容是对前者的补充或延展。

基于这种判断,模型会对视觉token进行动态重排,并结合可重组的位置编码,将结构更加清晰的序列输入语言模型。这样,语言模型在生成和推理阶段接收到的,不再是杂乱无序的像素序列,而是一条更接近人类阅读习惯的“理解路径”。研究团队将这一过程概括为“视觉因果流”,即图像中隐含的语义理解顺序。

实验结果表明,该机制在表格解析、多栏文档理解和公式识别等任务中表现突出,相较于前代 DeepSeek-OCR,整体性能提升 3.73%,阅读顺序(R-order)的编辑距离(ED)也显著降低(从0.085降至0.057),这表明新的DeepEncoder V2能够根据图像信息有效地选择和排列初始视觉标记。

论文最后表示,尽管光学字符识别,尤其是文档解析,是大模型时代最具实用价值的视觉任务之一,但它只是更广泛视觉理解版图中的一部分。未来,相关架构还将持续优化并拓展至更多复杂场景,进一步探索多模态智能在更深层次视觉理解中的潜力。

新京报贝壳财经记者 罗亦丹 实习生 郭雯华

编辑 王进雨

校对 薛京宁

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
詹姆斯自曝本想签尼克斯!纽约夺冠后只能作罢:媒体绝对不会接受

詹姆斯自曝本想签尼克斯!纽约夺冠后只能作罢:媒体绝对不会接受

罗说NBA
2026-09-29 07:45:59
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
黄金又又又跌了,再这么跌下去,那些买在最高点的人该怎么办

黄金又又又跌了,再这么跌下去,那些买在最高点的人该怎么办

News脑洞
2026-09-28 17:07:20
快讯!仁爱礁这扇门关上了!

快讯!仁爱礁这扇门关上了!

故事终将光明磊落
2026-09-29 08:27:12
13-18大逆转,再到21-8速胜,国羽峰回路转,夺亚运第二金

13-18大逆转,再到21-8速胜,国羽峰回路转,夺亚运第二金

求球不落谛
2026-09-29 10:55:51
1966年,得知董其武向中央提辞职,毛主席下令:由北京军区管起来

1966年,得知董其武向中央提辞职,毛主席下令:由北京军区管起来

纪史行者
2026-09-27 07:00:10
大模型终于露出了最原始的獠牙:它们开始吃纸了!

大模型终于露出了最原始的獠牙:它们开始吃纸了!

蜉蝣说
2026-09-27 22:57:54
铃木彩艳:今天我们攻防两端的表现都很糟糕

铃木彩艳:今天我们攻防两端的表现都很糟糕

懂球帝
2026-09-29 08:20:04
9月29日,人社部与财政部公布调整退休人员基本养老金的通知之前,有一个好消息

9月29日,人社部与财政部公布调整退休人员基本养老金的通知之前,有一个好消息

白昼说故事
2026-09-29 09:19:24
俄注水战绩太离谱,国人无人机飞手在乌牺牲

俄注水战绩太离谱,国人无人机飞手在乌牺牲

海子侃生活
2026-09-28 16:24:52
报价9000元却修不好1平方米渗水,“天价注胶防水”套路谁来管?

报价9000元却修不好1平方米渗水,“天价注胶防水”套路谁来管?

上观新闻
2026-09-29 06:25:17
贵州龙里一交通事故致7死,警方:19岁男子酒驾且超载

贵州龙里一交通事故致7死,警方:19岁男子酒驾且超载

界面新闻
2026-09-29 10:37:09
消息称小米大模型负责人罗福莉晋升至22级,已是小米职级体系最高级别

消息称小米大模型负责人罗福莉晋升至22级,已是小米职级体系最高级别

IT之家
2026-09-28 23:01:22
国防部罕见说重话!直接用出"根除"二字,一旦开打势必连根拔起

国防部罕见说重话!直接用出"根除"二字,一旦开打势必连根拔起

共工之锚
2026-09-29 00:38:23
挺不爱穿比基尼的,原因呢也不必多说

挺不爱穿比基尼的,原因呢也不必多说

穿的像个人样
2026-09-29 08:19:45
李飞飞创业公司被苏姿丰550亿收购!世界模型最大交易落地

李飞飞创业公司被苏姿丰550亿收购!世界模型最大交易落地

量子位
2026-09-29 08:48:49
国乒六金收官诞生三位三冠王,但名古屋更应记住的是王楚钦的“不圆满”

国乒六金收官诞生三位三冠王,但名古屋更应记住的是王楚钦的“不圆满”

上观新闻
2026-09-29 03:58:58
这跟不穿有啥区别?三角区明显,41岁女星穿透视3D打印裙惹争议

这跟不穿有啥区别?三角区明显,41岁女星穿透视3D打印裙惹争议

铁锤妹妹是只猫
2026-09-26 19:04:43
那英成都演唱会临时加唱《弯弯的月亮》,文旅局回应:还在了解和调查核实中

那英成都演唱会临时加唱《弯弯的月亮》,文旅局回应:还在了解和调查核实中

韩小娱
2026-09-29 09:23:39
4-1打爆土耳其!61岁曼奇尼笑了:轮换8人迎来首胜 意大利蛰伏7年

4-1打爆土耳其!61岁曼奇尼笑了:轮换8人迎来首胜 意大利蛰伏7年

风过乡
2026-09-29 06:03:57
2026-09-29 13:19:00
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
69729文章数 14073关注度
往期回顾 全部

科技要闻

82亿美元收购!李飞飞将与苏姿丰并肩做AI

头条要闻

少年在大兴安岭迷山8天走出瘦20斤 父亲的一句话救命

头条要闻

少年在大兴安岭迷山8天走出瘦20斤 父亲的一句话救命

体育要闻

王楚钦回应:找不回以前打球的感觉

娱乐要闻

刘欢离世48小时 李湘一个举动口碑暴涨

财经要闻

伊朗找到了美债的七寸

汽车要闻

四驱+城市NOA 长城大狗HEV混动版上市 10.59万元起

态度原创

家居
教育
艺术
手机
健康

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

增加语文、英语考试,清华数学领军计划重大调整

艺术要闻

油画选二 | 中国美协“青年伙伴计划·绘画100”作品展

手机要闻

摩托罗拉宽折叠机型Moto Book 60 Fold曝光 详细规格流出

洗脸越勤,痘痘反而越多?

无障碍浏览 进入关怀版