网易首页 > 网易号 > 正文 申请入驻

DeepSeek又发新论文:让AI用“人类思维”理解图像

0
分享至

2026开年未满一个月,DeepSeek就发布了两篇创始人梁文锋署名的论文——元旦抛出mHC架构论文破解模型稳定性难题,月中又靠Engram论文提出 “静态知识存为可检索记忆表”的新思路。

1月27日,DeepSeek开源模型DeepSeek-OCR 2(其核心定位为处理静态图像)并同步发布论文《DeepSeek-OCR 2: Visual Causal Flow(直译为“视觉因果流”)》。新京报贝壳财经记者浏览论文发现,视觉因果流机制可使模型不再像扫描仪一样按像素顺序“扫图”,而是能够像人类阅读一样,依据语义和逻辑关系理解图像内容,从而显著提升其在表格、文档和公式等复杂结构场景中的识别与理解效果。

DeepSeek最新论文在github平台上的截图

不是模型不够强,而是看图的顺序不对

长期以来,主流视觉语言模型在处理图像时,普遍采用固定的像素扫描顺序。将图像切分为若干视觉单元后,按照从左到右、从上到下的方式输入模型。这种方式在自然图片中尚能发挥作用,但在表格、多栏文档、技术资料和数学公式等结构化内容中,却暴露出明显局限。

在这些场景下,信息之间往往存在清晰的语义层级和逻辑依赖,例如标题与正文、行名与数值、主公式与注释等。然而,固定的空间顺序无法反映这些关系,导致模型虽然能够识别局部文字,却难以还原整体结构,从而影响后续理解与推理效果。

随着模型规模不断扩大,这一问题并未得到根本解决。研究者逐渐意识到,性能瓶颈并不完全源于参数数量或算力不足,而在于视觉信息被组织和输入模型的方式本身。换言之,模型“看得见”,但“怎么看”才是关键。DeepSeek-OCR 2 正是在这一背景下提出,它尝试从根本上调整模型对图像的理解路径,而不是继续依赖更大的模型规模来弥补结构理解的不足。

先理清关系,再让模型去“理解”

在此背景下,DeepSeek-OCR 2的核心创新在于提出“视觉因果流”机制,使模型不再机械地按像素顺序处理图像,而是根据语义和逻辑关系动态组织视觉信息。在具体实现上,模型在视觉编码阶段引入语义与因果感知能力,通过改进的视觉编码器,对不同视觉单元之间的依赖关系进行建模,判断哪些信息在理解上具有先行性,哪些内容是对前者的补充或延展。

基于这种判断,模型会对视觉token进行动态重排,并结合可重组的位置编码,将结构更加清晰的序列输入语言模型。这样,语言模型在生成和推理阶段接收到的,不再是杂乱无序的像素序列,而是一条更接近人类阅读习惯的“理解路径”。研究团队将这一过程概括为“视觉因果流”,即图像中隐含的语义理解顺序。

实验结果表明,该机制在表格解析、多栏文档理解和公式识别等任务中表现突出,相较于前代 DeepSeek-OCR,整体性能提升 3.73%,阅读顺序(R-order)的编辑距离(ED)也显著降低(从0.085降至0.057),这表明新的DeepEncoder V2能够根据图像信息有效地选择和排列初始视觉标记。

论文最后表示,尽管光学字符识别,尤其是文档解析,是大模型时代最具实用价值的视觉任务之一,但它只是更广泛视觉理解版图中的一部分。未来,相关架构还将持续优化并拓展至更多复杂场景,进一步探索多模态智能在更深层次视觉理解中的潜力。

新京报贝壳财经记者 罗亦丹 实习生 郭雯华

编辑 王进雨

校对 薛京宁

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
三胎全爆!仰望U8遭遇山洪:依靠易四方技术助车主成功逃生

三胎全爆!仰望U8遭遇山洪:依靠易四方技术助车主成功逃生

快科技
2026-08-09 18:29:17
“古装丑男”再添猛将!贼眉鼠眼,方海阔口,气质油腻不忍直视

“古装丑男”再添猛将!贼眉鼠眼,方海阔口,气质油腻不忍直视

冷紫葉
2026-08-09 15:42:25
马卡报:西班牙女演员爆料,巴拉圭女商人曾与C罗相恋两年

马卡报:西班牙女演员爆料,巴拉圭女商人曾与C罗相恋两年

懂球帝
2026-08-10 19:07:07
印度公布“阿鲁纳恰尔邦”27处地点所谓“标准名称”,中方:藏南地区是中国领土,中方从不承认印度非法设立的所谓“阿鲁纳恰尔邦”

印度公布“阿鲁纳恰尔邦”27处地点所谓“标准名称”,中方:藏南地区是中国领土,中方从不承认印度非法设立的所谓“阿鲁纳恰尔邦”

政知新媒体
2026-08-10 21:51:06
今天,“打新”宇树科技,受益影子股名单来了

今天,“打新”宇树科技,受益影子股名单来了

新浪财经
2026-08-10 06:28:25
人大的“全球领导力学院”,让人想起乡下路旁挂着“国际大饭店”招牌的小饭馆

人大的“全球领导力学院”,让人想起乡下路旁挂着“国际大饭店”招牌的小饭馆

廖保平
2026-08-10 09:05:02
终于走了!领馆撤离成都,以色列在中国人心中的好感是咋崩盘的?

终于走了!领馆撤离成都,以色列在中国人心中的好感是咋崩盘的?

花漾夜雨飘雪
2026-08-10 04:37:26
美参议院通过法案,中国买俄油加税100%!中方的回应只有四个字

美参议院通过法案,中国买俄油加税100%!中方的回应只有四个字

史之韵
2026-08-10 09:45:00
新华社快讯:哥伦比亚发生7.4级地震

新华社快讯:哥伦比亚发生7.4级地震

新华社
2026-08-10 20:48:05
保时捷新车官宣:8月9日发布,全球仅一辆

保时捷新车官宣:8月9日发布,全球仅一辆

3C毒物
2026-08-10 00:12:14
逆天:印度男过山车上性侵加拿大女

逆天:印度男过山车上性侵加拿大女

韬闻
2026-08-10 12:15:49
挥别老尼尔森:一代跑轰教父,中国篮球的好朋友

挥别老尼尔森:一代跑轰教父,中国篮球的好朋友

体坛周报
2026-08-10 14:55:13
首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

柳絮忆史
2025-07-22 07:15:03
家长试卷“签字”走红,连老师都赞叹不绝:有这样的家长未来可期

家长试卷“签字”走红,连老师都赞叹不绝:有这样的家长未来可期

犀利强哥
2026-08-10 06:59:54
百花奖最佳男主王宝强获0票:其主演《唐探1900》票房曾突破36亿元

百花奖最佳男主王宝强获0票:其主演《唐探1900》票房曾突破36亿元

快科技
2026-08-10 23:09:06
越南少将坦言:如果当时中国军队在谅山再多待五天,布防在那里的越军,不是被打散的问题,而是从建制上被彻底抹掉的问题, 一个都不剩下

越南少将坦言:如果当时中国军队在谅山再多待五天,布防在那里的越军,不是被打散的问题,而是从建制上被彻底抹掉的问题, 一个都不剩下

人生录
2026-08-08 00:05:22
哥伦比亚发生7.4级地震

哥伦比亚发生7.4级地震

新京报
2026-08-10 20:50:12
央视曝光后,多地成立调查组

央视曝光后,多地成立调查组

澎湃新闻
2026-08-10 16:15:04
中国公开赛战报:塞尔比6-3淘汰庞俊旭,首轮中国军团6胜6负收官

中国公开赛战报:塞尔比6-3淘汰庞俊旭,首轮中国军团6胜6负收官

小火箭爱体育
2026-08-10 23:03:11
深夜,直线跳水!美股巨头,突传利空!

深夜,直线跳水!美股巨头,突传利空!

证券时报
2026-08-10 23:06:05
2026-08-11 01:12:49
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
67972文章数 14053关注度
往期回顾 全部

科技要闻

马斯克又放大招:星链要吃掉全球一半流量

头条要闻

16岁少年强行抱女友跳河自杀 自己爬上岸放任女友溺亡

头条要闻

16岁少年强行抱女友跳河自杀 自己爬上岸放任女友溺亡

体育要闻

阿森纳的39号球衣,有了最适合的主人

娱乐要闻

演员秦焰去世 享年72岁

财经要闻

最多卖166亿港元,李嘉诚又要套现了

汽车要闻

搭载猎鹰500/限时售10.49万起 2027款艾瑞泽8PRO上市

态度原创

教育
艺术
手机
时尚
军事航空

教育要闻

2026年12所民办本科高校降分录取,竟然都招不到学生,天塌了!

艺术要闻

227米!新西兰第一高楼正式获批!

手机要闻

荣耀Magic9对上一加16:9月底到10月,下半年旗舰提前开打!

阔腿裤失宠了?这3条裤子承包你整个秋天的时髦!

军事要闻

特朗普被指不想再打了:哪怕未达成核协议也想退出

无障碍浏览 进入关怀版