网易首页 > 网易号 > 正文 申请入驻

10倍压缩率,97%解码精度!DeepSeek开源新模型,为何赢得海内外关注

0
分享至

DeepSeek开源新模型:用视觉模式实现上下文压缩。

10月20日,DeepSeek宣布开源最新大模型DeepSeek-OCR。所谓的OCR,据DeepSeek在论文中解释称,是通过光学2D映射压缩长上下文可行性的初步研究。DeepSeek-OCR由两部分组成:DeepEncoder和作为解码器的DeepSeek3B-MoE-A570M。DeepEncoder作为核心引擎,设计为在高分辨率输入下保持低激活,同时实现高压缩比,以确保视觉tokens数量优化且可管理。

通俗而言,这是一种视觉-文本压缩范式,通过用少量的视觉token来表示原本需要大量文本token的内容,以此降低大模型的计算开销。

据公布的论文名单显示,该项目由DeepSeek三位研究员Haoran Wei、Yaofeng Sun、Yukun Li共同完成,但这三位核心作者都颇为低调,其中一作作者Haoran Wei曾在阶跃星辰工作过,曾主导开发旨在实现“第二代 OCR”的GOT-OCR2.0系统。

DeepSeek-OCR的架构分为两部分。一是DeepEncoder,一个专为高压缩、高分辨率文档处理设计的视觉编码器;二是DeepSeek3B-MoE,一个轻量级混合专家语言解码器。这款刚开源不久的新模型,发布后就得到海外科技媒体广泛赞美,有网友盛赞:“这是AI的JPEG时刻。”

前特斯拉AI总监、OpenAI创始成员安德烈·卡帕西(Andrej Karpathy)在社交媒体高度评价DeepSeek的新模型,他表示,自己相当喜欢新的DeepSeek-OCR论文,“它是一个很好的OCR模型(可能比dots稍微差一点),是的,数据收集等等,但无论如何都不重要。对我来说更有趣的部分(尤其是作为一个以计算机视觉为核心,暂时伪装成自然语言的人)是像素是否比文本更适合作为LLM的输入。文本标记是否浪费且糟糕,作为输入。”

根据他的设想,或许所有LLM的输入都只应该是图像。即便是纯文本内容,也应该先渲染成图片再输入给模型,其中理由包括:信息压缩效率更高、像素更通用、支持双向注意力、可淘汰存在安全隐患的分词器(Tokenizer)。

特斯拉创始人马斯克(Elon Musk)也现身评论区,并表示:“从长远来看,AI模型超过99%的输入和输出都将是光子,没有其他任何东西可以规模化。”

知名科技媒体《麻省理工科技评论》解释称,DeepEncoder是整个系统的关键所在。它的设计目标在于,在处理高分辨率输入图像的同时,保持较低的激活内存,并实现极高的压缩比。为达到这一目的,DeepEncoder融合两种成熟的视觉模型架构:SAM(Segment Anything Model)和 CLIP(Contrastive Language–Image Pre-training)。前者以窗口注意力机制(window attention)见长,擅长处理局部细节,构成编码器的前半部分;后者则依赖密集的全局注意力机制(global attention),能够捕获整体知识信息。

《麻省理工科技评论》表示,除了文本识别性能,DeepSeek-OCR还具备较强的“深度解析”能力。这得益于其训练数据中包含了图表、化学分子式、几何图形等多样化的视觉内容。因此,模型不仅能识别标准文本,还能对文档中嵌入的复杂元素进行结构化解析。例如,它可以将报告中的图表转换为表格数据,将化学文献中的分子式输出为SMILES格式,或解析几何图形中的线段关系。这种超越传统文本识别的能力,拓展了其在金融、科研、教育等专业领域的应用空间。

DeepSeek介绍,实验表明,当文本tokens数量在视觉tokens的10倍以内(即压缩比<10×)时,模型可达到97%的OCR精度。即使在20×压缩比下,OCR精度仍保持在约60%。这为历史长上下文压缩和LLM中的记忆遗忘机制等研究领域展示可观前景。

DeepSeek-OCR还初步验证上下文光学压缩的可行性,证明模型可以从少量视觉tokens中有效解码超过10倍数量的文本tokens。DeepSeek-OCR也是一个高度实用的模型,可大规模生产预训练数据,“未来,我们将进行数字-光学文本交错预训练、大海捞针测试等进一步评估,继续推动这一有前景的研究方向。”

据海外科技媒体分析,研究团队表示,在基准测试中,DeepSeek-OCR优于多个主流模型,且使用的视觉tokens数量少得多。此外,单张A100-40G GPU每天可生成超过20万页的训练数据,可为大型语言模型和视觉-语言模型的开发提供支持。

前网易副总裁、杭州研究院执行院长汪源发文表示,DeepSeek-OCR模型是一个专门能“读懂”图片里文字的AI模型。但厉害的地方不是简单“识字”,是采用了一种非常新颖的思路:把文字当成图片来处理和压缩。

汪源认为,可以把它想象成一个超级高效的“视觉压缩器”,传统的AI模型是直接“读”文本,但 DeepSeek-OCR 是先“看”文本的图像,然后把一页文档的图片信息高度压缩成很少的视觉tokens。DeepSeek-OCR的能力强在能把一篇1000字的文章,压缩成100个视觉tokens。在十倍的压缩下,识别准确率可以达到96.5%。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
切尔西利物浦盯上田中碧,利兹联急启续约谈判

切尔西利物浦盯上田中碧,利兹联急启续约谈判

热血体育社
2026-11-21 01:14:01
珠海重磅装备提前抵达,VT-4B亮点满满,神秘宝塔引多方猜测

珠海重磅装备提前抵达,VT-4B亮点满满,神秘宝塔引多方猜测

装甲铲史官
2026-11-19 14:07:23
娜扎性感美腿写真

娜扎性感美腿写真

老吴教育课堂
2026-11-21 00:42:49
大妈花50万买基金,账号忘了15年,孙子找回看到余额,全家愣住了

大妈花50万买基金,账号忘了15年,孙子找回看到余额,全家愣住了

黄家湖的忧伤
2025-08-12 17:05:12
甲流毒株增多!专家劝告:萝卜土豆先靠边,这 3 样赶紧吃

甲流毒株增多!专家劝告:萝卜土豆先靠边,这 3 样赶紧吃

牛锅巴小钒
2026-11-20 00:37:01
CBA杯赛最新排名!A组北京第1,C组辽宁第2,D组广东第1山东第2

CBA杯赛最新排名!A组北京第1,C组辽宁第2,D组广东第1山东第2

老吴说体育
2026-11-20 09:27:43
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
中方消耗战术大见成效!马德雷山号拖不走,菲改口寻求对话谈判?

中方消耗战术大见成效!马德雷山号拖不走,菲改口寻求对话谈判?

玲儿爱唱歌
2026-11-17 00:34:18
普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

奇闻不要看
2026-11-20 10:13:18
闹掰了?被中美俄点名,高市早苗不敢惹中美,将怒火全部迁怒俄方

闹掰了?被中美俄点名,高市早苗不敢惹中美,将怒火全部迁怒俄方

旧史新谭
2026-09-08 14:22:07
45岁母亲雾天开车买菜失踪,10年后女儿打车上班,发现是妈妈的爱车

45岁母亲雾天开车买菜失踪,10年后女儿打车上班,发现是妈妈的爱车

今天说故事
2025-07-02 17:31:55
新赛季五大球星判若两人,有人真崩盘,有人只是球权变了!

新赛季五大球星判若两人,有人真崩盘,有人只是球权变了!

史鹷的生活科普
2026-11-19 20:25:58
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
“热搜霸榜!特朗普佩戴红领带出发,登上空军一号前挥手致意”

“热搜霸榜!特朗普佩戴红领带出发,登上空军一号前挥手致意”

云崖听松
2026-11-21 01:22:37
难以启齿?王楚钦连续退赛原因揭晓,原来他与昔日马龙的情况相似

难以启齿?王楚钦连续退赛原因揭晓,原来他与昔日马龙的情况相似

远梦归晓r
2026-10-27 05:03:45
33岁中超MVP告别英博!降薪回国:200万欧年薪变40万,离队原因曝光

33岁中超MVP告别英博!降薪回国:200万欧年薪变40万,离队原因曝光

小火箭爱体育
2026-11-20 21:10:21
来到深圳最大震撼是什么?台湾媒体人唐湘龙说:

来到深圳最大震撼是什么?台湾媒体人唐湘龙说:

迷彩人生
2026-11-20 10:26:23
触目惊心!山东查出 27 批次问题食品,涵盖日常餐桌常见品类

触目惊心!山东查出 27 批次问题食品,涵盖日常餐桌常见品类

瑛派儿老黄
2026-11-20 03:11:05
那些年,APEC峰会领导人们穿过的“花衣裳”

那些年,APEC峰会领导人们穿过的“花衣裳”

黄娜老师
2026-11-20 09:17:10
APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

快科技
2026-11-20 09:51:06
2026-11-21 02:07:00
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
949202文章数 5098954关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
旅游
数码
亲子

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

亲子要闻

宝宝气人但是聪明的4个行为

无障碍浏览 进入关怀版