与DeepSeek-OCR不谋而合，NeurIPS论文提出让LLM像人一样读长文本

在 NeurIPS 2025 论文中，来自南京理工大学、中南大学、南京林业大学的研究团队提出了一个极具突破性的框架 ——VIST（Vision-centric Token Compression in LLM），为大语言模型的长文本高效推理提供了全新的 “视觉解决方案”。值得注意的是，这一思路与近期引起广泛关注的 DeepSeek-OCR 的核心理念不谋而合。

研究背景

在处理短文本时，大语言模型（LLM）已经表现出惊人的理解和生成能力。但现实世界中的许多任务 —— 如长文档理解、复杂问答、检索增强生成（RAG）等 —— 都需要模型处理成千上万甚至几十万长度的上下文。与此同时，模型参数规模也从数十亿一路飙升至万亿级别。在 “上下文长度激增” 与 “模型参数量膨胀” 的双重挑战下，Token 压缩不再是优化项，而是必需品。若不能有效缩减输入规模，即便最强大的大语言模型，也难以高效处理我们需要它分析的海量信息。

VIST 的出现，正是为了解决这一痛点。

让大模型学会像人一样读

该团队早在一年多以前就开始探索 ——如何让模型像人类一样，以视觉的方式更高效地理解长文本。（相关研究发表于 NeurIPS 2024：《Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning》）

人类阅读文章时，不会逐字读完每一个词。“的”“了”“和”这些功能性高频词，几乎是被大脑自动略过的。真正让我们停下来的，是那些承载意义的低频词—— 名词、动词、数字等。

VIST 的核心思想，就是让大模型也具备这种 “选择性阅读” 能力。它设计了一种模仿人类“快–慢阅读通路（Slow–Fast Reading Circuit）”的视觉化压缩机制，让大模型在理解长文本时，既能快速扫读，又能深入思考：

1. ♂️快路径（Fast Path）：将远处、相对次要的上下文渲染为图像，由一个冻结的轻量级视觉编码器快速提取显著性语义；
2. 慢路径（Slow Path）：将关键的近处文本直接输入 LLM，用于深层推理与语言生成。

这种 “视觉 + 语言” 的双通道协作，就像人类的眼睛与大脑 —— 一边扫视全局，一边聚焦要点，深度思考。VIST 让模型真正具备了 “像人一样速读” 的能力。

凭借这一设计，在处理相同文本内容时，VIST 所需的视觉 Token 数量仅为传统文本分词所需 Token 数量的 56%，内存减少了 50%。

• 论文标题：Vision-centric Token Compression in Large Language Model
• 论文链接：https://arxiv.org/abs/2502.00791（2025 年 2 月发布）

用「视觉压缩」解锁长文本理解

早期的 LLM 主要通过 tokenizer 把文本拆分的离散 token 输入给 LLM 去处理，这种范式带来了很多好处，如高度语义化。但是已有研究发现，经过大规模图文配对数据预训练，CLIP 等视觉编码器能够自发掌握 OCR 能力，这使它们可以直接理解文本图像内容，为长文本的视觉化处理提供了强大工具。

VIST 则借鉴了人类高效阅读的技巧，提出了一种全新的快–慢视觉压缩框架用视觉方式处理长文本，让模型既能快速扫读，又能深度理解。

快路径（Fast Path）：

1. 将次要的长距离上下文渲染成图像，由轻量级视觉编码器处理
2. 通过 Resampler 将视觉特征进一步压缩为4 倍
3. 压缩后的视觉特征再通过 cross-attention 与 LLM 的主输入整合。

慢路径（Slow Path）：

1. 对近处或核心文本直接交给 LLM 处理，进行深度推理和语言生成

这种 “扫视远处，专注近处” 的方式，模拟了人类阅读的自然策略，让模型在长文本场景下既高效又精准。

概率感知视觉增强

教模型学会「略读」

虽然视觉编码器（如 CLIP）非常强大，但它们主要在自然图像上训练，对于渲染文本的理解能力有限。而且，长文本中往往充斥大量冗余信息，如果不加选择地处理，浪费算力，还会被干扰得抓不住重点。

为此，VIST 引入了一个巧妙的机制 ——概率感知视觉增强（PVE, Probability-informed Visual Enhancement），教模型 “略读”，抓住关键信息，忽略冗余词

在训练中，PVE 采用基于频率的屏蔽策略（Frequency-based Masking Strategy）把高频但信息量低的词（如英文中的 “the”、“with”）掩码，而重点保留低频、高信息量词，如名词、动词、数字等核心内容。这些经过语义优化的文本嵌入（embeddings）有效指导 Resampler 从文本图像中提取最重要的语义信息，让视觉压缩模块更高效、更精准。

VIST 展示视觉压缩的极大潜力

开放域问答（Open-domain QA） 任务以及11 个 In-Context Learning（ICL）基准任务上，VIST 显著优于基于文本编码器的压缩方法 CEPE。即便在极端条件下 —— 所有篇章仅通过视觉编码器处理 ——VIST 仍能在开放域问答任务中达到与 TinyLlama 相当的性能，充分显示了视觉压缩在长文本处理中的可靠性。

此外，VIST 在处理相同文本内容时，所需视觉 Token 数量比传统文本 Token 少 56%（压缩比约为 2.3，从 1024 个文本 Token 压缩到 448 个视觉 Token），同时显存使用减少50%，极大提高了计算效率。

Visual Text Tokenization

让大模型 “用眼睛读文字”

VIST 利用轻量级视觉编码器，将冗长的上下文信息压缩处理，为大语言模型提供了一条高效、低成本的新路径。更妙的是，视觉编码器还能充当视觉文本分词器（Visual Text Tokenization），带来四大优势：

• 简化分词流程

传统文本分词器依赖复杂规则和固定词表，通常涉及近十步人工预处理（如小写化、标点符号处理、停用词过滤等）。视觉编码器直接将渲染后的文本视作图像输入，无需繁琐预处理，处理流程更直接高效。

• 突破词表瓶颈

传统分词器在多语言环境下容易受词表限制影响性能，而视觉编码器无需词表，统一处理多种语言文本，大幅降低嵌入矩阵和输出层的计算与显存开销。

• 对字符级噪声更鲁棒

视觉编码器关注整体视觉模式，而非单个 Token 匹配，因此对拼写错误或低级文本攻击具备天然抵抗力。

• 多语言高效性

尽管本文主要针对英文，视觉文本分词器在其他语言中同样高效：与传统文本分词相比，可减少62% 的日文 Token、78% 的韩文 Token、27% 的中文 Token，在处理长文本时优势尤为显著。

结语与未来展望

VIST 展示了 “视觉 + 语言” 协作在大模型长文本理解中的巨大潜力：

• 它让大模型能够 “像人一样读”，快速扫视冗余信息，同时专注于关键内容；
• 它为多语言、长文本、甚至多模态场景提供了高效处理方案。

未来，视觉驱动的 Token 压缩可能会成为长上下文 LLM 的标准组件。

随着模型规模不断增长，这种 “先看再读” 的策略，将帮助大模型在保证理解能力的同时，大幅降低计算成本，为多模态智能理解铺平道路。

该研究团队并非首次探索视觉化文本，感兴趣的读者可以访问 Blog 进一步了解更多相关内容 (https://csu-jpg.github.io/Blog/people_see_text.html)。