百度开源视觉理解模型Qianfan-VL!全尺寸领域增强+全自研芯片计算

允中 发自 凹非寺
量子位 | 公众号 QbitAI

今天，百度智能云千帆正式推出全新视觉理解模型——Qianfan-VL，并全面开源！

该系列包含3B、8B和70B三个尺寸版本，是面向企业级多模态应用场景，进行了深度优化的视觉理解大模型。Qianfan-VL不仅具备出色的基础通用能力，还针对产业落地中的高频需求，如OCR和教育垂直场景做了专项强化，使其在实际应用中表现更加卓越。

Qianfan-VL系列模型是由百度智能云千帆模型研发团队，基于开源模型进行开发，并在百度自研昆仑芯P800上完成全流程计算任务。昆仑芯P800提供了强大的算力支撑，确保模型能够高效处理海量数据与复杂算法，同时支持单任务5000卡规模的并行计算。这一结合不仅优化了模型计算的效率，更使得模型在性能表现上达到了新的高度，在通用和垂类任务评测中展现出SOTA水平。

Qianfan-VL模型具备三大特点：

• 多尺寸模型满足不同场景需求：提供3B、8B、70B三种规格的模型，让不同规模的企业和开发者都能找到合适的解决方案。
• 提供思考推理能力：8B和70B模型支持通过特殊token激活思维链能力，覆盖复杂图表理解、视觉推理、数学解题等多种场景。
• OCR与文档理解能力增强：主打OCR全场景识别和复杂版面文档理解两大特色能力，在多项基准测试中表现优异，为企业级应用提供高精度的视觉理解解决方案。

模型性能与效果

通用能力基准测试表现

在通用能力基准测试中，Qianfan-VL 系列模型（3B、8B、70B）展现出显著核心优势。

从视觉理解到专业领域问答，模型性能随参数规模增大提升显著，体现出很好的Scaling趋势。在ScienceQA等专业问答测试中，精准度表现突出；多模态任务如RefCOCO等，物体识别与关联能力优异；同时，在各类通用基准测试里，相较主流模型，整体表现也颇为亮眼，充分彰显出在视觉理解通用能力上的出色实力，为不同场景下的智能应用提供了有力支撑。

OCR与文档理解基准测试表现

Qianfan-VL系列模型（3B、8B、70B）在OCR与文档理解领域尽显卓越实力。

一方面，具备OCR全场景识别能力，能精准识别手写体、数学公式、自然场景文字，还可对卡证票据信息进行结构化提取；另一方面，复杂版面文档理解能力突出，可自动分析版面元素，精准解析表格、图表，实现文档智能问答与结构化解析。从基准测试表现看，在OCRBench、各类专业测试中，相较于主流模型，成绩优异且随参数规模提升持续向好，为企业级应用提供了高精度的视觉理解解决方案，有力推动文档智能处理场景的高效落地。

数学解题基准测试表现

Qianfan-VL系列的8B和70B模型，在思考推理能力方面表现卓越。

它们支持通过特殊token激活思维链能力，能覆盖复杂图表理解、视觉推理、数学解题等多类场景。这类任务需结合视觉信息与外部知识进行组合推理，而模型通过融合大量视觉类、文本类推理数据并用于后训练，从benchmark表现来看，推理计算相关任务效果显著提升。

在核心推理应用场景上，复杂图表理解与推理方面，可从复杂图表提取关键信息，进行数据分析、趋势预测、关联推理及统计计算；数学解题与视觉推理领域，能实现几何推理、公式识别、分步求解与逻辑推断。从数学解题基准测试表现看，在MathVista-mini、MathVision等多项测试中，相较于主流模型，成绩优异且随参数规模提升持续向好，为复杂推理场景下的应用提供了强力支持。

模型架构设计与技术特色

Qianfan-VL通过先进的多模态架构设计，凭借持续预训练和三大技术创新，实现了领域增强的通用视觉-语言能力。

• 能力增强训练方案：创新的四阶段训练策略，在保持通用能力基础上实现领域能力显著提升
• 高精度数据合成管线：构建面向多模态任务的大规模数据合成管线，涵盖文档识别、数学解题、图表理解、表格识别、公式识别、自然场景OCR等核心任务，通过精细化的管线设计和中间过程数据构造，实现高质量训练数据的规模化生产。
• 昆仑芯驱动大模型高效计算：基于百度自研昆仑芯P800芯片，构建了业界领先的超大规模（5000卡）分布式计算系统，通过创新的并行策略和算子优化，显著提升大模型任务的处理性能与运行效率。

模型应用案例

OCR识别场景

数学推理场景

文档理解场景

项目th>期末余额th>年初余额th> tr> thead> 流动资产：td>tr> 货币资金td>5,288,011,738.39td>2,629,981,089.49td>tr> 结算备付金td>td>td>tr> 拆出资金td>td>td>tr> 以公允价值计量且其变动计入当期损益的金融资产td>3,226,301.37td>6,830,273.97td>tr> 衍生金融资产td>td>td>tr> 应收票据td>1,010,636.94td>888,800.00td>tr> 应收账款td>389,409,537.65td>290,733,812.62td>tr> 预付款项td>474,301,533.93td>509,510,514.92td>tr> 应收保费td>td>td>tr> 应收分保账款td>td>td>tr> 应收分保合同准备金td>td>td>tr> 应收利息td>8,746,899.35td>1,645,890.39td>tr> 应收股利td>td>td>tr> 其他应收款td>291,499,926.83td>364,426,205.02td>tr> 买入返售金融资产td>td>td>tr> 存货td>69,558,687.59td>79,651,862.50td>tr> 划分为持有待售的资产td>td>td>tr> 一年内到期的非流动资产td>td>td>tr> 其他流动资产td>533,938,653.95td>545,184,036.20td>tr> 流动资产合计td>7,059,703,916.00td>4,428,852,485.11td>tr> 非流动资产：td>tr> 发放贷款和垫款td>td>td>tr> 可供出售金融资产td>981,477,845.00td>42,732,350.00td>tr> 持有至到期投资td>td>td>tr> 长期应收款td>td>td>tr> 长期股权投资td>478,328,423.92td>482,914,333.17td>tr> 投资性房地产td>td>td>tr> 固定资产td>11,211,345,599.37td>11,517,509,788.66td>tr> 在建工程td>344,034,065.45td>558,797,792.68td>tr> tbody>table>

除上述场景应用案例外，Qianfan-VL同样可应用在图表分析、视频理解等场景中，均呈现出卓越的模型效果。

Qianfan-VL系列模型的开源，对百度智能云千帆来说，更像是 “把模型放进真实生产力场景” 的第一小步；未来，百度智能云表示会秉持着对技术的执着追求与对应用场景的深度洞察，不断推出全新的产业级模型，全方位助力 AI 技术在各行业落地。

Qianfan-VL现已开源！即日起至10月10日，可在百度智能云千帆平台免费体验8B、70B模型，详情请戳“阅读原文”。

模型Blog： https://baidubce.github.io/Qianfan-VL/
github主页：https://github.com/baidubce/Qianfan-VL
Hugging Face：

• https://huggingface.co/baidu/Qianfan-VL-70B
• https://huggingface.co/baidu/Qianfan-VL-8B
• https://huggingface.co/baidu/Qianfan-VL-3B

模型体验（登录后可选择Qianfan-VL-8B/70B进行体验)：https://console.bce.baidu.com/qianfan/ais/console/onlineTest/multimodal/Qianfan-VL-8B
技术报告：https://github.com/baidubce/Qianfan-VL/blob/main/docs/qianfan_vl_report_comp.pdf

— 完 —