网易首页 > 网易号 > 正文 申请入驻

Liquid AI开源多模态模型LFM2-VL,用4.5亿参数实现高效视觉理解

0
分享至

近期,英伟达研究团队发表的一项研究表明,小语言模型(SLMs,Small Language Models)在 AI 智能体(Agent)系统中具备巨大潜力,能够以更低的成本和延迟提供与大模型相当的性能。研究指出,当前 AI Agent 系统过度依赖大语言模型(LLMs,Large Language Models)的设计范式存在经济和环境可持续性问题,而小模型在专门化任务上往往能够达到甚至超越大模型的表现,同时其较低的计算需求和内存占用使其更适合在智能手机、边缘设备等终端环境中部署。

越来越多的厂商也在推出更小规模的模型,例如谷歌最近推出的 270M 参数的 Gemma 3 270M 模型,显示出业界对高效小模型的重视。

也正是在这一趋势下,脱胎于麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)的人工智能公司 Liquid AI,正式推出了其首个视觉-语言基础模型系列 LFM2-VL。该系列模型就旨在解决当前多模态人工智能模型因体积庞大而难以在终端设备上部署的普遍问题,致力于为智能手机、笔记本电脑、可穿戴设备和各类嵌入式系统提供高效、低延迟的 AI 视觉理解能力。目前,LFM2-VL 系列的模型权重已在 Hugging Face 社区开源,供开发者和研究人员使用。

LFM2-VL 系列首批发布了两种不同参数规模的模型,以满足不同设备的部署需求。其中,LFM2-VL-450M 是一款拥有 4.5 亿参数的轻量级模型,主要面向资源极为有限的环境,如智能手表或基础物联网节点。

另一款 LFM2-VL-1.6B 则拥有 16 亿参数,提供更全面的性能,适用于高端智能手机、个人电脑以及配备单块 GPU 的设备。根据 Liquid AI 公布的数据,LFM2-VL 在 GPU 上的推理速度最高可达同类视觉语言模型的两倍,同时在图像描述、视觉问答等多个行业标准基准测试中,其表现与一些参数量更大的模型相比也具有竞争力,而内存占用则显著降低。

LFM2-VL 的性能优势来源于其独特的底层架构。该模型构建于 Liquid AI 自家的液态基础模型(LFM, Liquid Foundation Models)之上,这一架构的设计灵感源自于动态系统与信号处理理论,与当前主流的 Transformer 架构在处理序列数据的方式上有所不同,为其带来了计算效率上的先天优势。具体到 LFM2-VL 的实现,其结构由语言模型主干、视觉编码器和多模态投影器三个核心模块组成。语言部分沿用了 LFM2 模型,而视觉编码器则采用了 SigLIP2 NaFlex。

为了进一步提升效率,LFM2-VL 集成了一项名为“像素解混(pixel unshuffle)”的技术。该技术能够在处理图像时智能地减少需要分析的图像令牌(token)数量,从而降低计算负荷,加快处理速度。在处理图像输入方面,LFM2-VL 也避免了许多模型中常见的图像失真问题。它支持最高 512x512 像素的原生分辨率输入,无需对图像进行强制拉伸或裁剪。对于超过此尺寸的图像,模型会将其分割为多个无重叠的图块进行处理,并通过编码一幅完整的低分辨率缩略图来获取全局上下文信息,以此保证对图像细节和整体场景的全面理解。

在实际应用中,开发者可以根据具体需求,在不重新训练模型的情况下,通过调整输入模型的图像令牌和图块数量,来动态平衡模型的处理速度与分析精度。为了便于社区使用,LFM2-VL 已与 Hugging Face Transformers 等主流开发库集成,并支持量化技术,可通过降低数据精度来进一步压缩模型体积,适应边缘硬件的严苛要求。

在许可方面,该模型对年收入低于 1000 万美元的公司提供免费商业使用授权,而大型企业则需联系 Liquid AI 获取商业许可。

对于 AI Agent 和海量的终端设备而言,像 LFM2-VL 这样轻量、高效、专为端侧设计的模型,正是将 AI 能力从云端解放出来、推向大规模实际应用的关键。AI 的下一个浪潮,或许将由这些小而精悍的模型驱动,它们才是真正让智能无处不在的核心力量。

参考资料:

1.https://www.liquid.ai/blog/lfm2-vl-efficient-vision-language-models

2.https://arxiv.org/pdf/2506.02153

排版:刘雅坤

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
就在今天,解放军黄岩岛亮剑,美军公开表态,菲律宾已无退路

就在今天,解放军黄岩岛亮剑,美军公开表态,菲律宾已无退路

携手游人间a
2026-08-02 06:08:36
著名学者、诗人钱文亮因突发疾病逝世,享年61岁

著名学者、诗人钱文亮因突发疾病逝世,享年61岁

澎湃新闻
2026-08-02 09:50:29
美媒紧急研究歼20:隐身材料不是重点,真正让美国担心的是这个

美媒紧急研究歼20:隐身材料不是重点,真正让美国担心的是这个

扬子的故事屋
2026-07-31 15:47:10
8月7日立秋,立秋不等于降温,真正凉快的具体时间表来了!

8月7日立秋,立秋不等于降温,真正凉快的具体时间表来了!

神牛
2026-08-01 17:40:11
三甲主任医师“十级美颜照”,全网走红

三甲主任医师“十级美颜照”,全网走红

医学界
2026-08-01 14:19:17
一步错步步错!穆里尼奥力挺世界杯水货踩大坑,皇马计划全面受阻

一步错步步错!穆里尼奥力挺世界杯水货踩大坑,皇马计划全面受阻

澜归序
2026-08-02 06:26:28
“夫妻本是同林鸟,大难临头各自飞”。一位大厂员工:失业即离婚,媳妇北京市直事业单位

“夫妻本是同林鸟,大难临头各自飞”。一位大厂员工:失业即离婚,媳妇北京市直事业单位

蚂蚁大喇叭
2026-08-01 11:58:30
蚊子几度会被热死?这个温度红线,看完真解气!

蚊子几度会被热死?这个温度红线,看完真解气!

三农老历
2026-08-02 12:49:18
今明两年,公交集团正式员工要硬着陆的准备!

今明两年,公交集团正式员工要硬着陆的准备!

亚哥谈古论今
2026-08-02 17:58:19
迟到被罚一万二,我开会再不敢发言,一年后八个项目泡汤老板愣住

迟到被罚一万二,我开会再不敢发言,一年后八个项目泡汤老板愣住

晓艾故事汇
2026-07-27 14:04:30
广东孩子上大学,公办5050元起步,真正压钱的是住宿和生活费

广东孩子上大学,公办5050元起步,真正压钱的是住宿和生活费

爱下厨的阿椅
2026-08-02 12:12:16
姆巴佩和新援中锋极度适配,穆帅可排4-1-2-1-2双前锋阵容

姆巴佩和新援中锋极度适配,穆帅可排4-1-2-1-2双前锋阵容

福酱的小时光
2026-08-02 09:07:34
宋轶的普拉提自拍,比“白幼瘦”更值得上热搜

宋轶的普拉提自拍,比“白幼瘦”更值得上热搜

陈意小可爱
2026-08-01 14:50:40
刘翔烦恼:耐克1400万代言费去年未花完,今年又到账

刘翔烦恼:耐克1400万代言费去年未花完,今年又到账

枫尘余往逝
2026-07-31 05:24:59
一旦放开限价,资本进入房产,百姓买不起房的时代或将真正到来?

一旦放开限价,资本进入房产,百姓买不起房的时代或将真正到来?

抽象派大师
2026-08-02 21:16:00
他是王昆之子,坐牢10年出狱,娶了陈凯歌妹妹,79岁活通透了

他是王昆之子,坐牢10年出狱,娶了陈凯歌妹妹,79岁活通透了

子芫伴你成长
2026-08-01 20:38:15
大搞权钱交易,惠州惠阳中山中学原党委书记欧有明被双开

大搞权钱交易,惠州惠阳中山中学原党委书记欧有明被双开

南方都市报
2026-08-02 13:44:06
砸没20%,昨天被砸得最惨的15只股票,进去的股民今天还在疼!

砸没20%,昨天被砸得最惨的15只股票,进去的股民今天还在疼!

小蜜情感说
2026-08-02 14:49:28
全民呼吁取消养老特权,1955年社保专家郑秉文退休待遇如何

全民呼吁取消养老特权,1955年社保专家郑秉文退休待遇如何

王二哥老搞笑
2026-07-30 16:16:47
《蜘蛛侠4》新女主杀疯了:全网狂喊荷兰弟换老婆

《蜘蛛侠4》新女主杀疯了:全网狂喊荷兰弟换老婆

动物奇奇怪怪
2026-08-02 16:00:59
2026-08-02 22:24:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17044文章数 515176关注度
往期回顾 全部

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

女子花10万请明星带货仅卖1单 3公司"坑位费"收2600万

头条要闻

女子花10万请明星带货仅卖1单 3公司"坑位费"收2600万

体育要闻

常规赛MVP可以衡量常规赛成就吗?

娱乐要闻

徐克和多位港星送别施南生

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

旅游
时尚
艺术
本地
教育

旅游要闻

发现宝藏山东|山东籍著名演员邵峰打卡仙境蓬莱,体验一天神仙生活,邀请全国游客朋友来山东过神仙日子!

东野宇宙,未完待续

艺术要闻

自然与艺术|奥杜邦《美洲鸟类》

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

教育要闻

你没收了孩子的手机,他的焦虑没少,真正危险的东西不在屏幕里 | 思想实验

无障碍浏览 进入关怀版