网易首页 > 网易号 > 正文 申请入驻

格灵深瞳联手LLaVA,端侧模型的前景何在?

0
分享至

11月18日,格灵深瞳的Glint Lab和LLaVA-OneVision开源团队的LMMs-Lab凑到一块,发布了LLaVA-OneVision-2.5。这东西有意思的地方不在于参数多大,而在于它把实时看视频流和事后翻长视频这两件事,塞进了同一个模型里,2B和4B版本还已经在RK3588加RK1828这种边缘盒子上跑通了。


首先,它直接打破了过去现场部署要两套模型的惯性。之前做工业或者城市管理项目,实时预警要一套轻量模型,事后回溯分析又得换另一套长视频模型,中间还要做数据对齐,运维成本高,现场工程师调起来也麻烦。现在同一个模型,既能盯着实时画面抓异常,也能事后从几小时的录像里定位目标事件,不用来回切换。这种变化不是小优化,是直接降低了现场部署的门槛。很多之前嫌多模态大模型部署太麻烦的中小项目,现在不用再为不同场景单独定制算法,直接一套东西就能覆盖大部分需求。

其次,全帧率流式理解这个点,对物理AI场景的价值比很多人想的要实在。过去大家为了让模型能在边缘设备上跑,普遍做法是隔几秒抽一帧,很多转瞬即逝的动作刚好落在两帧间隙里,真到工业巡检、轨交运维这类场景里,漏了关键动作就是实打实的业务风险。这次它把看和算分开,只对画面变化的区域投入计算,静止重复的部分不再反复处理,计算量不会跟着帧率暴涨,还能保证每一帧都不丢信息。我自己做产业调研的时候见过不少项目,就是因为抽帧漏掉关键细节,最后算法上线实际能用的场景大打折扣,这个问题现在算是找到了一个可行的解法。

第三,这次在RK3588加RK1828边缘盒子上的实测,是真正把多模态能力往普惠方向推了一步。2B、4B的参数量,本身就是面向边缘设备设计的,测试用1080p 60fps约720帧的视频跑下来,首个观察窗口结束后,2B和4B版本平均在每个1秒窗口结束后0.70秒、0.82秒给出判断,平均1秒内就能完成,还能一边生成文字结果一边继续处理后续画面。这个表现意味着很多不需要高端算力集群的业务现场,不用花大价钱升级硬件,现有存量的边缘盒子就能直接把多模态视频理解能力用起来。再加上所有推理都在本地完成,不用把大量视频传回云端,既省了带宽成本,也满足了很多行业数据不出场的合规要求。

可以说这次合作,给行业指了一条路,端侧多模态不是非要堆大参数、堆昂贵算力,把核心能力做轻做稳,能实实在在解决现场问题,它的商业化空间才会真正打开。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
即将开幕!广州这些道路将实施临时交通管制

即将开幕!广州这些道路将实施临时交通管制

广州交通电台
2026-11-19 10:19:09
痛心!38岁江苏美女教师梁娇去世,丈夫去世不到百天,女儿才7岁

痛心!38岁江苏美女教师梁娇去世,丈夫去世不到百天,女儿才7岁

云舟史策
2025-06-23 09:35:09
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
普京见到最想见的人,在中国主场上,说出掏心窝子的话

普京见到最想见的人,在中国主场上,说出掏心窝子的话

听风看局
2026-11-18 17:06:26
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
黄仁勋想回英伟达被打脸,与黄乐早期私密视频曝光

黄仁勋想回英伟达被打脸,与黄乐早期私密视频曝光

壹月情感
2026-11-18 13:49:29
“1600元烤全羊剥不出一两肉”,四川平武县通报

“1600元烤全羊剥不出一两肉”,四川平武县通报

扬子晚报
2026-11-18 21:35:50
祝贺!中国成功连任

祝贺!中国成功连任

政知新媒体
2026-11-17 07:11:29
iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

快科技
2026-11-18 07:43:05
直径300多米,阿波菲斯小行星如果撞上地球,离多远才安全?

直径300多米,阿波菲斯小行星如果撞上地球,离多远才安全?

观察宇宙
2026-11-18 11:09:54
缺德到这种程度,已经不是讽刺的问题了!

缺德到这种程度,已经不是讽刺的问题了!

胖胖说他不胖
2026-11-17 09:00:28
主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

主动给杨瀚森补钱!虽然是新加盟,但确实有球队老大的样子

德译洋洋
2026-11-19 12:10:33
三大指数均跌逾1%,全市场下跌个股超5000只

三大指数均跌逾1%,全市场下跌个股超5000只

界面新闻
2026-11-19 11:10:07
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
来深圳,看五十年的中国

来深圳,看五十年的中国

环球网资讯
2026-11-19 07:22:05
三战狂输52分!CBA替补把NBL全虐翻了:靠升降级冲击CBA悬了?

三战狂输52分!CBA替补把NBL全虐翻了:靠升降级冲击CBA悬了?

篮球快餐车
2026-11-19 06:19:27
降温后才发现:上海满街不穿羽绒服了,都在穿“奶奶棉服”,轻薄显贵

降温后才发现:上海满街不穿羽绒服了,都在穿“奶奶棉服”,轻薄显贵

全球时尚
2026-11-18 23:49:24
米切尔34分丢绝平三分!骑士惜败灰熊 哈登14+6+9斯潘塞26分

米切尔34分丢绝平三分!骑士惜败灰熊 哈登14+6+9斯潘塞26分

醉卧浮生
2026-11-19 10:34:25
英伟达女CEO口出狂言!没黄仁勋公司会更好,不做中国生意照样赢?

英伟达女CEO口出狂言!没黄仁勋公司会更好,不做中国生意照样赢?

小徐讲八卦
2026-11-19 10:23:05
曝徐正源在蓉城基础年薪2000万元!媒体人:人傻钱多,花得窝囊

曝徐正源在蓉城基础年薪2000万元!媒体人:人傻钱多,花得窝囊

风过乡
2026-11-19 09:11:09
2026-11-19 13:31:00
江瀚视野 incentive-icons
江瀚视野
最具成长性的财经自媒体平台
10062文章数 39945关注度
往期回顾 全部

科技要闻

OPPO Reno17:实况才是让我留下来的理由

头条要闻

男子19.6万元卖出一块二手劳力士 不料14岁女孩来取货

头条要闻

男子19.6万元卖出一块二手劳力士 不料14岁女孩来取货

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

稳坐春晚前排20年,黄晓明都巴结她

财经要闻

北京环球影城,亏损难题待解

汽车要闻

三排都不将就,还有云辇和智能四驱,方程豹钛9想通了什么?

态度原创

教育
游戏
亲子
公开课
军事航空

教育要闻

你背了无数遍“base是基础”,为什么语法填空还是填错?

《GTA6》超离谱BUG:全员橡皮人!评论区笑翻

亲子要闻

潮州月子中心不同套餐的产后恢复效果对比咋样?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版