网易首页 > 网易号 > 正文 申请入驻

现场Live震撼!OmAgent框架强势开源!行业应用已全面开花

0
分享至

机器之心发布

机器之心编辑部

第一个提出自动驾驶并进行研发的公司是 Google,巧的是,它发布的 Transformer 模型也为今天的大模型发展奠定了基础。

自动驾驶已经完成从概念到现实的华丽转变,彻底重塑了传统驾车方式,而大模型行业正在经历的,恰如自动驾驶技术发展的传奇征程 ——

最顶尖的研发团队竞相投身其中、不断加速抢跑的技术产品创新,以及持续被推向极致的用户体验。

在大模型赛道中,有一家企业始终以领先的身位,推动着行业边界向前拓展

为什么是联汇科技?

当行业刚开始关注大模型,他们已经锚定多模态大模型,并高分取得了工信部大模型检测的 001 号证书;

去年,当人们关注「百模大战」,他们不仅发布了自研 OmModel 多模态大模型的 V3 版本,更发布了国内首批大模型驱动的自主智能体应用。

今年,世界人工智能大会期间,他们再次发布一系列技术成果,将大模型技术产品推向更深、更广的应用层面

联汇科技技术团队有着极强的前瞻思维,这与他们的首席科学家赵天成博士紧密相关,这位师从国际 AI 领域顶尖学者的 Maxine Eskenazi,在 CMU LTI (卡内基梅隆大学语言技术研究所)完成硕博连读的天才少年,不仅称得上「AI 名门正派」,更难得的是,赵天成在技术发展和战略规划方面有着独到见解。

赵天成博士指出,在 AI 主导的第四次工业革命浪潮中,自主智能将成为变革的核心变量。随着人类第一次接触并掌握创造智慧的奥秘,我们将目睹一个新时代的到来—— 在这个时代中,机器、软件甚至系统,将被赋予前所未有的自主决策能力,只能化将广泛应用于各个工作领域,开启前所未有的效率和创新。

2024 年是智能体元年。

我们正处于 L2 级别,并逐步向 L3、L4 迈进的过程中。



OmAgent 来了!

WAIC 期间,联汇科技正式发布第二代多模态智能体 OmAgent

去年同期,联汇科技抢跑行业,率先发布了国内第一批由多模态大模型驱动的自主智能体,那么,今年联汇的第二代多模态智能体 OmAgent 有哪些惊喜?

首先是感知模块全新升级。

随着 AI 应用落地,联汇科技发现尽管万物感知模型在智能识别和处理方面具有巨大潜力,但受限于推理速度的瓶颈。相较于小型模型在推理速度上的优势,Idealab 的 G-DINO 和联汇科技的 OmDet 在速度上的表现都不尽如人意,这极大地限制了它们在边缘计算设备上的应用。

联汇科技最新发布的OmDet V2,实现万物感知的全面加速,从底层重新构建了万物感知的模块,推出了 EFH 高性能融合头,包含了一系列模型加速的优化技术、语言向量缓存、轻量化特征编码与解码等技术,得益于 EFH 对每一个环节的机制优化,相较于 G-DINO 和联汇的第一代感知模型,OmDet V2 在每一个环节上都实现了20 倍以上的速度提高





这样的提升意味着 OmDet V2 正在打开未来边缘 AI 与具身智能全新可能。

凭借 OmDet V2 的推理速度和精确分析能力,单个 GPU 就可以承载对 500 路视频流的实时万物感知分析,这是对技术性能的新一次刷新。同时,这也意味着打开边缘 AI 的可能,OmDet V2 让万物感知模型摆脱云端束缚,走向边缘设备,为人形机器人、家庭智算中心等前沿应用提供了强大的智能支持。

这种创新不仅重新定义了大模型产品的开发思维,更为构建一个更实时、更安全、更注重隐私的大模型应用环境奠定了基础。

第二是思考决策能力的提升

思考是多模态智能体的核心,只有具备了思考能力,智能体才能够依据感知和记忆结果做决策判断和自主行为,成为真正的助手。但现有多模态思考模型存在着明显局限,比如只能基于单张图片进行思考和决策、无法对多个关联图片之间进行理解处理等。

为了解决这一问题,联汇科技全新发布了第二代思考大模型 OmChat V2,一个基于多模态模型原生预训练的生成大模型,不仅提供 8B、40B、60B 多个版本,适配不同需求。更能非常好地支持视频、图文混合、文字等多种复杂输入,完美适配智能体决策过程中所需要的复杂场景。



OmChat V2 支持高达 512K、50 万的上下文长度,折合视频长度 30 分钟,仅次于 Google Gemin-1.5,并远超 GPT-4o 及微软 LLaVa-1.5。



OmChat V2 在 Mantis-Eval、Q-Bench、MileBench Real、MVBench 等测试中平均性能均在行业前列。



更简单、直接的说法是,OmChat V2 不仅能够看准时序关系,更能够看懂多图关系。



时序关系判断



多图关系理解

为了大模型与智能体技术能够真正的普惠落地,联汇科技还率先完成了与多款国产 GPU 的适配与性能验证,通过高效稀疏激活、动态专家方法,提升推理效率 20 倍,Om OS 大模型运行平台也是首个支持多地域大模型分布式推理平台,异构九头蛇推理能够提升算力利用率 3 倍。



就此,联汇科技正式解锁海量行业应用场景。



自动化体育解说



影视剧内容解构



工业智能助手

OmAgent 框架全面开源!

联汇科技在多模态智能体技术上已经取得了多项突破性成果,对于是否开源的问题,赵天成博士始终从更宏观、更长远的角度看待。

他表示:我们选择将 OmAgent 框架全面开源,是因为想要鼓励更多企业、开发者参与,通过知识共享和技术创新构建一个更加开放、更加丰富的智能体生态,进而能够带动整个行业更好的发展。

OmAgent 框架不仅包含了感知、记忆、决策等综合模块,并整合融入 OmDet、OmChat 等多个不同类型的大模型能力,极大方便企业与开发者的应用开发,推动智能体技术向更深层次、更广领域的赋能。



通过 OmAgent,能够快速、准确解决各类场景下的复杂问题。比如,从影视剧中总找出某个问题的答案,尽管影片没有直接呈现答案,但是 OmAgent 依然可以通过对全片的整体理解,掌握剧情并根据原片内容进行思考、作答。

Step 01



Step 02



Step 03



Step 04



目前,OmAgent 框架已全面开源。

代码链接:https://github.com/om-ai-lab/OmModel

在 WAIC,联汇科技对 OmAgent 做了完整的现场互动演示。

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650924816&idx=1&sn=8683551cc14b6594ffdc9f8db9263eb0&chksm=84e4236eb393aa780a091ea3cd8dd57a7692058fcb2586e14bae16daee1d8407b0592df36896&token=761964394&lang=zh_CN#rd

为了让智能体更快地融入日常工作与生活,联汇正式发布了Om 多模态智能体全新产品系列 —— 空间运营智能体、知识服务智能体,为行业用户打造「超级助手」。

空间运营智能体是通过摄像头、拾音器等物联设备以及接入的各类数据源对空间物理环境全面感知,深度融入大模型的思考能力,准确处理、分析多模态数据信息,洞察运营中的关键问题、潜在机会,基于智能体角色设定的目标任务,结合记忆和学习,实现面向物理空间的思考、规划与决策,成为用户进行空间管理的得力助手。



应用范围覆盖线下零售、营业厅、机房、产业园区、文旅景区、城市街区等各类单体空间、连锁环境,实现对空间的精细化运营与管理。



相较于空间运营智能体对现实物理世界的运营管理,知识服务智能体更强调对数字世界的管理和对数字资产的价值挖掘。



它可以作为专为行业定制的人工智能助手,广泛应用于办公、生产、运维、营销、培训、客服等场景,将企业、组织和个人在特定领域内积累的经验、技术、业务流程等转化为结构化的行业专用知识,通过知识管理、知识检索、知识问答与知识生成等核心能力,提升用户决策质量、优化操作流程,最终将无形的知识资产转化为有形的生产力。



2024 无疑将是智能体元年,智能体也正在成为大模型落地的最佳途径。

关于未来,赵天成博士透露了他的预判 ——

智能体的未来不是单打独斗,而是大模型的组合拳,尤其是当多种类大模型协同作战时,它们能释放出远超单一大语言模型的潜力。

智能体将打破传统聊天机器人的界限,它们的应用形态将经历一场革新,变得更加多样化和深入人类活动的各个方面。

随着边缘 AI 的兴起,大模型将不再局限于大型服务器,它们将走向边缘,被嵌入到众多小型设备中,实现真正的无处不在。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大家知道医院里的瓜有多炸裂吗?看完网友评论再次刷新我的三观!

大家知道医院里的瓜有多炸裂吗?看完网友评论再次刷新我的三观!

今日养生之道
2024-07-07 13:03:40
“老虎”受贿过亿!他被留置后,专案组搜查住所时还有人敲门送礼

“老虎”受贿过亿!他被留置后,专案组搜查住所时还有人敲门送礼

政知新媒体
2024-07-16 18:23:12
1930年,红军6人执法队被袭,全部牺牲,20年后,举报者自投罗网

1930年,红军6人执法队被袭,全部牺牲,20年后,举报者自投罗网

历来都很现实
2024-06-17 22:44:58
有些东西不得不信?看完汗毛立起来了

有些东西不得不信?看完汗毛立起来了

白浅娱乐聊
2024-07-16 11:27:22
没想到老年人的瓜这么多!网友的评论太炸裂,我小脑都萎缩了

没想到老年人的瓜这么多!网友的评论太炸裂,我小脑都萎缩了

夢婷
2024-01-05 12:09:08
李小璐母女海滩被偶遇,李小璐上围猛涨,曝其花百万在当地买房

李小璐母女海滩被偶遇,李小璐上围猛涨,曝其花百万在当地买房

古希腊掌管月桂的神
2024-07-14 18:33:52
刚刚消息,宁波这里确定拆迁!

刚刚消息,宁波这里确定拆迁!

阿离家居
2024-07-17 16:46:12
把纳税人当什么了!曾经轰轰烈烈的垃圾分类运动,为何没声音了?

把纳税人当什么了!曾经轰轰烈烈的垃圾分类运动,为何没声音了?

蒋飞Talk
2024-07-11 12:15:20
吴宇森执导的美版《喋血双雄》发布首支预告

吴宇森执导的美版《喋血双雄》发布首支预告

Lee奇奥哦
2024-07-17 08:10:43
高度怀疑这就是典型的两头吃!

高度怀疑这就是典型的两头吃!

屁事都不懂得表妹
2024-07-17 15:29:51
印尼羽协官员:张志杰猝亡事件不应该让我们独自处理

印尼羽协官员:张志杰猝亡事件不应该让我们独自处理

直播吧
2024-07-17 17:45:08
R.I.P.️!科比的父亲乔-布莱恩特去世 享年69岁

R.I.P.️!科比的父亲乔-布莱恩特去世 享年69岁

直播吧
2024-07-16 22:22:12
曝王思聪被套路,黄一鸣和他未恋爱,只相处7天便中标似有备而来

曝王思聪被套路,黄一鸣和他未恋爱,只相处7天便中标似有备而来

西瓜爱娱娱
2024-07-17 09:43:41
不要怀疑,这就是你们期望进入的国企。

不要怀疑,这就是你们期望进入的国企。

人情皆文史
2024-07-16 00:03:10
24岁网红潘晓婷因疯狂吃播猝死:腹部畸形尸检,胃里塞满了食物

24岁网红潘晓婷因疯狂吃播猝死:腹部畸形尸检,胃里塞满了食物

小彭谈历史
2024-07-15 12:54:41
郑州楼市全军覆没,郑州待售二手房从104000套增加到了130000套

郑州楼市全军覆没,郑州待售二手房从104000套增加到了130000套

有事问彭叔
2024-07-16 23:09:12
周琦炮轰广东男篮赞助商事件大结局 交付仪式确定7月19日举办

周琦炮轰广东男篮赞助商事件大结局 交付仪式确定7月19日举办

醉卧浮生
2024-07-17 17:13:30
62岁董文华农村商演,长相平凡但一身贵气,不像歌唱家像优雅奶奶

62岁董文华农村商演,长相平凡但一身贵气,不像歌唱家像优雅奶奶

依沐生活
2024-07-08 16:29:48
少女和离婚少妇穿的内裤有啥区别?老司机带图回复太写实,看完秒懂哈哈

少女和离婚少妇穿的内裤有啥区别?老司机带图回复太写实,看完秒懂哈哈

经典段子
2024-07-16 22:35:20
朝鲜副国级高官叛逃脱北,曝光金家秘闻:酒池肉林、80万买轩尼诗

朝鲜副国级高官叛逃脱北,曝光金家秘闻:酒池肉林、80万买轩尼诗

猫眼观史
2024-03-25 14:31:14
2024-07-17 18:18:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
9206文章数 141960关注度
往期回顾 全部

科技要闻

外媒:Uber根本不用怕马斯克的无人车

头条要闻

被控受贿2.25亿余元 西藏自治区政协原副主席姜杰受审

头条要闻

被控受贿2.25亿余元 西藏自治区政协原副主席姜杰受审

体育要闻

没有他,就没有科比-布莱恩特

娱乐要闻

科比父亲离世,瓦妮莎拒绝其安葬科比墓地

财经要闻

甘犁建议对月入不足5千实行负所得税补贴

汽车要闻

智己城市NOA挑战北京旅游季 无接管通过旅游团

态度原创

家居
本地
亲子
公开课
军事航空

家居要闻

自栖一地 让家的存在落脚于具象化

本地新闻

换个城市过夏天 | 摩围山探险之旅

亲子要闻

祖孙俩“吵架” 小孙女勾勾手指让爷爷过来?等爷爷真过来了 小孩姐秒怂!

公开课

连中三元是哪三元?

军事要闻

也门胡塞武装公布袭击一艘红海船只的视频

无障碍浏览 进入关怀版