网易首页 > 网易号 > 正文 申请入驻

Ollama 上线自主多模态 AI 引擎:本地推理性能飙升

0
分享至

IT之家 5 月 17 日消息,科技媒体 WinBuzzer 昨日(5 月 16 日)发布博文,报道称开源大语言模型服务工具 Ollama 推出自主研发的多模态 AI 定制引擎,摆脱对 llama.cpp 框架的直接依赖。

llama.cpp 项目近期通过 libmtmd 库整合了全面视觉支持,而 Ollama 与其关系也引发社区讨论。

Ollama 团队成员在 Hacker News 上澄清,Ollama 使用 golang 独立开发,未直接借鉴 llama.cpp 的 C++ 实现,并感谢社区反馈改进技术。

Ollama 在官方声明中指出,随着 Meta 的 Llama 4、Google 的 Gemma 3、阿里巴巴的 Qwen 2.5 VL 以及 Mistral Small 3.1 等模型的复杂性增加,现有架构难以满足需求。

因此 Ollama 推出全新引擎,针对在本地推理精度上实现突破,尤其是在处理大图像生成大量 token 时表现突出。

Ollama 引入图像处理附加元数据,优化批量处理和位置数据管理,避免图像分割错误导致输出质量下降,此外,KVCache 优化技术加速了 transformer 模型推理速度。

新引擎还大幅优化内存管理新增图像缓存功能,确保图像处理后可重复使用,避免提前丢弃。Ollama 还联合 NVIDIA、AMD、Qualcomm、Intel 和 Microsoft 等硬件巨头,通过精准检测硬件元数据,优化内存估算。

针对 Meta 的 Llama 4 Scout(1090 亿参数混合专家模型 MoE)等模型,引擎还支持分块注意力(chunked attention)和 2D 旋转嵌入(2D rotary embedding)等技术。

Ollama 未来计划支持更长的上下文长度、复杂推理过程及工具调用流式响应,进一步提升本地 AI 模型的多功能性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

兴趣知识
2026-11-18 02:59:02
世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

三言四拍
2026-11-18 18:40:16
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

塔子山评说
2026-11-18 18:10:50
赖清德终于不再沉默,正式表态了!

赖清德终于不再沉默,正式表态了!

果妈聊娱乐
2026-11-17 12:12:09
中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

澎湃新闻
2026-11-18 17:19:03
APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

极目新闻
2026-11-18 10:24:16
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

极目新闻
2026-11-18 14:20:01
如果你是黄仁勋,这三个女人会选谁?

如果你是黄仁勋,这三个女人会选谁?

仕道
2026-11-18 14:14:20
2026年度中央安全生产考核巡查启动

2026年度中央安全生产考核巡查启动

齐鲁壹点
2026-11-18 19:21:10
四川绵阳一游客称花1600元买的烤全羊剥不出1两肉,几乎全是骨架;涉事民宿:火候偏大,整只羊烤干了;当地文旅:相关部门正开展调查核实

四川绵阳一游客称花1600元买的烤全羊剥不出1两肉,几乎全是骨架;涉事民宿:火候偏大,整只羊烤干了;当地文旅:相关部门正开展调查核实

扬子晚报
2026-11-18 09:45:49
1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

扶苏聊历史
2026-11-18 13:35:05
清华教师直言“不会上课了”!当大学生通过AI工具,可以高效完成基础学习工作,传统课堂正在被颠覆!

清华教师直言“不会上课了”!当大学生通过AI工具,可以高效完成基础学习工作,传统课堂正在被颠覆!

学术眺望
2026-11-18 15:55:03
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
笑死,杨超越海报翻车! “滚滚长江东逝水” 是什么鬼?设计师天塌了

笑死,杨超越海报翻车! “滚滚长江东逝水” 是什么鬼?设计师天塌了

品牌新
2026-11-18 17:27:25
央视又翻车了?

央视又翻车了?

亮见
2026-11-18 15:04:54
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

每日经济新闻
2026-11-18 11:31:11
王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

快科技
2026-11-18 10:02:25
2026-11-18 20:55:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380078文章数 607742关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
数码
本地
健康
公开课

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版