网易首页 > 网易号 > 正文 申请入驻

iPhone本地跑Gemma 4火了,0 token时代还有多远?

0
分享至

谷歌前几天开源的新模型 Gemma 4,给了业内一个大大的惊喜。

它采用了与 Gemini 3 同源的技术架构,支持原生全模态,在 Arena AI 排行榜上拿到了全球第三,而且有多个型号可以选。几个较小的型号 —— E2B(有效参数 2.3B)和 E4B(有效参数 4.5B)—— 可以直接部署在手机端本地运行,上下文窗口达到 128K,可以说是「可以放进口袋的 Gemini平替」。

不出所料,模型发布后很快就成了手机用户的新玩具。

其中,一个 X 用户的帖子被围观数十万次。他在帖子里放了一个视频,讲述自己如何在 iPhone 上本地运行 Gemma 4,包括处理图片、音频、控制手电筒开关。他表示,Gemma 4 速度快得惊人,感觉像魔法一样。

有人在 iPhone 17 Pro 上量化了这一速度,指出如果手机用的是苹果芯片,那么在针对这套芯片优化的 MLX(苹果的机器学习框架)的帮助下,模型的推理速度可以超过 40 token / 秒。

还有人在三星 Galaxy 上也跑出了类似的速度,而且还是在开启了思考模式的情况下。这让人直呼「快得不真实」。

这样的速度让手机端运行 AI 模型成为了未来可以被接受的选项,而且在医疗等敏感场景中非常有用。

128k 的上下文窗口也让这些小模型变得更有吸引力。

那具体怎么运行呢?其实很简单,不是极客专属,因为谷歌发布了官方 App——Google AI Edge Gallery。想在手机上体验的人可以直接下载这个 App,然后下载想要运行的模型版本,之后打开就能跑了。

而且,由于是谷歌官方发布,安全问题自然也不用太担心。

除了这些在手机端运行的小模型,还有人在更强的硬件上尝试了更大的 Gemma 4 版本,比如在 M5 Pro 版本的 MacBook Pro 上运行 Gemma 4 Mixture-of-Experts 26B。

如果是直接对话,这个模型的速度还是很快的,文本生成、代码解释都很顺畅。

但当他真的将 Gemma 4 当成 coding agent 去用时,问题就来了。因为跑 agent 时需要大上下文(Gemma 4 26B 上下文窗口为 256k)、复杂 prompt 和稳定的工具调用,Gemma 4 在这些地方明显扛不住,经常卡住、报错,或者输出结构不对。

转折点发生在他将模型换成 qwen3-coder 的时刻 ,同样环境下,文件创建、命令执行、多步任务都能正常跑。他认为,问题不在 agent 框架,而在模型本身有没有为「工具调用 + 结构化输出」做过优化。在这方面,Gemma 4 可能做得还不够,也有可能这位开发者还没找到正确的用法。

此外,还有人说,Gemma 4 在智力水平上还有点鸡肋。

虽然如此,Gemma 4 这种「性能小钢炮」的出现依然不容小觑。如果以后大量的日常查询、聊天、简单推理、代码生成、图像理解任务都可以本地跑了,不再需要买 token,那卖 token 的厂商岂不是处境很尴尬?

当然,当前情况还没有那么悲观,毕竟现在被开源出来的模型和前沿的旗舰闭源模型之间还有差距,而且大部分能打的开源模型依然受制于硬件能力,暂时还没办法在端侧达到可用级别。

但未来的趋势是清晰的。短期看,云端闭源模型在最前沿的复杂推理和超大规模多代理协作上依然领先;但长期看,当硬件继续进步、量化技术继续优化,端侧模型会逐步蚕食云端的高频简单任务。

那些只靠卖 token、卖 API 订阅的厂商,将不得不更狠地卷「真正难啃」的部分 —— 超强 Agent、超长可靠上下文、以及需要海量实时数据的专有能力。

Gemma 4 只是一个开始。下一个惊喜,可能就是某款端侧模型在日常使用中彻底让用户感觉不到「本地」和「云端」的区别。那一天到来时,整个 AI 产业的商业模式,都会迎来一次真正的洗牌。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1990年,孟津少女被拖进废弃矿井侵犯八小时共计四十余人,警方排查数月毫无进展,三年后靠走路姿势抓出真凶,他究竟怎样瞒过了全县警察?

1990年,孟津少女被拖进废弃矿井侵犯八小时共计四十余人,警方排查数月毫无进展,三年后靠走路姿势抓出真凶,他究竟怎样瞒过了全县警察?

唠叨说历史
2026-11-18 10:42:47
APEC峰会出圈一幕:身家695亿的王兴兴,脚上一双旧白鞋火了

APEC峰会出圈一幕:身家695亿的王兴兴,脚上一双旧白鞋火了

观察者海风
2026-11-19 17:48:54
残阵出征!男篮12人名单敲定,周琦、王哲林、胡金秋三塔打底

残阵出征!男篮12人名单敲定,周琦、王哲林、胡金秋三塔打底

卷史
2026-11-19 04:11:35
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
机关算尽,高市早苗空欢喜一场!

机关算尽,高市早苗空欢喜一场!

李荣茂
2026-11-19 17:35:36
丁俊晖觉醒!跌出前16不敢弃赛,克服心魔,5-3逆转对手晋级32强

丁俊晖觉醒!跌出前16不敢弃赛,克服心魔,5-3逆转对手晋级32强

曹说体育
2026-11-19 16:22:32
爱奇艺,再不努力就退了

爱奇艺,再不努力就退了

钛媒体APP
2026-11-18 11:06:10
当记忆的线缠绕过往支离破碎,你是否还会记得?

当记忆的线缠绕过往支离破碎,你是否还会记得?

疾跑的小蜗牛
2026-11-19 19:23:01
今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

笑熬浆糊111
2026-10-28 06:00:28
中超联赛被曝下赛季可能废除U23政策各支球队已经开始重用年轻人

中超联赛被曝下赛季可能废除U23政策各支球队已经开始重用年轻人

体育全天候
2026-11-19 11:37:56
韦世豪5个月无球可踢!或再度联手郑智,目睹蓉城丢冠后或洗心革面

韦世豪5个月无球可踢!或再度联手郑智,目睹蓉城丢冠后或洗心革面

奥拜尔
2026-11-19 14:04:27
历史最讽刺的一幕:亲手策划九一八的石原莞尔,后来成了日本最拼命阻止全面侵华的人

历史最讽刺的一幕:亲手策划九一八的石原莞尔,后来成了日本最拼命阻止全面侵华的人

扶苏聊历史
2026-11-12 17:24:13
谢霆锋现身西湖边试吃西湖醋鱼,网友喊话:“别停,再来第二筷”

谢霆锋现身西湖边试吃西湖醋鱼,网友喊话:“别停,再来第二筷”

韩小娱
2026-11-17 10:28:00
恶心!令人愤怒!台湾人给二战日本士兵办慰灵祭

恶心!令人愤怒!台湾人给二战日本士兵办慰灵祭

果妈聊娱乐
2026-11-16 19:04:19
大佬齐聚APEC峰会:雷军紧张,何超琼和董明珠同台,王传福很风光

大佬齐聚APEC峰会:雷军紧张,何超琼和董明珠同台,王传福很风光

奇怪的鲨鱼们
2026-11-19 18:56:25
有退休金的人发现一个奇怪的现象:手里有20、30万存款的老人,最后过得好的,几乎都做了同两个让子女意外的决定

有退休金的人发现一个奇怪的现象:手里有20、30万存款的老人,最后过得好的,几乎都做了同两个让子女意外的决定

心理观察局
2026-06-07 06:37:04
记者当面提问拉夫罗夫:俄罗斯怎么只剩朝鲜和伊朗两个盟友?他一句反问让全场愣住

记者当面提问拉夫罗夫:俄罗斯怎么只剩朝鲜和伊朗两个盟友?他一句反问让全场愣住

磊子讲史
2026-10-10 14:38:38
太阳报:费兰-托雷斯绯闻女友曝光,35岁葡萄牙超模身材火辣

太阳报:费兰-托雷斯绯闻女友曝光,35岁葡萄牙超模身材火辣

懂球帝
2026-11-19 10:23:12
两架出逃的重型运输机被叙利亚收回

两架出逃的重型运输机被叙利亚收回

窗帘拉开
2026-11-19 16:20:59
20岁男子与56岁女子缠绵后上瘾了,领证不到三个月,女子吃不消要离婚

20岁男子与56岁女子缠绵后上瘾了,领证不到三个月,女子吃不消要离婚

江山挥笔
2026-11-19 13:23:55
2026-11-19 20:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

数码要闻

大疆多款产品“如期”涨价:涉Osmo Pocket 4/4P/Nano,最高涨560元

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
时尚
亲子
房产
本地

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

亲子要闻

宝宝气人但是聪明的4个行为

房产要闻

6.6亿!海口卖地!

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版