网易首页 > 网易号 > 正文 申请入驻

iPhone本地跑Gemma 4火了,0 token时代还有多远?

0
分享至

谷歌前几天开源的新模型 Gemma 4,给了业内一个大大的惊喜。

它采用了与 Gemini 3 同源的技术架构,支持原生全模态,在 Arena AI 排行榜上拿到了全球第三,而且有多个型号可以选。几个较小的型号 —— E2B(有效参数 2.3B)和 E4B(有效参数 4.5B)—— 可以直接部署在手机端本地运行,上下文窗口达到 128K,可以说是「可以放进口袋的 Gemini平替」。

不出所料,模型发布后很快就成了手机用户的新玩具。

其中,一个 X 用户的帖子被围观数十万次。他在帖子里放了一个视频,讲述自己如何在 iPhone 上本地运行 Gemma 4,包括处理图片、音频、控制手电筒开关。他表示,Gemma 4 速度快得惊人,感觉像魔法一样。

有人在 iPhone 17 Pro 上量化了这一速度,指出如果手机用的是苹果芯片,那么在针对这套芯片优化的 MLX(苹果的机器学习框架)的帮助下,模型的推理速度可以超过 40 token / 秒。

还有人在三星 Galaxy 上也跑出了类似的速度,而且还是在开启了思考模式的情况下。这让人直呼「快得不真实」。

这样的速度让手机端运行 AI 模型成为了未来可以被接受的选项,而且在医疗等敏感场景中非常有用。

128k 的上下文窗口也让这些小模型变得更有吸引力。

那具体怎么运行呢?其实很简单,不是极客专属,因为谷歌发布了官方 App——Google AI Edge Gallery。想在手机上体验的人可以直接下载这个 App,然后下载想要运行的模型版本,之后打开就能跑了。

而且,由于是谷歌官方发布,安全问题自然也不用太担心。

除了这些在手机端运行的小模型,还有人在更强的硬件上尝试了更大的 Gemma 4 版本,比如在 M5 Pro 版本的 MacBook Pro 上运行 Gemma 4 Mixture-of-Experts 26B。

如果是直接对话,这个模型的速度还是很快的,文本生成、代码解释都很顺畅。

但当他真的将 Gemma 4 当成 coding agent 去用时,问题就来了。因为跑 agent 时需要大上下文(Gemma 4 26B 上下文窗口为 256k)、复杂 prompt 和稳定的工具调用,Gemma 4 在这些地方明显扛不住,经常卡住、报错,或者输出结构不对。

转折点发生在他将模型换成 qwen3-coder 的时刻 ,同样环境下,文件创建、命令执行、多步任务都能正常跑。他认为,问题不在 agent 框架,而在模型本身有没有为「工具调用 + 结构化输出」做过优化。在这方面,Gemma 4 可能做得还不够,也有可能这位开发者还没找到正确的用法。

此外,还有人说,Gemma 4 在智力水平上还有点鸡肋。

虽然如此,Gemma 4 这种「性能小钢炮」的出现依然不容小觑。如果以后大量的日常查询、聊天、简单推理、代码生成、图像理解任务都可以本地跑了,不再需要买 token,那卖 token 的厂商岂不是处境很尴尬?

当然,当前情况还没有那么悲观,毕竟现在被开源出来的模型和前沿的旗舰闭源模型之间还有差距,而且大部分能打的开源模型依然受制于硬件能力,暂时还没办法在端侧达到可用级别。

但未来的趋势是清晰的。短期看,云端闭源模型在最前沿的复杂推理和超大规模多代理协作上依然领先;但长期看,当硬件继续进步、量化技术继续优化,端侧模型会逐步蚕食云端的高频简单任务。

那些只靠卖 token、卖 API 订阅的厂商,将不得不更狠地卷「真正难啃」的部分 —— 超强 Agent、超长可靠上下文、以及需要海量实时数据的专有能力。

Gemma 4 只是一个开始。下一个惊喜,可能就是某款端侧模型在日常使用中彻底让用户感觉不到「本地」和「云端」的区别。那一天到来时,整个 AI 产业的商业模式,都会迎来一次真正的洗牌。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
杯赛历史首败!上海惨负遭青岛终结14连胜 拉塞尔16+7+5约克24+8

杯赛历史首败!上海惨负遭青岛终结14连胜 拉塞尔16+7+5约克24+8

醉卧浮生
2026-11-20 21:34:55
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
满仓满融死扛存储的大佬,归零了!

满仓满融死扛存储的大佬,归零了!

大财可富司机
2026-11-20 13:55:47
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
突发!黄仁勋再曝新消息,该来的还是来了!

突发!黄仁勋再曝新消息,该来的还是来了!

财经要参
2026-11-20 16:00:05
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
已全线售罄!APEC欢迎晚宴上,广州荔枝冰酒火了:一天4000瓶一抢而空,网店营业额暴增900多倍,厂家紧急加班补货

已全线售罄!APEC欢迎晚宴上,广州荔枝冰酒火了:一天4000瓶一抢而空,网店营业额暴增900多倍,厂家紧急加班补货

极目新闻
2026-11-20 15:22:02
为什么往死里扫黄?网友分享太真实了,一次讲透

为什么往死里扫黄?网友分享太真实了,一次讲透

深度人物说
2026-11-20 13:28:23
胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

极目新闻
2026-11-20 15:34:45
贾国龙又推新招牌,这次能撑多久?丨大象财富

贾国龙又推新招牌,这次能撑多久?丨大象财富

大象新闻
2026-11-20 18:35:02
42岁文章再提“我顺极了”:马伊琍越走越高,他把那个家走散了

42岁文章再提“我顺极了”:马伊琍越走越高,他把那个家走散了

无处不风景love
2026-11-20 16:47:52
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
旅行者1号永远停留在了前天!

旅行者1号永远停留在了前天!

故事终将光明磊落
2026-11-20 14:49:55
新一代本田冠道发布:新增三排成七座、中国特供变全球

新一代本田冠道发布:新增三排成七座、中国特供变全球

快科技
2026-11-20 16:43:35
超级周期即将来临,一定要守住自己口袋里的现金

超级周期即将来临,一定要守住自己口袋里的现金

枫冷慕诗
2026-11-20 13:35:28
高市见了普京

高市见了普京

周边问题研究所
2026-11-20 13:12:01
王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

奥拜尔
2026-11-20 20:13:09
斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

懂球帝
2026-11-20 20:36:29
2026-11-21 00:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14524文章数 142761关注度
往期回顾 全部

数码要闻

狗子一泡尿主机直接变砖!网友:先别开机还有救

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
艺术
亲子
本地
公开课

数码要闻

影石Mic Pro、Wave两款麦克风获升级,可原生接入腾讯WorkBuddy

艺术要闻

2026 研究与超越——中国小幅油画作品双年展 油画选(二)

亲子要闻

女孩的快乐是爸爸最大的创新动力!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版