网易首页 > 网易号 > 正文 申请入驻

苹果用户等了3年,谷歌Gemma微调终于不用租显卡了

0
分享至


一个GitHub仓库在HN首页挂了48小时,点赞数破千。不是新模型发布,而是一个让MacBook能直接微调谷歌Gemma多模态模型的工具——支持文本、图像、音频三种数据,还能从云端流式读取训练数据。

这事为什么值得看?看看对比表就懂了。MLX-LM、Unsloth、axolotl三家主流工具,在"Apple Silicon本地运行"和"音频+文本微调"这两列上,全是红叉。想要完整的三模态能力,过去只能租H100。

开发者Matt Mireles把这个缺口补上了。他的工具栈用Hugging Face Gemma检查点+PEFT LoRA做监督微调,输出合并后的HF/SafeTensors格式。

技术细节放在后面。先看场景——这工具到底能干什么。

医疗听写、法律取证、客服录音:ASR不再吃瘪

通用Whisper模型遇到专业术语就翻车,医疗缩写、法律黑话、方言口音全是灾难。现在可以用自己的标注数据微调Gemma,让模型学会你的领域语言。

数据不用拷到本地。如果原始素材存在GCS或BigQuery,dataloader会按需流式拉取分片。笔记本硬盘不够大?没关系。

图像场景更直观。收据、图表、截图、制造缺陷、医学影像——这些通用模型容易幻觉的视觉领域,现在可以训练专门的captioning或VQA能力。

UI自动化是个隐藏用例。截图→结构化输出的配对数据,能喂给界面代理或OCR流水线。文档理解和屏幕感知,从"调API赌运气"变成"自己训模型"。

低资源语言和口音:被主流ASR忽视的角落

商业语音API的服务语言清单很长,但覆盖深度参差不齐。某些方言变体、少数民族语言、特定年龄段的口音,识别准确率断崖下跌。

Gemma的音频编码器+你的标注数据,可以针对这些长尾场景做适配。数据隐私是附带收益——训练全程在本地完成,权重不会触碰任何第三方API。

多模态助理是更性感的方向。给Gemma的文本推理能力加上图像或音频接地,做转写、描述、问答流水线。苹果生态的隐私叙事,终于有了一套匹配的技术工具。

技术实现:为什么之前没人做?

核心依赖是苹果的MLX框架。Mireles在实现里做了几件事:统一三种模态的数据加载器、支持云端流式、把LoRA训练路径和Core ML/GGUF导出工具链打通。

配置通过config.ini管理,[model:…]段指定基础检查点和LoRA参数。默认配置覆盖了Gemma 3n和Gemma 4 E2B-E4B系列,也可以自己加兼容的变体。

一个设计选择值得注意:训练路径只支持Gemma。不是技术限制,是刻意为之——把单一系列做透,比泛化支持更重要。

对比表的另一层信息:Unsloth和axolotl在图像+文本任务上标了"⚠️ varies",意思是看具体配置和版本。MLX-LM支持纯文本和图像文本,但音频能力缺失。Mireles的工具是目前唯一在Apple Silicon上覆盖三模态的完整方案。

v1版本的限制是本地CSV only,图像和文本任务都受这个约束。云端流式目前只支持训练数据,推理阶段的数据处理逻辑不同。

谁该关注这个工具?

三类人:有私有数据想训领域模型但不想碰云服务的、在苹果生态里做产品需要端侧AI能力的、以及被NVIDIA显卡价格和供应折腾烦了的。

成本账很好算。H100按需实例每小时2-3美元,微调一个多模态模型动辄几十小时。MacBook Pro的M3 Max一次性投入,边际成本归零。

时间账另说。本地训练比云端慢,但省去了数据上传、环境配置、排队等待的摩擦。对于迭代频繁的早期实验,"慢但顺"可能比"快但卡"更省总时间。

Mireles在HN评论区回复了几个问题。关于Windows支持:没有计划,MLX是苹果专属。关于更大模型的支持:取决于MLX的内存优化进展,Gemma 4系列的最大版本目前吃不住。

一个用户问:和直接调Gemini API比优势在哪?Mireles的答案是「你的数据不会离开机器,权重完全私有」。这对医疗、法律、金融场景是硬需求,不是价格问题。

另一个细节:导出后的模型可以用Core ML部署到iOS,或者用GGUF跑在llama.cpp生态里。训练一次,多端复用。

开源社区的反应很有意思。有人在issue里贴了自己微调医疗影像captioning的loss曲线,有人开始讨论怎么把工具集成进Swift项目。HN上的技术讨论通常偏硬核,这次却有不少产品经理和设计师在问具体用例——说明门槛确实降下来了。

谷歌Gemma团队没有官方背书这个工具,但检查点的兼容性说明接口稳定性足够。Mireles之前做过语音搜索相关的创业,对音频数据的痛点有第一手经验,这解释了为什么音频能力被放在优先位置。

一个悬而未决的问题:苹果自己的MLX团队会怎么看?框架被用在这种场景是预期之内,但官方至今没有推出类似的一站式微调工具。第三方补位,往往意味着生态位真实存在。

如果你有一台M系列芯片的Mac,和一堆想用来训模型的私有数据,现在可以动手了。唯一的问题是:你的数据标注好了吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
轰33分创历史!中山小伙打爆CBA,他才是中国男篮锋线终极答案?

轰33分创历史!中山小伙打爆CBA,他才是中国男篮锋线终极答案?

中山印象体育摄影师
2026-04-10 13:36:42
深圳最危险的95个旧改项目被踢出局,3年内拆不了,以后也难拆了

深圳最危险的95个旧改项目被踢出局,3年内拆不了,以后也难拆了

流苏晚晴
2026-04-10 19:04:38
五部门:拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务

五部门:拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务

界面新闻
2026-04-10 18:22:46
A股十大“分红王”股票

A股十大“分红王”股票

风风顺
2026-04-05 03:05:03
中国摩托车商会秘书长张洪波:正重点推动摩托车市场四项政策落地

中国摩托车商会秘书长张洪波:正重点推动摩托车市场四项政策落地

经济观察报
2026-04-10 09:44:07
江苏首条地铁悄悄变了!

江苏首条地铁悄悄变了!

新浪财经
2026-04-10 14:33:12
藏了6年的《王者荣耀世界》,到底行不行?

藏了6年的《王者荣耀世界》,到底行不行?

差评XPIN
2026-04-11 00:08:39
原来他们是父子俩!戏里戏外都保持距离避嫌,今儿子终于继承父业

原来他们是父子俩!戏里戏外都保持距离避嫌,今儿子终于继承父业

白面书誏
2026-04-10 18:39:21
设计院的工资已经恐怖如斯?

设计院的工资已经恐怖如斯?

黯泉
2026-04-10 18:46:11
张伦硕吐槽钟丽缇买50万水晶裙,得知是老婆自己钱后依旧不依不饶

张伦硕吐槽钟丽缇买50万水晶裙,得知是老婆自己钱后依旧不依不饶

观鱼听雨
2026-04-08 19:35:53
浙江东阳,33 岁的男子,在母亲长眠的公墓旁,在车里结束了生命

浙江东阳,33 岁的男子,在母亲长眠的公墓旁,在车里结束了生命

魔都姐姐杂谈
2026-03-30 19:25:57
CBA11队正式锁定季后赛!6队争第3,6队争第12,广东赛程轻松

CBA11队正式锁定季后赛!6队争第3,6队争第12,广东赛程轻松

老吴说体育
2026-04-10 23:34:42
因室友电瓶燃爆全身90%烧伤,“武汉大学生烧伤案”当事人在长沙治疗半年,父母:他痒我们就拍,身上已不再缠绷带,预计5月接受嘴部手术

因室友电瓶燃爆全身90%烧伤,“武汉大学生烧伤案”当事人在长沙治疗半年,父母:他痒我们就拍,身上已不再缠绷带,预计5月接受嘴部手术

潇湘晨报
2026-04-10 17:27:12
日本富婆来中国旅游,回国7天后哭诉:日本跟中国相比还需努力

日本富婆来中国旅游,回国7天后哭诉:日本跟中国相比还需努力

千秋文化
2026-03-24 21:49:28
“桎梏”不要再读 zhì kù,或 zhì gào,丢不起那个人!

“桎梏”不要再读 zhì kù,或 zhì gào,丢不起那个人!

未央看点
2026-04-10 00:09:02
台军女飞行员郭文静:只要长官敢下令,我会毫不犹豫的击落歼20!

台军女飞行员郭文静:只要长官敢下令,我会毫不犹豫的击落歼20!

顾史
2026-01-21 21:04:39
主持人魏笑的最后3天:15号生日,16号领证,17号婚礼成葬礼

主持人魏笑的最后3天:15号生日,16号领证,17号婚礼成葬礼

就一点
2026-03-19 10:47:51
人民币汇率疯了,还会继续?

人民币汇率疯了,还会继续?

拾榴询财
2026-04-10 13:12:21
巴基斯坦防长呼吁消灭以色列,内塔尼亚胡12日接受审判

巴基斯坦防长呼吁消灭以色列,内塔尼亚胡12日接受审判

徐云流浪中国
2026-04-10 14:56:42
中美都在赌,美国赌中国不敢打日本,而中国则在赌美国不会下场

中美都在赌,美国赌中国不敢打日本,而中国则在赌美国不会下场

南权先生
2026-03-24 15:30:39
2026-04-11 02:24:49
固件更新中
固件更新中
有态度网友ytd
1487文章数 15关注度
往期回顾 全部

科技要闻

马斯克狂发大火箭也养不起AI 年亏50亿美元

头条要闻

特朗普:美军舰已装最先进武器 未来24小时成关键窗口

头条要闻

特朗普:美军舰已装最先进武器 未来24小时成关键窗口

体育要闻

17岁赚了一百万美元,25岁被CBA裁员

娱乐要闻

黄景瑜王玉雯否认恋情!聚会细节被扒

财经要闻

李强主持召开经济形势专家和企业家座谈会

汽车要闻

搭载第二代刀片电池及闪充技术 腾势N8L闪充版预售35万起

态度原创

本地
时尚
旅游
游戏
手机

本地新闻

12吨巧克力有难,全网化身超级侦探添乱

今日热点:陈添祥长文道歉;夏克立曾给前经纪人传上厕所照片……

旅游要闻

周末来这里!足不出沪体验首尔韩屋风情

《霍格沃茨之遗2》传闻2027年发售!今年有望首曝

手机要闻

OPPO Find X9s Pro配色公布,全面登陆“锁屏岛”

无障碍浏览 进入关怀版