网易首页 > 网易号 > 正文 申请入驻

高空MacBook零网费完成Llama,70B项目交付

0
分享至

一位中国开发者,在横跨大西洋的 11 小时航程中,拒绝了 25 美元的机上网络,却在万米高空完成了一整套复杂的客户项目交付?

没有 Cloud API,没有 Anthropic,没有 OpenAI,甚至没有一格信号。

只有一台 MacBook Pro M4、一段自己写的编排脚本,以及Llama 70B这个本地AI模型,然后就把项目跑通了?

因为太过炸裂,这个帖子一经发出,就在技术社区传开了。

本地推理的时代,真的来了?



在万米高空,

用MacBook跑Llama 70B

据说,故事的主角是一位中国开发者。

在飞往大洋彼岸的靠窗座位上,他打开64GB内存的MacBook Pro,面对的是堆积如山的客户任务队列。

接下来整整11个小时,都没有网络。

换做普通人,此刻已经乖乖掏出信用卡,支付那昂贵且延迟极高的 25 美元机上 Wi-Fi。

但他选择了另一条路:本地推理。

他启动了通过 llama.cpp 运行的Llama 3.3 70B。



为了让这个庞然大物在64GB内存的机器上跑起来,他甚至为自己编写了一个「离线编排器」脚本。

最令人拍案叫绝的,是他给AI下达的系统提示词。

因此,这个系统完全清楚自己所处的困境。

它知道自己未来 11 小时与世隔绝,知道内存和电池是有限的奢侈品,甚至知道在飞机降落前,它必须独自处理所有的逻辑。

系统在一个循环中运行:从任务队列中取出一个任务,进行推理处理,保存生成结果,写入检查点。一个接一个,就这样持续执行。



只有当电量低于 5% 时,调度器才会自动暂停,等待笔记本切换到备用移动电源,然后从上一次的检查点继续运行。

飞行过程中,系统日志里写下了这样的内容:

有人惊呼:这是我过去一年里见过的最干净利落的离线 AI 工作流程!

系统不再是一个只会复读的复读机,而是一个具备资源意识的管理者。

这正是「Self-aware Computing」最迷人的地方。

网友打假:

资深开发者们纷纷掏出计算器,开始疯狂「对线」。

第一刀:内存与权重的「不可能三角」

Llama 3.3 70B 如果以 BF16(半精度)运行,光模型权重就需要约140GB内存。要在 64GB 的 MacBook 上跑起来,简直就像把大象塞进冰箱。

非要说的话,要在64GB上跑70B,只有一条路——量化。4-bit量化后模型约35GB,加上KV缓存和系统开销,勉强能塞进去。



但量化版本和BF16是两回事,精度、推理质量都会打折扣。

帖子里写的是「bf16」。看起来,这个细节要么是不懂,要么是故意的。









第二刀:71 tokens/s 的「神仙速度」

帖子声称生成速度71 tokens/s。

根据 M4 芯片的实际表现,本地运行 70B 规模的模型,生成速度通常在 5-12 tokens/s 之间。

71 tokens/s 是什么概念?这几乎是顶级 H100 集群的响应速度。

「这个速度可能是 8B 模型或者是某种极致的投机采样,70B 跑出这个速度,MacBook 怕是要起火。」

评论区一位用户直接亮出自己的实测数据:M5 Max 128GB(注意,128GB,是帖子里设备内存的两倍),跑同款模型量化版llama.cpp,实测12.8 tokens/s。





更高端的硬件,跑更轻的量化版本,速度反而只有帖子声称的五分之一,因此,原帖中说的速度几乎不可能实现。

第三刀:11小时续航

帖子中提到的「更换电池」引发了老用户的集体怀旧:现代 MacBook Pro 都是一体化设计,所谓的「换电池」,大概率是切换到了大功率的备用充电宝(如百瓦快充移动电源)。

MacBook Pro M4 Max官方标称续航约18小时,那是轻度使用。持续满载跑70B推理,GPU和内存全程拉满,实际续航会大幅缩水。

虽然帖子里提到「切换到备用充电宝后恢复」——但跨大西洋航班经济舱的USB口功率通常只有7.5W到18W,而M4 Max满载功耗超过40W。

因此,续航11小时这个说法几乎站不住脚。



故事是假的,但范式转向是真的

面对质疑,我们需要剥开数据的水份,看清这件事背后真正令科技圈高潮的原因。

长期以来,我们已经习惯了「云端成瘾」。

没有 GPT-4 的 API,很多开发者甚至不知道该如何写代码;没有网络,AI 就变成了一个哑巴。

现在,本地推理,确实在发生一场静悄悄的革命。

2024年,在笔记本上跑7B模型还需要各种技巧。

2026年,M4 Mac上跑70B量化版已经是日常操作。虽然速度不快,大概10来个tokens/s,但已经能用。

这些场景不性感,但实用。

现在,llama.cpp的mlx后端已经针对Apple Silicon做了深度优化,Ollama也把部署门槛压到了一条命令。

未来,最顶尖的开发者或许不再是那个最会调优云端 Prompt 的人,而是那个能在资源枯竭、完全离线的极端环境下,手搓出一个「自感知、自循环」AI 系统的人。

下一次坐飞机,你准备好带上你的「数字大脑」了吗?

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
尺度拉满,Netflix把A片之王搬上了荧幕

尺度拉满,Netflix把A片之王搬上了荧幕

来看美剧
2026-05-06 16:54:02
尴尬!俞敏洪与陈行甲的公开互动争议升级,堪称董宇辉事件的复刻

尴尬!俞敏洪与陈行甲的公开互动争议升级,堪称董宇辉事件的复刻

火山詩话
2026-05-09 06:34:45
女上司看到我辞呈后,神色错愕:我不是给你发了420万年终奖励吗

女上司看到我辞呈后,神色错愕:我不是给你发了420万年终奖励吗

云端小院
2026-05-09 07:35:01
加州州长决定参选总统,并怒斥特朗普:“把美国的未来卖给中国”

加州州长决定参选总统,并怒斥特朗普:“把美国的未来卖给中国”

雨诺翛翛
2026-05-09 08:37:07
上海老破小挂牌量大跳水....

上海老破小挂牌量大跳水....

林子说事
2026-05-09 02:10:11
亏损3900万的服装厂靠吴宜泽一夜逆袭,金利来借此实现盈利转机?

亏损3900万的服装厂靠吴宜泽一夜逆袭,金利来借此实现盈利转机?

户外钓鱼哥阿旱
2026-05-08 13:35:15
湖人107-125惨败雷霆,0-2落后!谁是输球罪魁祸首?数据不会说谎

湖人107-125惨败雷霆,0-2落后!谁是输球罪魁祸首?数据不会说谎

篮球扫地僧
2026-05-08 13:02:06
被美国人断言,将从地图消失的中国县城,正被近4万中国姑娘救活

被美国人断言,将从地图消失的中国县城,正被近4万中国姑娘救活

像梦一场a
2026-05-09 07:27:35
意媒丨表现糟糕的他本赛季没机会了

意媒丨表现糟糕的他本赛季没机会了

米兰圈
2026-05-09 09:12:29
特朗普访华阵容大缩水!仅十几家美企随行,释放关键信号

特朗普访华阵容大缩水!仅十几家美企随行,释放关键信号

纵拥千千晚星
2026-05-08 22:07:16
曝王暖暖凌晨被送往医院抢救!全身浮肿、满脸胀红,昏迷原因曝光

曝王暖暖凌晨被送往医院抢救!全身浮肿、满脸胀红,昏迷原因曝光

动物奇奇怪怪
2026-05-08 17:16:36
6月1日正式施行!全国工地用工新规,明确60岁以上农民上岗标准

6月1日正式施行!全国工地用工新规,明确60岁以上农民上岗标准

丁丁鲤史纪
2026-05-08 14:50:31
伦敦世乒赛名场面,裁判破例行绅士礼,孙颖莎凭实力获最高礼遇

伦敦世乒赛名场面,裁判破例行绅士礼,孙颖莎凭实力获最高礼遇

往史过眼云烟
2026-05-09 10:25:34
内讧后加速换帅!皇马高层终于醒悟,穆里尼奥将回归,姆巴佩笑了

内讧后加速换帅!皇马高层终于醒悟,穆里尼奥将回归,姆巴佩笑了

祥谈体育
2026-05-08 16:51:26
别再乱插电视HDMI接口了1、2、3不是随便用,插错万元电视也白费

别再乱插电视HDMI接口了1、2、3不是随便用,插错万元电视也白费

辉哥说动漫
2026-05-08 13:13:02
松下突然冒出一台神秘新机?DC-L10疑似要来了!

松下突然冒出一台神秘新机?DC-L10疑似要来了!

相机Beta
2026-05-07 20:03:17
美国公布大量UFO照片

美国公布大量UFO照片

新浪财经
2026-05-09 09:13:30
山东女子榴莲仅退款被拘10日,商家上门致全家社死

山东女子榴莲仅退款被拘10日,商家上门致全家社死

別甾虛僞
2026-05-09 05:28:11
美媒终于意识到,中国人不期待特朗普访华,已不把美国放在眼里

美媒终于意识到,中国人不期待特朗普访华,已不把美国放在眼里

靓仔情感
2026-05-09 01:38:15
普通家庭存款到这个数,已经是天花板级别,之前不信,现却很肯定

普通家庭存款到这个数,已经是天花板级别,之前不信,现却很肯定

天天热点见闻
2026-05-09 09:56:18
2026-05-09 10:55:00
大道至万里
大道至万里
很细心的作者
229文章数 235关注度
往期回顾 全部

科技要闻

美国政府强力下场 苹果英特尔达成代工协议

头条要闻

"4只皮皮虾1035元"当事人注销账号 隔壁海鲜店发声

头条要闻

"4只皮皮虾1035元"当事人注销账号 隔壁海鲜店发声

体育要闻

他把首胜让给队友,然后用一年时间还清账单

娱乐要闻

张艺谋《印象刘三姐》全裸镜头引争议

财经要闻

白宫:特朗普计划5月14日至15日访问中国

汽车要闻

全系智能泊车 铂智3X年款升级限时权益价9.48万起

态度原创

本地
亲子
艺术
旅游
教育

本地新闻

用苏绣的方式,打开江西婺源

亲子要闻

3岁娃头缠纱布守母,百万人点赞,我却倍感心寒

艺术要闻

郑丽文访美惹争议,宋楚瑜惊人一问震惊众人!

旅游要闻

五月吕梁美出圈!沿黄盛景入画来 全域风光醉游人

教育要闻

教育部启动全国学生心理健康宣传教育月活动

无障碍浏览 进入关怀版