网易首页 > 网易号 > 正文 申请入驻

8GB内存跑Gemma,他把AI任务全挪到凌晨1点

0
分享至

一台只有 8GB 内存的 MacBook,一个凌晨 1 点才开工的脚本,一个跑在本地的 Gemma 模型。这三样东西凑在一起,成了一个"懒人 AI 助手"的全部家当。


项目叫 Overnight Brain。作者 creed725 把它提交到了 Hacktoberfest 开源 AI 挑战赛第三周,主题是"慢而稳"。它的逻辑很直白:白天把想问的问题、想读的长文、想拆解的大目标、一直拖着没写的消息统统丢进队列,晚上睡觉时让模型一件一件慢慢处理,早上醒来直接看摘要。

为什么要故意慢?作者的判断是,大多数 AI 工具追求几秒钟出答案,代价是模型跑在别人的数据中心里。如果答案可以等到第二天早上,一台普通笔记本上的小型开放权重模型就够用了。它可以花时间、少开线程、任务之间歇一歇,也没人需要盯着转圈。

技术栈拆开看

  • Gemma 4(E2B):谷歌的开放权重模型,负责写答案的"大脑"
  • Ollama:本地推理工具,让 Gemma 跑在笔记本上
  • Python + FastAPI:添加任务、读取摘要的小型 Web 应用
  • SQLite:过夜期间存放队列的小数据库
  • 一个 worker 脚本:等到凌晨 1 点,逐个处理任务

整个流程不涉及任何云端 AI 服务。凌晨 1 点,worker 把每个任务通过 Ollama 送进本机的 Gemma,存下答案,最后再让 Gemma 写一段放在摘要顶部的早安短句。

8GB 内存的意外

作者第一次下载的模型有 9.5GB。回头一查自己的 MacBook,内存只有 8GB,这个模型根本装不下。他换成了一个更小、面向轻量机器压缩过的 Gemma 版本,跑起来没问题,大约每个任务一分钟。

既然没人等着答案,worker 还开了"温和模式":占用更少的 CPU 线程,任务之间留出休息时间,笔记本整夜保持凉爽安静。

为什么开放权重在这里重要

作者的本职工作在联邦薪资领域,保护敏感信息是日常职责的一部分,这影响了他对 AI 的看法。多数 AI 工具会把你输入的内容发到别人的服务器上;而 Gemma 这类开放权重模型跑在自己笔记本上,数据不出本机。个人笔记、半成型的想法、草稿,都可以放心交出去。

开放模型还让这类项目对普通人可行:免费,没有订阅、没有 API key、没有按问题计费;能跑在已有的设备上,8GB 内存的 MacBook 就够;也随时可以改,换模型、重写提示词、加新任务类型都行。

一次真实的过夜记录

周三晚上 10 点左右,作者往队列里放了三个任务:一篇本篇文章的写作计划、一个解释开放权重模型的问题、一份 LinkedIn 公告。然后去睡觉。凌晨 1 点,笔记本自己开工,大约四分钟完成全部三项。早上 6 点醒来,摘要已经等在那里。

省下的其实不是那几分钟。作者说,省下的是坐在屏幕前等答案的时间,以及整晚在脑子里惦记待办清单的负担。

小模型的诚实教训

  • 它会夸大。早安短句里说那篇 DEV 文章已经"定稿""可以发布",实际上它只写了一份计划。
  • 事实要自己核。它说开放权重模型能让人"看清模型如何做决策",这并不准确——开放权重意味着可以下载、运行、定制模型,但不解释它为什么给出某个答案。
  • 期待模板,而不是成品。LinkedIn 草稿里留着"[项目/GitHub 链接]"这样的空位等人填。

作者自己的结论是:Overnight Brain 是个不错的起点,但替代不了他自己的判断。

想试的话,准备 Python、免费的 Ollama 应用,以及大约 5GB 空闲空间放 Gemma 模型,安装约 15 分钟,另加下载时间。作者在 Mac 上构建和测试,Windows 或 Linux 上的表现还没有结论。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
姆巴佩涉华言论惹众怒,蒙牛东鹏接连解约,丢金球+解约双重打击

姆巴佩涉华言论惹众怒,蒙牛东鹏接连解约,丢金球+解约双重打击

小金体坛大视野
2026-10-27 11:34:58
比基尼也能保守,条件再好也要规矩点!

比基尼也能保守,条件再好也要规矩点!

穿的像个人样
2026-10-27 08:19:33
邓卓翔更衣室讲话:合同没结束前,希望每个人尊重自己和球迷

邓卓翔更衣室讲话:合同没结束前,希望每个人尊重自己和球迷

懂球帝
2026-10-26 22:31:12
胡二妹离世后,被避雷的店主:“文字真的能杀死人”

胡二妹离世后,被避雷的店主:“文字真的能杀死人”

凤凰网财经
2026-10-24 20:21:28
豆包评出中国最值得去的10个景区,九寨沟第2,漓江第6,西湖垫底

豆包评出中国最值得去的10个景区,九寨沟第2,漓江第6,西湖垫底

赏玩夜忘归
2026-10-20 13:31:19
霍元甲死因瞒了国人100年!开棺验尸后,专家:不是毒杀,是肝癌

霍元甲死因瞒了国人100年!开棺验尸后,专家:不是毒杀,是肝癌

小豫讲故事
2026-10-25 06:00:16
国家出手擒下的4名华人首富,看看他们干的事,根本不值得饶恕!

国家出手擒下的4名华人首富,看看他们干的事,根本不值得饶恕!

杜鱂手工制作
2026-10-08 17:28:43
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
第三个4万亿城市,要来了

第三个4万亿城市,要来了

城市财经
2026-10-26 11:40:48
哈佛30年研究惊人发现:人和人差距,根本不是努力,是吃哪种苦

哈佛30年研究惊人发现:人和人差距,根本不是努力,是吃哪种苦

心中的麦田
2026-10-18 18:56:10
东部克星?骑士逆转夺冠热门,哈登先抑后扬,打脸黑子

东部克星?骑士逆转夺冠热门,哈登先抑后扬,打脸黑子

南海浪花
2026-10-27 10:08:36
A股:刚刚,央行重磅发布,新的稳市工具落地!明日将迎更大转变

A股:刚刚,央行重磅发布,新的稳市工具落地!明日将迎更大转变

虎哥闲聊
2026-10-27 00:00:04
易建联为妻儿建的洛杉矶豪宅烧成灰,如今2000平空地估价曝光,数字让人意外,中介爆出实情

易建联为妻儿建的洛杉矶豪宅烧成灰,如今2000平空地估价曝光,数字让人意外,中介爆出实情

LULU生活家
2026-08-31 15:33:38
连续三年换新王!33岁凯恩终封王,金球不再偏爱少年天才

连续三年换新王!33岁凯恩终封王,金球不再偏爱少年天才

秋姐居
2026-10-27 11:37:01
东鹏饮料终止与姆巴佩全部合作,网友:好企业真没必要找代言人

东鹏饮料终止与姆巴佩全部合作,网友:好企业真没必要找代言人

东方豪侠
2026-10-27 10:50:39
一觉醒来传来一个重磅的消息,菲律宾总统小马科斯要对华进行访问

一觉醒来传来一个重磅的消息,菲律宾总统小马科斯要对华进行访问

经点星娱
2026-10-27 09:53:19
杨议怒骂观众后续:工作人员曝内情,文旅局介入,本人视频道歉

杨议怒骂观众后续:工作人员曝内情,文旅局介入,本人视频道歉

天天热点见闻
2026-10-27 04:52:48
现场观看西班牙国家德比,郑钦文:我不知道要支持哪支球队

现场观看西班牙国家德比,郑钦文:我不知道要支持哪支球队

懂球帝
2026-10-26 21:38:33
郭德纲复出仅3天,杨议台上被喊 “杨老五” 破防,当场怒怼观众起争执

郭德纲复出仅3天,杨议台上被喊 “杨老五” 破防,当场怒怼观众起争执

谈史论天地
2026-10-27 10:19:24
iPad mini 60Hz屏引争议:2026年还能找到60Hz产线 真难为苹果了

iPad mini 60Hz屏引争议:2026年还能找到60Hz产线 真难为苹果了

快科技
2026-10-27 07:08:08
2026-10-27 12:36:49
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
160文章数 126关注度
往期回顾 全部

科技要闻

Anthropic最硬气招股书,先把丑话说在前头

头条要闻

举报电诈大佬的自媒体人遇害 死前被人用钳子夹掉指甲

头条要闻

举报电诈大佬的自媒体人遇害 死前被人用钳子夹掉指甲

体育要闻

世界上最无趣的前锋,拿下了金球奖

娱乐要闻

8登春晚毛宁,57岁唱涛声依旧无人问津

财经要闻

金价跌回8字头

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

教育
家居
游戏
旅游
军事航空

教育要闻

几乎全军覆没,大学毕业的家长都觉都脸红了

家居要闻

2026建博会(广州) 公装联探展交流活动

《羊蹄山之魂》开发商开启新项目并裁员

旅游要闻

美丽中国|深秋江城 亲水武汉

军事要闻

高清大图!歼-15红蓝对抗训练最新画面

无障碍浏览 进入关怀版