网易首页 > 网易号 > 正文 申请入驻

手机跑不动20B模型?把电脑当服务器就行

0
分享至

“你没法把20B或70B模型塞进安卓手机的内存里,但可以在自己的Mac或PC上跑,然后用手机调用。”这是Off Grid AI开发者给出的思路。免费安卓应用Off Grid AI Mobile(OGAM)会在同一Wi-Fi下找到Off Grid AI Desktop、Ollama或LM Studio,让你和电脑上已加载的模型对话。推理在电脑上完成,手机只负责显示答案,全程不经过云端。


这套流程基于OGAM 0.0.124版本。如果电脑上已经装好Ollama或LM Studio,几分钟就能配完。

手机上的内存账

在手机端,OGAM通过llama.cpp运行GGUF模型。一个加载的模型需要文件本身加上对话所需的空间,而安卓分配给单个应用的可用内存远低于手机总内存。因此OGAM会按你的内存给每个文件定尺寸:占用低于52%运行良好,到62%属于“紧张”,再往上就是“太大”。

这决定了手机上大约只能跑到7B到9B。Gemma 4 E4B、Qwen 3.5 4B或9B、Llama 3.2 3B都能装下,适合快速提问、改写和离线使用。而人们在Ollama上实际拉取的模型属于另一个量级,这些模型没有一个能装进任何手机,一台32GB内存的Mac或PC能应付其中大部分。

在局域网里暴露一个服务器

电脑上需要一个推理服务器,以下任选其一:

  • Ollama:先拉取模型,例如 ollama pull gpt-oss:20b。默认只监听本机,需要绑定到网络。Mac或Linux上运行 OLLAMA_HOST=0.0.0.0 ollama serve;Windows上添加值为0.0.0.0的系统环境变量OLLAMA_HOST,然后重启Ollama。
  • LM Studio:下载模型,打开Developer标签页,加载模型,启动服务器,并开启“Serve on Local Network”。
  • Off Grid AI Desktop:安装后打开Models,下载并选择一个模型,先在电脑上问一个问题确认能回答。它的网关监听7878端口。

保持电脑唤醒,并和手机连在同一个Wi-Fi下。

让OGAM指向服务器

OGAM的“Remote servers”功能会与局域网内兼容OpenAI接口的服务器通信,并把回复流式传回。各服务器的端口为默认值:Off Grid AI Desktop是7878,Ollama是11434,LM Studio是1234。

在OGAM中打开Settings → Remote servers,在“Scan for”下保留你使用的服务,点击“Scan network”,OGAM会扫描Wi-Fi并列出应答的设备。想让它在每次打开该界面时都自动查找,可开启“Auto-discover on Wi-Fi”。

扫描结果为空时,点“Add manually”,输入名称和带端口的完整地址,例如Ollama填 http://192.168.1.50:11434,点“Test connection”再“Add server”。不要填127.0.0.1,因为在手机上那指的是手机自己。如果Off Grid AI Desktop要求密钥,OGAM会提示,从Desktop的Gateway → API keys复制一个粘贴到服务器的API key字段即可,密钥保存在手机上。

选择远程模型

打开一个对话,点击模型名称。本地模型列在“Local Models”下,电脑上的模型列在服务器名称下。选中GPT-OSS 20B或你加载的任意模型,发送提示词。在“Currently Loaded”下会看到Remote标记,推理在哪里运行一目了然。离开家时,在同一个对话里切回本地模型即可。

电脑不需要GPU。Apple silicon的Mac或内存足够的PC可以用CPU或集成显卡运行这些模型,GPU只是让回答更快。也不需要Pro订阅,Remote servers属于免费应用的一部分,模型下载完成后甚至可以断网。

连接排查与网络边界

这套方案仅限局域网。要在外面访问,把两台设备放进Tailscale这类私有网络,OGAM接受Tailscale地址的方式和家庭地址一样。不要把7878、11434或1234端口转发到公网。

如果电脑也装不下模型:GPT-OSS 120B大约需要96GB内存,而大多数笔记本只有16到32GB。Off Grid AI Boost用其GPU运行开放模型,按月统一收费,不按token计费。首批用户价格为每月4.99、9.99、49.99或99.99美元(常规价9.99、19.99、99.99和199.99美元),年付为月付的10倍。官方称不会存储提示词,也不会用其训练模型,完整隐私政策随发布提供。

Boost目前是预购,API密钥到2027年1月才发放,各套餐的使用上限尚未公布。开发者给出的分工是:小模型放在手机上供离线使用,大模型交给电脑,电脑装不下的交给Boost。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
工信部同意北京市等8个省(市)开展6G创新发展部省协同试点工作

工信部同意北京市等8个省(市)开展6G创新发展部省协同试点工作

界面新闻
2026-11-17 15:15:59
中国股市大局已定?不出意外,11月起中国股市或将迎来3个变化

中国股市大局已定?不出意外,11月起中国股市或将迎来3个变化

星语者056
2026-11-17 08:46:01
APEC会议周,深圳街头现整齐“小白鞋”,有市民呼吁脱下人字拖、改穿运动鞋

APEC会议周,深圳街头现整齐“小白鞋”,有市民呼吁脱下人字拖、改穿运动鞋

极目新闻
2026-11-17 17:54:47
小米员工:十年被C,坦然面对一切是最好的安排

小米员工:十年被C,坦然面对一切是最好的安排

蚂蚁大喇叭
2026-11-17 16:49:38
今年最火的“过冬战袍”,把冲锋衣挤下桌

今年最火的“过冬战袍”,把冲锋衣挤下桌

DT商业观察
2026-11-17 12:12:24
今夜抵达!冷空气强势来袭!中雨局地大雨,降温+大风,有霜冻,最冷时段是...

今夜抵达!冷空气强势来袭!中雨局地大雨,降温+大风,有霜冻,最冷时段是...

浙江天气
2026-11-17 11:55:32
明日十月初十,记得:1不洗,2不动,吃3样,十全十美,平安过冬

明日十月初十,记得:1不洗,2不动,吃3样,十全十美,平安过冬

神牛
2026-11-17 08:42:03
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

大风新闻
2026-11-16 10:40:08
《大西洋月刊》丨抱歉,罗伯特·帕丁森不是007

《大西洋月刊》丨抱歉,罗伯特·帕丁森不是007

邸报
2026-11-17 09:43:32
中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

职场资深秘书
2026-11-17 17:01:53
刘瑛已任青岛市市南区委书记

刘瑛已任青岛市市南区委书记

黄河新闻网吕梁
2026-11-17 09:44:30
耻辱10连败,从总冠军跌落神坛!9换2交易不值得,你们很难崛起了

耻辱10连败,从总冠军跌落神坛!9换2交易不值得,你们很难崛起了

篮球扫地僧
2026-11-17 18:41:12
罗伯特·帕丁森出演007,为什么亨利·卡维尔首轮就被淘汰?

罗伯特·帕丁森出演007,为什么亨利·卡维尔首轮就被淘汰?

光影新天地
2026-11-17 15:55:41
突然“跳水”!关于明天行情,我再强调几句,防止有人没有看到!

突然“跳水”!关于明天行情,我再强调几句,防止有人没有看到!

一担金
2026-11-17 15:06:13
深圳APEC领导人会议前,人民日报、求是、新华社密集发声,一个定调释放三大信号!

深圳APEC领导人会议前,人民日报、求是、新华社密集发声,一个定调释放三大信号!

识局Insight
2026-11-17 12:59:56
英伟达员工爆料:飞机随便坐、电梯随便搭,为什么没人敢用?

英伟达员工爆料:飞机随便坐、电梯随便搭,为什么没人敢用?

一盅情怀
2026-11-17 12:17:13
断崖式暴跌至1℃!强冷空气明天影响上海,湿冷“魔法攻击”就要来啦?

断崖式暴跌至1℃!强冷空气明天影响上海,湿冷“魔法攻击”就要来啦?

上海静安
2026-11-17 13:08:39
若非卢璐发长文,没人知道,刘欢有6位生死之交,个个可托付后事

若非卢璐发长文,没人知道,刘欢有6位生死之交,个个可托付后事

东方不败然多多
2026-11-17 17:05:52
段永平减仓英伟达超396万股,曾称自己不看空

段永平减仓英伟达超396万股,曾称自己不看空

21世纪经济报道
2026-11-17 15:42:57
2026-11-17 19:07:00
字节漫游指南
字节漫游指南
有态度网友ytd
220文章数 134关注度
往期回顾 全部

数码要闻

苹果HomeView与第四代Apple TV 4K开售 299美元起

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
家居
时尚
艺术
房产

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

自骂“烂人”的黄仁勋,冤不冤?

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版