“你没法把20B或70B模型塞进安卓手机的内存里,但可以在自己的Mac或PC上跑,然后用手机调用。”这是Off Grid AI开发者给出的思路。免费安卓应用Off Grid AI Mobile(OGAM)会在同一Wi-Fi下找到Off Grid AI Desktop、Ollama或LM Studio,让你和电脑上已加载的模型对话。推理在电脑上完成,手机只负责显示答案,全程不经过云端。
![]()
这套流程基于OGAM 0.0.124版本。如果电脑上已经装好Ollama或LM Studio,几分钟就能配完。
手机上的内存账
在手机端,OGAM通过llama.cpp运行GGUF模型。一个加载的模型需要文件本身加上对话所需的空间,而安卓分配给单个应用的可用内存远低于手机总内存。因此OGAM会按你的内存给每个文件定尺寸:占用低于52%运行良好,到62%属于“紧张”,再往上就是“太大”。
这决定了手机上大约只能跑到7B到9B。Gemma 4 E4B、Qwen 3.5 4B或9B、Llama 3.2 3B都能装下,适合快速提问、改写和离线使用。而人们在Ollama上实际拉取的模型属于另一个量级,这些模型没有一个能装进任何手机,一台32GB内存的Mac或PC能应付其中大部分。
在局域网里暴露一个服务器
电脑上需要一个推理服务器,以下任选其一:
- Ollama:先拉取模型,例如 ollama pull gpt-oss:20b。默认只监听本机,需要绑定到网络。Mac或Linux上运行 OLLAMA_HOST=0.0.0.0 ollama serve;Windows上添加值为0.0.0.0的系统环境变量OLLAMA_HOST,然后重启Ollama。
- LM Studio:下载模型,打开Developer标签页,加载模型,启动服务器,并开启“Serve on Local Network”。
- Off Grid AI Desktop:安装后打开Models,下载并选择一个模型,先在电脑上问一个问题确认能回答。它的网关监听7878端口。
保持电脑唤醒,并和手机连在同一个Wi-Fi下。
让OGAM指向服务器
OGAM的“Remote servers”功能会与局域网内兼容OpenAI接口的服务器通信,并把回复流式传回。各服务器的端口为默认值:Off Grid AI Desktop是7878,Ollama是11434,LM Studio是1234。
在OGAM中打开Settings → Remote servers,在“Scan for”下保留你使用的服务,点击“Scan network”,OGAM会扫描Wi-Fi并列出应答的设备。想让它在每次打开该界面时都自动查找,可开启“Auto-discover on Wi-Fi”。
扫描结果为空时,点“Add manually”,输入名称和带端口的完整地址,例如Ollama填 http://192.168.1.50:11434,点“Test connection”再“Add server”。不要填127.0.0.1,因为在手机上那指的是手机自己。如果Off Grid AI Desktop要求密钥,OGAM会提示,从Desktop的Gateway → API keys复制一个粘贴到服务器的API key字段即可,密钥保存在手机上。
选择远程模型
打开一个对话,点击模型名称。本地模型列在“Local Models”下,电脑上的模型列在服务器名称下。选中GPT-OSS 20B或你加载的任意模型,发送提示词。在“Currently Loaded”下会看到Remote标记,推理在哪里运行一目了然。离开家时,在同一个对话里切回本地模型即可。
电脑不需要GPU。Apple silicon的Mac或内存足够的PC可以用CPU或集成显卡运行这些模型,GPU只是让回答更快。也不需要Pro订阅,Remote servers属于免费应用的一部分,模型下载完成后甚至可以断网。
连接排查与网络边界
这套方案仅限局域网。要在外面访问,把两台设备放进Tailscale这类私有网络,OGAM接受Tailscale地址的方式和家庭地址一样。不要把7878、11434或1234端口转发到公网。
如果电脑也装不下模型:GPT-OSS 120B大约需要96GB内存,而大多数笔记本只有16到32GB。Off Grid AI Boost用其GPU运行开放模型,按月统一收费,不按token计费。首批用户价格为每月4.99、9.99、49.99或99.99美元(常规价9.99、19.99、99.99和199.99美元),年付为月付的10倍。官方称不会存储提示词,也不会用其训练模型,完整隐私政策随发布提供。
Boost目前是预购,API密钥到2027年1月才发放,各套餐的使用上限尚未公布。开发者给出的分工是:小模型放在手机上供离线使用,大模型交给电脑,电脑装不下的交给Boost。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.