把模型跑在自己电脑上,听起来能一次解决好几个烦人问题:调提示词时不用盯着API账单,客户数据不用离开笔记本,飞机上也能继续开发。Ollama把第一步做得几乎简单到让人起疑——它在localhost:11434上提供一个兼容OpenAI的接口,官方OpenAI SDK只要换掉baseURL,别的一行都不用动。
这一行替换是真的,也是大多数人读到的地方。麻烦会在一小时后出现:本地模型"无视"了你一半的系统提示词,或者一个在托管API上跑得好好的请求突然返回400。问题几乎都来自三个地方:上下文窗口、Ollama没有实现的那部分API,以及你对输出结构的信任程度。
先让这次替换可以撤回
做法是把客户端指向http://localhost:11434/v1/,API key随便传一个字符串——SDK要求这个字段,但服务端会忽略它。建议通过配置切换,而不是在代码里写分支,这样同一个调用点既能在本地跑,也能在生产环境跑。
示例里用环境变量LLM_PROVIDER判断:等于ollama时,baseURL指向本地、apiKey填"ollama"、模型名用qwen3:8b;否则走正式的OPENAI_API_KEY和LLM_MODEL。第一次请求之前记得先ollama pull qwen3:8b,本地推理需要权重文件在磁盘上。
接口层面,/v1/chat/completions和无状态的/v1/responses(Ollama v0.13.3加入)都支持,所以你的应用原本用哪种API形态,基本都能平移过来。
真正咬人的是上下文窗口
托管模型动辄宣称几十万token的上下文,很容易让人以为本地模型默认也一样。并不是。Ollama的上下文长度文档写明,默认值按显存挑:24 GiB以下给4k token,24到48 GiB给32k,48 GiB及以上给256k。大多数笔记本落在第一档。
四千token消耗得很快——一段长系统提示词、几个工具定义、再加上一些检索文档,就见底了。提示词溢出时通常不会报错,模型只是丢掉溢出的部分继续回答,看起来就像"这个模型不听话"。Ollama建议,做智能体、编码工具和任何搜索类应用,上下文至少给到64,000 token。
用OpenAI SDK的人会遇到一个坎:OpenAI API里没有设置上下文大小的字段,所以没法按请求调整。只有两条路——给整个服务端设:
- 启动时带上OLLAMA_CONTEXT_LENGTH=64000 ollama serve
- 或者用Modelfile把参数固化成一个命名模型,应用里调用这个名字,例如FROM qwen3:8b加PARAMETER num_ctx 32768,再ollama create qwen3-32k -f Modelfile
设完要检查实际生效的值。ollama ps会显示分配到的CONTEXT和PROCESSOR列;如果PROCESSOR显示的是CPU参与拆分而不是100% GPU,说明更大的窗口没塞进显存,每次响应都会明显变慢。窗口按任务需要设,不要按最大值设。
哪些API部分是缺的
Ollama实现的是OpenAI API的一个子集,缺口很具体。在/v1/chat/completions上,兼容性页面列出支持tools、流式、JSON模式、视觉和response_format,但不支持tool_choice、logit_bias、n、logprobs。图片必须是base64 data URL,直接给图片链接不行。Responses接口没有previous_response_id和conversation,历史消息得自己重发。
这些都不致命,但每一条都是照着托管API写的代码里埋着的bug。如果你的智能体靠tool_choice: 'required'强制发起工具调用,本地模型完全可以改用散文回答。这个分支要显式处理,别等到演示现场才发现。
每次都校验输出结构
结构化输出在本地是能用的:通过response_format传JSON schema,或者在Ollama原生的/api/chat上用format。文档还建议把schema也写进提示词,并把temperature降到0。两个注意点:Ollama的云端完全不支持结构化输出,所以"本地或云端"的开关可能悄悄把这项能力弄丢;小模型会产出合法但内容错误的JSON,所以要用发出去时同一份schema去解析。
示例里用zod定义工单结构(title、priority取low/medium/high、labels数组),读取bug报告文本,调用ollama.chat时把format设为z.toJSONSchema(Ticket)、temperature设0、num_ctx设16384,最后用Ticket.parse解析返回内容。原生客户端还能按调用设置num_ctx,这也是脚本和评测里更值得用它、哪怕应用本身走OpenAI SDK的原因。
本地真正划算的地方
笔记本上的8B模型不是前沿模型的平替,硬当平替用,浪费的时间比省下的多。它擅长的是内层循环:搭流式UI、调提示词形状、跑几百个评测用例而不产生账单、处理那些不允许外发的数据。把提供方藏在配置后面,有意识地设上下文窗口,只对着Ollama实现的子集写代码,每个结构化响应都校验一遍。然后让评测同时跑本地模型和生产模型,这样质量差距会先被你看清,而不是先被用户撞见。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.