网易首页 > 网易号 > 正文 申请入驻

本地大模型终于能记住我了:一个9B参数模型的持久化改造实验

0
分享至

用了几个月本地大模型,坦白说,能力比我预想的好,但折腾程度也超预期。性能损失确实有,但 surprisingly 可控——真正烦人的是界面和基础设施。本地模型没有 Claude 那种 polished 的聊天应用,你得用 LM Studio 或 llama.cpp 这类 runner 跑,哪怕带 GUI 的也跟 Claude、Gemini 体验差一截。控制项暴露太多,容易 overwhelm,同时又缺很多 workspace 功能。

最缺的是持久化上下文(persistent context)。Claude 有 Projects,Gemini 有 Gems,能把背景信息和指令自动载入每次对话,不用反复解释。本地 runner 没这功能——每次 session 从零开始,得重新 briefing。但我找到一个 workaround:context journals。


这周我用本地 9B 模型替换了 Claude Pro,终于搞清楚那 20 美元/月买的是什么。差距比想象的小。

这里的 "journal" 不是写日记,而是一份 reference document,构建后喂给模型,让它不再每次从零开始。可以理解为回答那个模型如果能问会问的问题:我在跟谁说话?对方需要什么?我该怎么回应?

里面放模型总搞错或总需要解释的东西:姓名、职业、期望的回复格式、重复纠正过的内容、使用的工具、明确不想要的行为。基本规则:同一件事跟模型说过三遍,就该写进 journal。

模型并不会像云端 AI 那样"记住"这些——它只是在每次 session 开头通过 system prompt 或文档上传获得这些信息,然后据此行动。

把持久化上下文塞进 runner 有两个简单方法。LM Studio 是我的首选,所以以此为例,但核心思路也适用于 Ollama 等其他 GUI runner,步骤略有不同。

最直接的是 presets。在 LM Studio 里,preset 把 system prompt 和参数打包成命名配置,能瞬间载入任意对话。system prompt 是模型在你开口前读的第一样东西,设定 tone、规则、

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普访华,未带零售公司

特朗普访华,未带零售公司

商业观察家
2026-05-14 23:19:48
20架C17抵京,特朗普搬家式外交,本想炫耀实力,结果被运20打脸

20架C17抵京,特朗普搬家式外交,本想炫耀实力,结果被运20打脸

青烟小先生
2026-05-12 09:30:12
年仅6岁的小天赐,终为父母的荒唐决定买了单,懂事得不像小孩

年仅6岁的小天赐,终为父母的荒唐决定买了单,懂事得不像小孩

阅微札记
2026-05-14 11:40:40
《爱情没有神话》大结局:周媚赢了!孤烟、赵兰心竹篮打水一场空

《爱情没有神话》大结局:周媚赢了!孤烟、赵兰心竹篮打水一场空

雨中山果落
2026-05-14 16:28:23
乌克兰摊牌:不要领土了,要彻底废掉俄罗斯的战争能力

乌克兰摊牌:不要领土了,要彻底废掉俄罗斯的战争能力

林子说事
2026-05-14 18:39:12
在单位里永远要记住一个人际关系的残酷实情:如果领导有事不直接找你,反倒让同事传话告诉你,只能说明这两个问题

在单位里永远要记住一个人际关系的残酷实情:如果领导有事不直接找你,反倒让同事传话告诉你,只能说明这两个问题

心理观察局
2026-05-08 09:11:06
注意:这8样东西不能用酒精擦,一擦就坏,无法修复

注意:这8样东西不能用酒精擦,一擦就坏,无法修复

室内设计师有料儿
2026-04-12 13:00:36
高市算盘落空,没给日本的,中方都给了特朗普,北京通告全球

高市算盘落空,没给日本的,中方都给了特朗普,北京通告全球

深蓝独奏
2026-05-14 22:00:51
砸了个寂寞!特朗普最愚蠢之处,就是把中美平起平坐的真相说出来

砸了个寂寞!特朗普最愚蠢之处,就是把中美平起平坐的真相说出来

小嵩
2026-03-28 18:44:22
川普访华,美国记者在北京席地而坐

川普访华,美国记者在北京席地而坐

浮岛余生
2026-05-14 19:41:39
皇马训练视频疯传,“姆巴佩帮”和“维尼修斯帮”似乎泾渭分明

皇马训练视频疯传,“姆巴佩帮”和“维尼修斯帮”似乎泾渭分明

懂球帝
2026-05-14 01:38:38
马斯克出席北京欢迎仪式!穿西服配绿领带很绅士,还举着手机拍照

马斯克出席北京欢迎仪式!穿西服配绿领带很绅士,还举着手机拍照

八八尚语
2026-05-14 16:21:30
克宫:莫斯科和北京将同时宣布普京访问中国的日期

克宫:莫斯科和北京将同时宣布普京访问中国的日期

俄罗斯卫星通讯社
2026-05-13 14:59:45
中国拒赴中日韩峰会,一石激起千层浪,震动整个东亚政坛

中国拒赴中日韩峰会,一石激起千层浪,震动整个东亚政坛

时尚的弄潮
2026-05-14 12:13:08
A股:今天调整到4178点,不出意外,明天,5月15日,很可能这样走

A股:今天调整到4178点,不出意外,明天,5月15日,很可能这样走

云鹏叙事
2026-05-14 15:52:30
中美元首会晤,世界吃下一颗“定心丸”

中美元首会晤,世界吃下一颗“定心丸”

环球时报国际
2026-05-14 13:37:25
手机号要变了:中国移动开了个头

手机号要变了:中国移动开了个头

林子说事
2026-05-12 18:37:55
白宫的镜头为解放军停留5秒,特朗普很喜欢,美国人直夸铁的纪律

白宫的镜头为解放军停留5秒,特朗普很喜欢,美国人直夸铁的纪律

呼呼历史论
2026-05-14 14:44:43
央视:邝兆镭脚上的伤势仍然困扰着他,登场的时机还未到来

央视:邝兆镭脚上的伤势仍然困扰着他,登场的时机还未到来

懂球帝
2026-05-14 21:08:22
谈崩了还是谈成了?特朗普离场憋出四个字,在台湾问题上他怂了!

谈崩了还是谈成了?特朗普离场憋出四个字,在台湾问题上他怂了!

可乐谈情感
2026-05-14 21:23:12
2026-05-14 23:48:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
2607文章数 39关注度
往期回顾 全部

科技要闻

马斯克说会谈很顺利 黄仁勋点赞 库克比耶

头条要闻

外媒询问中方对鲁比奥的制裁是否已经解除 外交部回应

头条要闻

外媒询问中方对鲁比奥的制裁是否已经解除 外交部回应

体育要闻

争议抽象天王山,和季后赛最稳定中锋

娱乐要闻

何九华官宣当爸!全程不提孩子妈

财经要闻

李强会见美国工商界代表

汽车要闻

双零重力座椅/AI智能体/调光天幕 启境GT7内饰发布

态度原创

教育
艺术
亲子
房产
本地

教育要闻

一年一度高考祝福大赛开始了,全民寄语为青春考生护航

艺术要闻

成都“第三高楼”大缩水,396米砍到250米以下!

亲子要闻

监控下的幼儿园小可爱,主动帮老师搬桌开门,逻辑超在线

房产要闻

海南楼市新政要出!拟调公积金贷款额度,最高可贷168万!

本地新闻

用苏绣的方式,打开江西婺源

无障碍浏览 进入关怀版