![]()
上周有个程序员在X上吐槽,说他跟Claude调试代码整整一下午,报错日志、修复方案、各种尝试都过了一遍。最后随口问了句"之前那个错误呢",对方回他:「Which error are you referring to?」
不是Claude耍脾气,是它真忘了。现代大语言模型压根没有"记忆"这个功能——你看到的对话历史,其实是每次请求时把整个聊天记录重新塞进去。就像你每次打电话,对面都换了个新人,只是剧本拿对了。
这个"剧本"有个专业名字叫context window,目前主流模型的上限大概在20万到200万token之间。看起来很大?但一篇长论文加几轮讨论就能塞满。一旦超限,最前面的内容会被直接丢弃,没有任何提醒。
更隐蔽的问题是成本。厂商按token计费,你聊得越久,他们烧得越多。所以有些产品会"优化"历史记录——翻译一下就是偷偷丢掉你认为重要的部分。用户以为在深度协作,实际是在跟金鱼对话。
OpenAI前研究员Karpathy去年提过,真正的长期记忆需要架构层面的改变,不是简单加长窗口。目前几家头部公司都在做,但没人敢承诺时间表。那个程序员后来把聊天记录导出看了眼:87轮对话,有效上下文只保留了最后23轮。前面的64轮,Claude一个字都没收到。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.