大模型输入价格相差50倍？缓存命中是关键

本周科技动态，周五发布。 本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（[email protected]）。 浙江台州的椒江滨江公共空间生态绿廊，象征涟漪从水面蔓延，涌上岸边，堆积成丘。（via） 大模型的价格，主要是 Token 的输入价格和输出价格，这个很容易理解。 但是，还有一项"输入 Token 的缓存命中价格"，这是什么东西？ 上图是 DeepSeek V4 Flash 模型的定价，可以看到缓存命中的输入价格只有2分钱，足足是未命中的输入价格的五十分之一！ 为什么相差这些大？我们能不能充分利用缓存，来降低费用呢？ 我对于这些问题，以前也不是很了解，最近看了一篇文章，终于理清了思路，今天就来分享。 大家知道，使用大模型的时候，需要先有提示词。 大模型会将提示词分解成 Token，再将 Token 转成向量值，然后计算所有 Token 之间的注意力关系。 这一步非常消耗算力，因此模型公司会对输入 Token 收费。你的提示词越多，输入 Token 的费用就越高。 对于多轮对话和长程任务，每一轮都需要把以前步骤的输入输出结果，提交给模型。 我们可以想到，这些每一轮额外增加的提示词是不变的，以前都已经处理过了。模型完全不必要对这些"前缀"每次进行重复计算，只要把以前的计算结果缓存起来，下一次再取出来用就行了。 这就是为什么需要缓存，它可以大大节省不必要的算力消耗，加快模型处理。 这也是它便宜的原因，因为只要命中缓存，基本不消耗算力，收取的费用实际上是储存空间的费用。 缓存有时间期限，长期保存并无意义。如果一段时间没有用到这些缓存，服务器就会把缓存删除。 根据前面引用文章的测试，各家公司的缓存保存时间不一样。 以 DeepSeek 为例，在10分钟以内，缓存就是有效的，命中缓存只收取2分钱。如果对话的间隔特别久，下一次输入跟上一次之间超过了10分钟，缓存就被删除了，模型收到上一轮的提示词，就不得不重新计算，收取的费用就变成了1元。 由于缓存命中与未命中之间，有巨大的价差。用户的 AI Agent 工具往往会想办法，尽可能延长缓存的保存时间。 当用户长时间不操作、也不退出的时候，大多数 AI Agent 会每隔30秒，自动向服务器发送一个请求，让缓存保存激活状态。 有些模型有专门的缓存激活接口，还有一些没有。这时可以用笨办法，Agent 自动重复发送一次以前的提示词，确保缓存激活。 不过，激活请求也会产生费用。每隔30秒发送一次，如果10分钟没有输入，就会发送20个激活请求。时间一长，费用也不低。 前面说过了，现在各家模型的实际缓存期限，最短也有5分钟，因此30秒一次的激活请求，似乎频率太高了。所以，最新的建议是，可以改成每4分钟自动激活一次缓存。 一家美国创业公司推出一种交通摄像头，不仅能识别车牌号，还能识别蓝牙设备。 公路上的交通摄像头，一般来说只能拍到车牌，不能识别谁在开车。 这个新型摄像头就能解决这个问题。它还能捕捉蓝牙信号，从而将蓝牙设备的 MAC 地址跟车牌绑定，有助于推断谁在车上。 此外，除了蓝牙，它还能捕捉钥匙卡和宠物芯片中的 RFID 标签，以及车内 WIFI 的 SSID，从而进一步增加推断的可靠性。 物理学已经证明，强烈的低频声波（30Hz～60Hz）可以用来灭火，原理是声波可以阻碍氧气流入，并加速热量散发。 一家美国创业公司，最近就制造了一个声波灭火装置，准备推广上市。他们成功演示了厨房灭火的场景。 只见喇叭对着灶头猛放低频声波，火就灭了。该公司希望该装置可以取代喷淋系统，以后着火时，头顶的喇叭放放声音就可以了。 但是，它有几个缺点，可能难以推广。首先，喇叭的体积较大，否则声波强度不够，另外它必须离火源较近，因为声波会迅速衰减。这也造成它只能用于零星的火势，无法用于连片的大火。 一家美国的飞机制造商，推出新型的私人飞机，最大特点是没有舷窗（下图）。 取而代之的是，连在一起的液晶显示屏，播放飞机外部的高分辨率摄像头拍到的景象。 该公司表示，取消窗户可以让飞机更轻，外表更光滑，从而减少空气阻力和燃油消耗。而且，乘客不必探头，就能在座位上环顾整个高空，拥有飞机驾驶员的视野，而不是原来窗口的狭小视野。 科学家使用算法，确定了地球上最长的视线，即从一个地点可以看到另一个地点的最长距离。 那是从吉尔吉斯斯坦（靠近中国边境）的皮克丹科瓦峰向南眺望，可以清晰地看到中国昆仑山脉深处，距离长达530公里。 一般来说，海拔越高、空气越通透，看的距离就越远。 皮克丹科瓦峰海拔约6000米，向南正好是低洼的柴达木盆地沙漠，再远又是海拔6000米以上的昆仑山，因此，这两座相距几百公里的高山可以互相遥望，形成了地球上最长的视线。