北京
中国创业公司月之暗面扔出了一枚重磅炸弹。他们发布的Kimi K3模型，参数规模达到2.8万亿，直接对标GPT-5.6，还引入了此前未曾公开的隐藏推理机制。这个量级的模型选择了开放权重路线，让整个AI圈炸开了锅。
在Reddit上，从业者们发现K3已经在Intelligence Index上冲到了第三名，排在它前面的只有Fable 5和GPT-5.6 Sol。而在X平台上，它瞬间占领了Arena前端编程排行榜的榜首。Hacker News上的开发者们也没闲着，有人通过分析token计数差异，挖出了K3的一个隐秘操作——系统会静默注入一个85 token的系统提示来启动思维链过程，手法与DeepSeek的max模式架构类似。
这个模型拥有100万token的上下文窗口，在准确度上表现出色。Reddit上的一项智能体评估显示，面对死链，它宁可如实报告也不编造内容，完全杜绝了幻觉问题。但代价也很直接：通过API调用时，首个token的生成时间高达14秒。这意味着它更适合批量处理任务，而非实时对话场景。
更具冲击力的是即将到来的7月27日。届时K3将正式开放权重，任何人均可下载使用。一个参数量约是GPT-4o十四倍的模型敞开大门，直接引发了市场震荡。智谱、MiniMax等中国竞争对手的股票一夜之间遭遇大规模抛售。此事彻底粉碎了一种说法：所谓技术限制导致无法发布重参数开放模型并不成立，西方公司的封闭策略纯粹是商业选择。
与此同时，本地推理也在另一个方向上撕开了一道口子。开发者们利用llama.cpp，从闪存中直接流式调用专家模块，成功在一台仅有11GB内存的一加手机上运行了120B参数的MoE模型。推理速度达到每秒1.3个token，全程不依赖NPU或GPU，就跑起了一个60GB的模型文件。
另一边，一台搭载128GB内存的M5 Max MacBook也展示了令人意外的前端能力。在Terminal-Bench 2.1测试中，运行激进量化至2.45比特版本的DeepSeek-V4-Flash，代码任务通过率达到54%，成绩与两台企业级DGX Spark服务器上的原生混合精度部署打平。
LMCache则在系统层提供了另一种思路。这个开源缓存层允许不同实例在GPU、CPU、磁盘和S3之间共享提示处理结果，重复提示的推理速度可提升2.8倍，跨节点的KV缓存能带来3到10倍的加速效果，且不增加对GPU的依赖。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
