北京
分享至
淘宝MNN团队开源了一个0.3B的手机模型，在iPhone 18 Pro上离线跑出350 token/s。这条消息来自一份技术早报的精选条目，指向的是端侧模型落地这件事。
端侧模型的难点不在参数量，而在手机的资源预算。模型设计要和推理引擎协同，才能在这个预算下保持持续可用。MNN团队展示的正是这条路径：从模型设计到推理引擎的配合，让一个小体量模型在手机上稳定跑起来。
同一份早报里还有几条值得放在一起看：
- Kimi托管智能体正式发布：把运行框架打包成托管服务，企业不必重复搭建底座，需要理解的是沙箱、审计与推理前检查如何集成。
- Claude推出个人理财功能：以只读方式连接账户，用自然语言查询个人财务，涉及数据接入、授权与结果解释。
- Salesforce的实践：用Claude Code结合旧系统API，验证编程产出能否带来可检验的交付改进。
- 阿里云的复盘：生码率增长并未改善交付，提出测试左移、需求演示与语义对齐的方法。
把这几条摆在一起，能看到一个共同的落点：模型能力本身不是终点，能不能嵌进既有系统、能不能被审计和解释、能不能在真实资源约束下持续运行，才是被反复讨论的部分。
端侧这一条尤其直白。0.3B的体量配上350 token/s的离线速度，说明小模型在手机上的可用性正在被具体数字定义，而不是停留在概念层面。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
