北京
分享至
Perplexity 把自家本地推理引擎 Lily 开源了。这玩意儿是给 Perplexity Computer 的混合计算准备的，专门针对 Apple silicon 上的 Qwen3.6-35B-A3B 做了优化。
设备端算力不再是瓶颈
按官方说法，Lily 的核心目标就是让设备端算力不会成为 Computer 任务的瓶颈。换句话说，苹果芯片跑大模型这件事，Perplexity 想用开源的方式把效率拉上去。
为什么值得看一眼
- 针对 Apple silicon 深度优化，不是通用方案
- 配合 Qwen3.6-35B-A3B 模型，本地推理更顺
- 开源意味着开发者可以直接拿来改
目前细节都在官方博客里，想折腾本地推理的可以自己去翻。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
