广东
分享至
Ollama要被干掉了？这个5MB的小东西真的有点东西
有人用Rust写了个叫Shimmy的本地AI推理工具，直接把矛头对准Ollama——
① 单文件5MB，Ollama那边直接哑火
② 启动速度不到100ms，内存只吃50MB
③ OpenAI兼容API，接入成本几乎是零
④ 无需配置、自动分配端口，开箱即用
模型来源也全覆盖了：Hugging Face、Ollama、本地目录，自动识别不用你操心。
体积、速度、内存，三项关键指标全线碾压。想跑本地模型又嫌Ollama太重的，这个值得装一个玩玩。
https://github.com/Michael-A-Kuykendall/shimmy
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
