一款本地运行 AI 模型的开源工具:Shimmy,全面超越 Ollama。 仅仅 5MB 大小单文件,便提供快速、可靠的本地 AI 推理,同时提供完整的 OpenAI 兼容 API。 基于 Rust 构建,性能优化达到了极致,启动时间不到 100ms、内存占用仅 50MB。
GitHub: https://github.com/Michael-A-Kuykendall/shimmy
并且无需配置,自动端口分配,以及可自动发现模型源,包括 Hugging Face、Ollama、以及本地目录等。
与 Ollama 的对比,在文件大小、启动时间、内存占用等各方面指标,显示全面超越了,感兴趣的同学可安装试试。