对比项目

选型时最常见的动作：两个项目摆在一起看。填 owner/repo，例如 vllm-project/vllm 和 sgl-project/sglang。

在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

2.1k	Stars	187k
+0	近 7 天新增	+406
更新放缓	维护状态	活跃维护
C	语言	Go
MIT	协议	MIT
大模型推理服务	分类	大模型推理服务 / 端侧部署
1.4.3	最近发版	v0.40.16
0	近 30 天发版数	8
—	专家点评	有
—	上手难度	1/3
—	硬件标注	cpu-only apple-silicon rtx-3090 vram-8 vram-24
2026-01-30	最近推送	2026-11-11

star 和发版数不代表适合你，维护状态与硬件标注更值得看

选型时最常见的动作：两个项目摆在一起看。填 owner/repo，例如 vllm-project/vllm 和 sgl-project/sglang。

在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

2.1k	Stars	187k
+0	近 7 天新增	+406
更新放缓	维护状态	活跃维护
C	语言	Go
MIT	协议	MIT
大模型推理服务	分类	大模型推理服务 / 端侧部署
1.4.3	最近发版	v0.40.16
0	近 30 天发版数	8
—	专家点评	有
—	上手难度	1/3
—	硬件标注	cpu-only apple-silicon rtx-3090 vram-8 vram-24
2026-01-30	最近推送	2026-11-11

star 和发版数不代表适合你，维护状态与硬件标注更值得看