低显存可用
4 条人工标注推理显存 ≤ 24G 的项目。只统计已发布点评的条目。
| # | 仓库 | 分类 | Stars | 最近推送 |
|---|---|---|---|---|
| 1 | ollama/ollama 把「本地跑大模型」压缩成一条命令，最适合做原型和日常使用 | 大模型推理服务 | 187k | 2026-11-10 01:49 UTC |
| 2 | ggml-org/llama.cpp 纯 C/C++ 的本地推理引擎，GGUF + 量化是「在自己电脑上跑模型」的标准答案 | 大模型推理服务 | 134k | 2026-11-10 10:59 UTC |
| 3 | vllm-project/vllm 单卡也能压榨出高吞吐的 LLM 推理引擎，PagedAttention 基本成了行业标准 | 大模型推理服务 | 97k | 2026-11-10 11:13 UTC |
| 4 | sgl-project/sglang 前缀复用做得最好的推理框架，RAG 与多轮对话场景吞吐明显占优 | 大模型推理服务 | 39k | 2026-11-10 11:18 UTC |