用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。