面向本地部署的高速大模型推理引擎,通过稀疏激活与量化等技术,让消费级显卡也能流畅跑起 Llama 类模型。
基于 vLLM 的 NUMA 扩展推理引擎,充分利用 CPU 和内存资源降低显存占用,支持 MOE 大模型混合推理与 GPU/NUMA 并行。
在 RTX 5090 / RTX PRO 6000(sm_120)上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案,支持 GPU+CPU 混合推理和 2-bit 专家量化。
Krasis 是一个混合式 LLM 推理运行时,通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上,支持 MoE 和 GGUF 模型。