用消费级硬件在本地搭建并运行大语言模型和聊天机器人,支持 llama-cpp-python、vLLM 和 RAG 检索增强。
Krasis 是一个混合式 LLM 推理运行时,通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上,支持 MoE 和 GGUF 模型。