面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。
面向 LLM 推理的高性能 KV cache 存储层，通过 GPU 卸载、SSD 缓存和 RDMA 跨节点共享，缓解长上下文推理的显存瓶颈，兼容 vLLM 与 SGLang。
…率，同时还实现了高效的FP8混合精度效果无损训练技术。 - 在分布式并行策略层面，提出了动态自适应的显存卸载策略，实现存算最优均衡，再结合创新设计的显存友好的流水线并行调度，进一步降低显存开销。 - 增强了框架原生的容错能力，实现了大规模集群训练容错系统，可在不影响训练效率的前提下在线监测静默数据损坏等难以察觉的故障，并实现了高可用的检查