基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API，用 Docker 一键部署，支持多说话人、SSML 和字幕时间戳，CPU、AMD、NVIDIA 都能跑。