在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型,自研 JAX 推理引擎支持 262k 长上下文和前缀缓存,可接入 Claude Code 等编码代理。
面向 XLA 设备(先支持 TPU,后续扩展 GPU)的大模型推理引擎,主打高吞吐和低显存占用,适合在 JAX 生态里跑 Llama、Gemma 等模型。
从零实现的大模型蒸馏与推理服务引擎,包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关,适合研究推理加速与可解释性。