在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型,自研 JAX 推理引擎支持 262k 长上下文和前缀缓存,可接入 Claude Code 等编码代理。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。
跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
一本面向大模型工程实践的开源手册,系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题,帮工程师把模型真正跑起来。
面向大规模部署的 LLM 推理引擎,支持 CUDA、ROCm、TPU、Inferentia 等多种硬件后端,并提供 LoRA 与投机解码等加速能力。
面向 XLA 设备(先支持 TPU,后续扩展 GPU)的大模型推理引擎,主打高吞吐和低显存占用,适合在 JAX 生态里跑 Llama、Gemma 等模型。
一本博客风格的短教材,讲怎么在 TPU 上扩展大模型训练与推理,用 roofline 分析帮你算清算力、显存和通信的瓶颈。