一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
在 Google Colab 上一键跑起 Stable Diffusion WebUI 的笔记本合集,省去本地显卡和环境配置,直接在线出图、图生图、训练 LoRA 和 DreamBooth。
把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下,方便做密钥管理和二次分发,单文件部署开箱即用。
基于 PyTorch 的图神经网络库,提供图卷积等 GNN 模型的构建与训练组件,省去自己实现图数据结构和消息传递的麻烦。
实验性 PlayStation Vita 模拟器,用 C++ 编写,让玩家能在 PC 上运行 PS Vita 游戏和自制程序。
在 Kubernetes 集群里自动发现 GPU 节点故障并执行修复,减少加速计算任务因硬件异常中断。