面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。

开源本地 AI SDK，无需云端和 API Key 即可在设备端跑 GGUF 模型，集成 RAG、图像音乐视频生成、语音转写和 P2P 推理，覆盖桌面与移动端。