面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
3D Gaussian Splatting 的官方参考实现，用高斯点云做辐射场重建，实现实时可交互的逼真场景渲染。
用 LoRA、Adapter 等少量参数微调大模型和扩散模型，大幅降低显存与训练成本，是 Hugging Face 生态里做参数高效微调的标准库。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
一门讲高效深度学习系统的课程材料，覆盖 CUDA 编程、分布式训练和推理优化，帮你搞懂怎么把模型训得更快、跑得更省。
面向 Llama 及其变体的大模型推理加速引擎，用 CUDA 和 C++ 做底层优化，主打高吞吐低延迟的模型服务部署。
开箱即用的扩散模型推理加速库，兼容 Diffusers 和 ComfyUI，通过编译优化和 LoRA 支持显著提升图像生成速度。
面向吞吐量优化的高性能 LLM 服务框架，通过 CUDA 加速提升大模型推理的并发处理能力。
给 GTSAM 补上点云 SLAM 所需的因子和优化器，涵盖配准、建图、定位与连续时间轨迹估计，支持 CUDA 加速。
本地完成计算机视觉模型从标注、训练到优化部署的全流程，支持增量学习与模型压缩，针对 Intel XPU 加速并兼容 CUDA。
面向 3D 高斯泼溅训练优化的高效研究框架，配套 CVPR'26 论文，用 CUDA 加速高斯泼溅优化流程，方便做新视角合成的研究与实验。
用 Levenberg-Marquardt 优化器替换 ADAM，加速 3D Gaussian Splatting 的训练收敛，适合需要更快重建速度的 3D 场景。
基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。
在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案，靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s，显存吃紧的单机也能跑大模型。
从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。