极快的 C++/CUDA 神经网络框架，专为 MLP 等小网络在 GPU 上训练和推理加速，常用于 NeRF 等实时渲染场景。

GPU 加速的图像处理与计算机视觉库，专为云端大规模负载设计，用 CUDA 把预处理和视觉算子跑在 GPU 上，缓解 CPU 瓶颈。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

开源 AI 语音工作室，支持声音克隆、语音听写和语音生成，基于 Qwen3-TTS 与 Whisper，可在 CUDA 或 MLX 上本地运行。

本地运行的 ElevenLabs 开源替代品，支持声音克隆、语音设计、视频配音、听写、转写和有声书制作，覆盖 646 种语言。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

Open3D 是一个现代 3D 数据处理库，提供点云、网格、RGB-D 和 3D 可视化等算法与工具，支持 C++ 和 Python，可用于 3D 感知、重建与机器学习研究。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

用多分辨率哈希编码把 NeRF、SDF 等神经图形基元的训练从几小时压到几秒，实时渲染三维场景。

Kaldi 是经典的语音识别工具库，提供声学建模、解码和说话人识别等完整流程，适合搭建语音转文字与说话人验证系统。

把机器学习模型打包成标准 Docker 容器，自动生成 HTTP 推理服务接口，省去自己写 Dockerfile 和部署脚本的麻烦。

Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。

用 Go 语言调用 OpenCV 做计算机视觉的封装库，支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块，省去写 C++ 胶水代码的麻烦。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

用 CUDA 加速高斯泼溅光栅化，让 3D 高斯场景的训练和渲染跑得更快，适合做三维重建与实时渲染。

NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。

系统梳理 GPU 架构、CUDA 编程、大模型基础与 AI Agent 的入门知识库，帮开发者补齐 AI 基础设施底层原理。

像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。

一个原生桌面应用，把 3D Gaussian Splatting 场景的训练、查看、编辑、自动化和导出都集成在一起，省去在多个工具间来回切换的麻烦。

面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。

量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。

基于 MLIR 的可重定向机器学习编译器与运行时工具包，把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

基于 PyTorch 的 3D 深度学习加速库，提供可微渲染、光照、相机 API 和物理仿真等模块，帮研究者快速搭建 3D 重建与神经渲染实验。

把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用，让无显卡设备也能跑 CUDA 计算和推理任务。

汇集计算机视觉方向的实战项目合集，覆盖 Python、C++、CUDA 和嵌入式部署，方便直接上手跑通检测、识别等模型并落地到 TensorRT 等推理环境。

跨厂商 3D 高斯泼溅训练器，能把视频转成 splat 再生成网格，支持 Vulkan 或 CUDA 后端，并带量化训练加速。

自托管的本地 NVR 与 AI 视觉监控软件，支持目标检测、移动侦测、人脸识别和车牌识别，可接入 IP 摄像头并利用 Coral、CUDA 等硬件加速，数据不出本地。

PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。

把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎，在 NVIDIA GPU 上做推理加速，省去手写 TensorRT 网络的麻烦。

在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。

实时稠密视觉 SLAM 系统，用 RGB-D 相机在线重建房间级三维场景，适合做实时建图与稠密重建研究。

用容器方式在本地跑 AI 模型推理的开发工具，屏蔽不同模型来源和硬件差异，一条命令就能起服务并用于生产。

面向大规模部署的 LLM 推理引擎，支持 CUDA、ROCm、TPU、Inferentia 等多种硬件后端，并提供 LoRA 与投机解码等加速能力。