在 NVIDIA OpenShell 沙箱里安全运行 Hermes、LangChain Deep Agents、OpenClaw 等智能体,并统一托管推理调用,解决智能体执行环境隔离与模型接入管理问题。
面向语音 AI 的可扩展生成式框架,覆盖语音识别、语音合成、说话人分离与语音翻译,方便研究和开发人员训练部署语音模型。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
安装前扫描 Claude Code、Codex 和 MCP 技能的安全工具,能发现漏洞、恶意模式、提示注入、数据外泄和供应链风险。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
基于 PyTorch 的 3D 深度学习加速库,提供可微渲染、光照、相机 API 和物理仿真等模块,帮研究者快速搭建 3D 重建与神经渲染实验。
NVIDIA 官方多 GPU 集合通信库,提供 all-reduce、broadcast 等优化通信原语,是分布式深度学习训练中跨卡数据同步的底层依赖。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
提供基于 GPU 加速和微服务架构的生成式 AI 参考工作流,涵盖 RAG、LLM 推理等场景,帮你在 Triton、TensorRT 等基础设施上快速搭建可落地的服务。
把 NVIDIA GPU 的硬件遥测数据导出成 Prometheus 指标,方便监控显卡温度、功耗、显存和利用率等运行状态。
基于 GPU 加速的视频分析智能体参考架构,用视觉语言模型、LLM 和 RAG 实现长视频的实时告警、视觉问答与自动报告生成。
基于 NVIDIA cuVSLAM 加速的 ROS 视觉 SLAM 与里程计包,在 Jetson 和 GPU 上实时完成机器人定位与建图。
This NVIDIA RAG blueprint serves as a reference solution for a foundational Retrieval Augme…
基于 PyTorch 原生分布式训练的 LLM/VLM 训练库,开箱即用兼容 Hugging Face,方便微调 Llama、Gemma、GLM 等主流大模型。
基于 NVIDIA GPU 加速的 3D 场景重建工具,为 ROS2 机器人提供 Nav2 局部代价地图,让机器人在 Jetson 上实时构建三维环境并用于导航避障。
提供 CUDA 加速的机器学习与信息检索基础算法和原语,方便快速搭建高性能应用,涵盖最近邻搜索、聚类、线性代数等常用模块。
基于深度学习与 NVIDIA GPU 加速的 3D 物体位姿估计 ROS/ROS2 包,可在 Jetson 上通过 TensorRT 推理,为机器人抓取和操作提供实时六自由度位姿。
基于 GPU 的向量检索与聚类库,为近似最近邻搜索和相似度计算提供 CUDA 加速,适合大规模向量数据和 LLM 检索场景。
提供示例应用,演示如何把 TAO 训练的模型部署到 DeepStream 视频分析流水线,覆盖 YOLOv3、RetinaNet、DSSD 等模型。
在 Kubernetes 集群里自动发现 GPU 节点故障并执行修复,减少加速计算任务因硬件异常中断。
基于 GStreamer 和 TensorRT 的 GPU 加速实时视频与多传感器分析 SDK,可在边缘、本地和云端搭建多路视频 AI 推理流水线。
面向 ROS2 机器人的 GPU 加速目标检测包,基于 TensorRT 和 Triton 推理深度学习模型,可在 Jetson 上实时运行。
基于 C++/CUDA 的高性能 SDK,把音频实时驱动成 3D 面部表情和口型,内置后处理,适合做虚拟人、数字主播这类实时动画。
给 Linux 和 macOS 用的开源 AI 摄像头与麦克风增强工具,能实现背景虚化、自动取景、降噪、录制和本地会议转写,相当于把 NVIDIA Broadcast 那套效果搬到了非 Windows 平台。
统一调用 100+ 家 LLM API 的 AI 网关,用 OpenAI 格式或原生格式接入,自带成本追踪、限流护栏、负载均衡和日志。
自建的游戏串流主机端,配合 Moonlight 客户端把 PC 游戏低延迟推流到电视、手机等设备,替代 NVIDIA GameStream。
跨平台语音转文字听写应用,支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型,主打隐私优先。
像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率,还能导出指标接入 Grafana 做监控面板。
面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南,用 TensorRT 加速图像识别等视觉任务,配套教程和预训练模型开箱即用。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
把普通 PC、Mac 或 Linux 机器变成私有 AI 服务器,集成 llama.cpp、ComfyUI、Open WebUI、n8n 等组件,方便本地跑大模型、RAG 和 Agent 工作流。
把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎,在 NVIDIA GPU 上做推理加速,省去手写 TensorRT 网络的麻烦。
把 ONNX 模型直接转成 TensorRT 引擎的官方解析器,让训练好的模型能在 NVIDIA GPU 上做高性能推理部署。
在 NVIDIA Jetson 系列开发板上实时查看 CPU、GPU、内存和功耗状态,还能直接调整风扇与功耗模式,省去手动翻 sysfs 的麻烦。
把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API,用 Docker 一键部署,支持多说话人、SSML 和字幕时间戳,CPU、AMD、NVIDIA 都能跑。
给 AI 编码 Agent 做可观测与成本优化的基础设施,通过减少 token 消耗和算力占用,让同样的 Agent 花更少的钱干更多的活。
用 TensorRT 网络定义 API 手写实现 YOLO、ResNet、Swin Transformer 等主流深度学习模型,并附 C++ 推理代码,方便直接部署到 NVIDIA GPU。
把 YOLO 系列模型接入 NVIDIA DeepStream SDK 的推理实现,支持 Darknet、PyTorch、Paddle 等多种权重格式,方便在 Jetson 和 GPU 上做实时目标检测部署。
实时监控 NVIDIA GPU 的 Web 仪表盘,用图表展示显存、利用率、温度等指标,方便运维和 MLOps 排查显卡状态。
…lex token dispatcher ([\ 5153](https://github.com/NVIDIA/Megatron-LM/pull/5153)). NCCL EP MXFP8 communication (experimental): adds MXFP8 dispatch-forward and combine-back
… 32-bit ran… by @huuanhhuyn in https://github.com/NVIDIA/raft/pull/3093 Better error reporting with std::source location by @achirkin in https://github.com/NVIDIA/raft/pu
… for KMeans by @tarang-jain in https://github.com/NVIDIA/cuvs/pull/2147 Containerize standalone tarball build by @jameslamb in https://github.com/NVIDIA/cuvs/pull/2595 Mi
… for hnsw::build by @tfeher in https://github.com/NVIDIA/cuvs/pull/1719 Track tensor and index lifetimes in the Rust DLPack bindings by @yan-zaretskiy in https://github.c
…raft resources by @achirkin in https://github.com/NVIDIA/raft/pull/3004 Fix gather/scatter fast division bug by @huuanhhuyn in https://github.com/NVIDIA/raft/pull/3059 Pr
This is the NVIDIA Dataset split followed RoDynRF. We use this dataset as the main evaluation metric in our paper.