NVIDIA 官方多 GPU 集合通信库,提供 all-reduce、broadcast 等优化通信原语,是分布式深度学习训练中跨卡数据同步的底层依赖。
开源自托管的后端即服务(BaaS)平台,把认证、数据库、存储、云函数、消息推送、托管和实时通信打包成一套 Docker 部署方案,帮开发者省去自己搭后端。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
Meshtastic 官方固件,让 ESP32、nRF52 等低成本 LoRa 开发板组成无需基站的离网 Mesh 通信网络,适合徒步和野外场景。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子,减少显存占用并提升微调吞吐,兼容 Llama、Mistral、Gemma、Phi 等主流模型。
面向云原生时代的 Go 微服务框架,内置 gRPC/HTTP 通信、代码生成和分层架构约定,帮团队快速搭建可维护的微服务。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。
轻量级容器化 AI 助手,可接入 WhatsApp、Telegram、Slack 等聊天工具,自带记忆和定时任务,基于 Anthropic Agents SDK 运行。
一本面向大模型工程实践的开源手册,系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题,帮工程师把模型真正跑起来。
可移植的分布式应用运行时,用边车模式把事件驱动、工作流编排、状态管理和发布订阅等能力做成标准 API,让微服务在云和边缘环境都能一致运行。
用 eBPF 直接抓取 SSL/TLS 明文流量,无需中间人代理或安装自定义 CA 证书,支持 Linux 和 Android 的 x86_64、arm64、loong64 架构。
移动应用安全测试与逆向工程的权威手册,提供验证 Android 和 iOS 应用安全弱点的技术流程与合规检查清单。
…gnatures are not stable and may change. - Extends ncclGetPeerPointer and the resource-buffer peer pointer to address every load/store-reachable local peer by world rank,
…A, multimem, and local memory operations. - Added NCCL 2.32 host APIs for collective launch completion events, NVLS configuration, CFT capability inspection, and window r
…t ID. ([Github PR 2315](https://github.com/NVIDIA/nccl/pull/2315)) - Adds NCCL WIN GIN ONLY so users can register a window only for GIN usage. - Optimize GIN performance
…nicator capability inspection and support for new NCCL 2.31.2 GIN features. - Added compile-only CuTe DSL arguments for compiling kernels before creating NCCL resources.
Highlights - Added host APIs for NCCL teams, rank translation, and device resource configuration. - Expanded the experimental CuTe DSL device API with additional GIN oper
…er-Collective Configuration and Tuning - Adds new ncclCollConfig t and nccl Config APIs for all collectives, with a vendor-defined field to make it easier for custom fork