NVIDIA 官方多 GPU 集合通信库,提供 all-reduce、broadcast 等优化通信原语,是分布式深度学习训练中跨卡数据同步的底层依赖。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
一本面向大模型工程实践的开源手册,系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题,帮工程师把模型真正跑起来。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子,减少显存占用并提升微调吞吐,兼容 Llama、Mistral、Gemma、Phi 等主流模型。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上,自动处理混合精度(含 fp8)和 FSDP、DeepSpeed 配置,省去手写分布式训练样板代码的麻烦。
…刷新与Gemini检测任务 - 同步更新构建脚本、架构文档及单元测试,完善多语言词条与Webview通信 🐛 Bug 修复 (Bug Fixes) - ide-extension : 修复实机测试缺陷并补充改造文档 - 修复 onDidChange 返回裸函数导致扩展停用时抛出 AggregateError, - 改为返回包含 disp
…日志接收,可在内存和 CPU 限制下运行,并通过 gRPC 或(Windows 上)命名管道与主程序通信 by @Hintay ([895054ae](https://github.com/0xJacky
….4.0 将应用界面从 Tauri、SolidJS 与 WebView2 全面迁移至 Rust + GPUI Kit 原生技术栈,脱离浏览器内核开销,重做 DirectX 原生渲染与交互,并深度优化高刷新率动画、实时曲线绘制、列表采样刷新及后台常驻的资源占用。本版还新增自定义进程列、磁盘健康与 SMART 详情、更多 Intel 核显读数
…日志接收,可在内存和 CPU 限制下运行,并通过 gRPC 或(Windows 上)命名管道与主程序通信 by @Hintay ([895054ae](https://github.com/0xJacky/nginx-ui/commit/895054ae51a3a57ad0a8d5dc72e848e44cbc72a4), [ab22f74
… 仿高斯模糊改进,调整了取色区域和取色比例,让颜色和所在区域更加匹配。 修复了点击osc上【cpu/gpu】按钮切换软解、硬解后,osd上show-text无法显示正确的当前硬解信息的问题。 优化了仿高斯模糊的代码,提高其使用内存的效率。 优化了鼠标移动到【暂停】、【播放】按钮上时,图标颜色改变行为导致的内存增加问题。 修复了【暂停】、【
Final case CAD for the 2-GPU and 4-GPU builds, plus the Computer 2 kit assembly manual. - 2-GPU case (2x 5090 and 2x RTX PRO 6000 builds): [full-case STEP assembly](https