NVIDIA 官方多 GPU 集合通信库,提供 all-reduce、broadcast 等优化通信原语,是分布式深度学习训练中跨卡数据同步的底层依赖。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子,减少显存占用并提升微调吞吐,兼容 Llama、Mistral、Gemma、Phi 等主流模型。
一本面向大模型工程实践的开源手册,系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题,帮工程师把模型真正跑起来。
统一的 PyTorch 训练框架,让同一份代码在单卡到上万张 GPU 上都能跑,免去改代码就能做预训练和微调。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
一本博客风格的短教材,讲怎么在 TPU 上扩展大模型训练与推理,用 roofline 分析帮你算清算力、显存和通信的瓶颈。
…刷新与Gemini检测任务 - 同步更新构建脚本、架构文档及单元测试,完善多语言词条与Webview通信 🐛 Bug 修复 (Bug Fixes) - ide-extension : 修复实机测试缺陷并补充改造文档 - 修复 onDidChange 返回裸函数导致扩展停用时抛出 AggregateError, - 改为返回包含 disp
…日志接收,可在内存和 CPU 限制下运行,并通过 gRPC 或(Windows 上)命名管道与主程序通信 by @Hintay ([895054ae](https://github.com/0xJacky
….4.0 将应用界面从 Tauri、SolidJS 与 WebView2 全面迁移至 Rust + GPUI Kit 原生技术栈,脱离浏览器内核开销,重做 DirectX 原生渲染与交互,并深度优化高刷新率动画、实时曲线绘制、列表采样刷新及后台常驻的资源占用。本版还新增自定义进程列、磁盘健康与 SMART 详情、更多 Intel 核显读数
…日志接收,可在内存和 CPU 限制下运行,并通过 gRPC 或(Windows 上)命名管道与主程序通信 by @Hintay ([895054ae](https://github.com/0xJacky/nginx-ui/commit/895054ae51a3a57ad0a8d5dc72e848e44cbc72a4), [ab22f74
… 仿高斯模糊改进,调整了取色区域和取色比例,让颜色和所在区域更加匹配。 修复了点击osc上【cpu/gpu】按钮切换软解、硬解后,osd上show-text无法显示正确的当前硬解信息的问题。 优化了仿高斯模糊的代码,提高其使用内存的效率。 优化了鼠标移动到【暂停】、【播放】按钮上时,图标颜色改变行为导致的内存增加问题。 修复了【暂停】、【
Final case CAD for the 2-GPU and 4-GPU builds, plus the Computer 2 kit assembly manual. - 2-GPU case (2x 5090 and 2x RTX PRO 6000 builds): [full-case STEP assembly](https