NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
把 AI 研究与工程技能打包成可复用模块，接入 Claude Code、Codex、Gemini 等编码代理后即可获得完整科研能力。
基于 Megatron 和 DeepSpeed 在 GPU 上训练大规模自回归 Transformer 的模型并行框架，用来复现和扩展 GPT-3 级别的语言模型。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
面向大模型后训练的强化学习框架，用混合编程模型把 RLHF 训练流程编排得灵活又高效，方便扩展和跑大规模实验。
汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
面向语音 AI 的可扩展生成式框架，覆盖语音识别、语音合成、说话人分离与语音翻译，方便研究和开发人员训练部署语音模型。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU，写起来像 NumPy，跑起来像高性能计算。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
面向 NVIDIA GPU 和昆仑 XPU 的大模型训练框架，覆盖 LLM、VLM、扩散模型和具身模型，支持 LoRA、预训练、SFT 与中期训练，开箱即用适配 DeepSeek、GLM、Kimi 等主流模型。
…en dispatcher ([\ 5153](https://github.com/NVIDIA/Megatron-LM/pull/5153)). NCCL EP MXFP8 communication (experimental): adds MXFP8 dispatch-forward and combine-backward co
…thub.com/OpenPipe/ART/pull/1134)) - feat: add art.megatron support for Stark's Tinker-compatible trainer ([ 1133](https://github.com/OpenPipe/ART/pull/1133)) Full Changel
…implementations for Hugging Face Transformers and Megatron training. - Added dense and MoE variants spanning 2B, 4B, 8B, and 30B-A3B configurations. - Added the OneVision
…15236 - Docs: replace removed preprocess data for megatron.py with Megatron-L… by @Saibabu7770 :: PR: 15222 - remove nlp documentation by @dimapihtar :: PR: 15304 - fix s
…new added tokens by @ximinng in 9267 - 🔥 Support Megatron-LM training via [MCoreAdapter](https://github.com/alibaba/ROLL/tree/main/mcore adapter) by @Kuangdd01 in 9237 -
本次中文特化版本，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的bad case，同时在情感表达方面有大幅提升。可以作为先前V1.0.1纯中文版本更好的替代。 同时合入了先前去除的Clap模型。 目前只支持中文推理，多语言待定。 此版本不作为正式版本发