从零用 PyTorch 一步步实现类 ChatGPT 大语言模型,覆盖注意力机制、预训练、指令微调全流程,适合边跑代码边理解 LLM 内部原理。
用 PyTorch 复现了注意力机制、MLP、重参数化和卷积等常见模块,方便对照论文理解原理并直接嵌入视觉任务模型。
从公开研究文献出发,用第一性原理复现 Claude Mythos 架构的理论实现,供研究者拆解其注意力机制与模型设计思路。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
配套 PyTorch 深度学习课程的开源教程与代码,从零基础讲到能独立训练模型,适合边看边动手练。
用 PyTorch 实现的 Vision Transformer(ViT),只需一个 Transformer 编码器就能在图像分类任务上达到 SOTA,代码简洁易读,适合快速复现和二次开发。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
一个简洁但完整的全注意力 Transformer 实现,集成了多篇论文中值得尝试的实验性特性,方便研究者快速试验各种注意力变体。
整理大模型与多模态推理加速论文和配套代码的资源清单,涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向,方便快速定位和复现关键技术。