从零用 PyTorch 一步步实现类 ChatGPT 大语言模型,覆盖注意力机制、预训练、指令微调全流程,适合边跑代码边理解 LLM 内部原理。
用 PyTorch 复现了注意力机制、MLP、重参数化和卷积等常见模块,方便对照论文理解原理并直接嵌入视觉任务模型。
从公开研究文献出发,用第一性原理复现 Claude Mythos 架构的理论实现,供研究者拆解其注意力机制与模型设计思路。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
配套 PyTorch 深度学习课程的开源教程与代码,从零基础讲到能独立训练模型,适合边看边动手练。
用 PyTorch 实现的 Vision Transformer(ViT),只需一个 Transformer 编码器就能在图像分类任务上达到 SOTA,代码简洁易读,适合快速复现和二次开发。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
基于 JAX 的计算机视觉研究库,提供注意力机制、Transformer 和 Vision Transformer 等模型实现,方便快速搭建和复现视觉研究实验。
一个简洁但完整的全注意力 Transformer 实现,集成了多篇论文中值得尝试的实验性特性,方便研究者快速试验各种注意力变体。
从零手写现代 LLM 的教学项目,逐行注释、用大白话讲解注意力机制与 GPT/Llama 结构,适合想搞懂大模型内部原理的人边看边练。
用 PyTorch 复现 DeepMind AlphaFold 3 的蛋白质结构预测模型,包含注意力机制与去噪扩散模块,方便研究和二次开发。
在神经网络层面实时干预基础模型的输出,用 PyTorch 和 Jupyter Notebook 做液态神经网络与注意力机制的可视化微调实验。
用 PyTorch 复现注意力、分类、目标检测、关键点检测等经典 CV 论文的代码合集,适合照着跑通并理解各类视觉模型的实现细节。
统一序列并行注意力实现,把 Ulysses 和 Ring Attention 混合成 2D 并行,让长上下文 Transformer 训练和推理能扩展到超长序列。
FasterViT 是 NVIDIA 提出的高效视觉主干网络,通过分层注意力机制在 ImageNet 分类、COCO 检测和 ADE20K 分割上兼顾精度与推理速度。
整理大模型与多模态推理加速论文和配套代码的资源清单,涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向,方便快速定位和复现关键技术。