汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
一个面向 LLM 的推理优化代理，通过 API 网关接入，自动套用思维链等推理策略来提升模型回答质量并降低调用成本。
一门讲高效深度学习系统的课程材料，覆盖 CUDA 编程、分布式训练和推理优化，帮你搞懂怎么把模型训得更快、跑得更省。
一套面向应用 AI 的实战教程，用 Jupyter Notebook 讲透大模型微调、推理与量化，帮工程师把 LLM 真正跑起来。
面向已训练神经网络模型的量化与压缩库，提供剪枝、量化等高级技术，帮助在部署前压缩模型体积、降低推理开销。
系统讲解大模型推理与部署的理论与实践，涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术，适合想上手 LLM 部署的开发者学习。
提供 ChatGPT(GPT-3.5) 和 GPT-4 的真实工作负载 trace 数据集，用来评估和优化 LLM 推理服务系统的调度与资源分配。
面向 AI Agent 的 GPU 性能分析器，能追踪 GPU 内核执行和推理过程，帮开发者定位性能瓶颈、优化显存与算力使用。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
一本博客风格的短教材，讲怎么在 TPU 上扩展大模型训练与推理，用 roofline 分析帮你算清算力、显存和通信的瓶颈。
… 内的神经网络加速单元，提升 Qwen3 / Qwen3.5 Dense 推理性能 Hexagon 推理优化 ：提升 NPU 上的 Prefill 效率，减少 Decode 阶段的计算与调度开销 DFlash 投机解码加速 ：加速草稿生成与验证，复用目标模型输出层权重，提高生成吞吐并减少内存占用 CPU / OpenCL 性能优化 ：改进
…性全面提升。 主要新增内容 - AI Native 专章完善 系统补充了 AI Native 架构、推理优化、模型部署、推理网关等前沿主题，覆盖从云原生到 AI Native 的技术演进与落地实践。 - 边缘计算专题扩展 增加了主流边缘方案与落地案例，包括 K3s、OpenYurt、SuperEdge 等，帮助读者理解 Kubernete
…s://github.com/PaddlePaddle/PaddleMIX/pull/694 sd3推理优化——避免同步 by @chang-wenbin in https://github.com/PaddlePaddle/PaddleMIX/pull/695 减少重复拷贝，修复BUG by @chang-wenbin in https
…mba新模型，并在后续Pull Request中修复了相关bug，确保了模型的稳定运行。 - LLM推理优化 ：通过多个Pull Request，我们优化了LLM推理代码，并新增了对新模型和参数的支持，进一步提升了推理效率和兼容性。 2. 基础性能优化 - 快速分词器 ：在 8832 中，我们添加了基于 tokenizers 库的快速分词
Changelog 0. env中增加 compile=true ，为true启用推理优化，为false禁用，某些情况下禁用将提高GPU速度，并减少报错 1. 增加中英分词，选中分词后，将把混合的中英文区分单独合成，并将数字转为对应语言的读法 2. 优化界面、改进api 32 34 3. 增加 top p top k 等参数控制 4. 多