汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
… 内的神经网络加速单元，提升 Qwen3 / Qwen3.5 Dense 推理性能 Hexagon 推理优化 ：提升 NPU 上的 Prefill 效率，减少 Decode 阶段的计算与调度开销 DFlash 投机解码加速 ：加速草稿生成与验证，复用目标模型输出层权重，提高生成吞吐并减少内存占用 CPU / OpenCL 性能优化 ：改进
…性全面提升。 主要新增内容 - AI Native 专章完善 系统补充了 AI Native 架构、推理优化、模型部署、推理网关等前沿主题，覆盖从云原生到 AI Native 的技术演进与落地实践。 - 边缘计算专题扩展 增加了主流边缘方案与落地案例，包括 K3s、OpenYurt、SuperEdge 等，帮助读者理解 Kubernete
…s://github.com/PaddlePaddle/PaddleMIX/pull/694 sd3推理优化——避免同步 by @chang-wenbin in https://github.com/PaddlePaddle/PaddleMIX/pull/695 减少重复拷贝，修复BUG by @chang-wenbin in https
…mba新模型，并在后续Pull Request中修复了相关bug，确保了模型的稳定运行。 - LLM推理优化 ：通过多个Pull Request，我们优化了LLM推理代码，并新增了对新模型和参数的支持，进一步提升了推理效率和兼容性。 2. 基础性能优化 - 快速分词器 ：在 8832 中，我们添加了基于 tokenizers 库的快速分词
Changelog 0. env中增加 compile=true ，为true启用推理优化，为false禁用，某些情况下禁用将提高GPU速度，并减少报错 1. 增加中英分词，选中分词后，将把混合的中英文区分单独合成，并将数字转为对应语言的读法 2. 优化界面、改进api 32 34 3. 增加 top p top k 等参数控制 4. 多