系统讲解大模型推理与部署的理论与实践,涵盖量化、LoRA、剪枝、知识蒸馏等模型压缩与优化技术,适合想上手 LLM 部署的开发者学习。
用 0.1% 的数据通过剪枝和知识蒸馏把 Segment Anything 模型压缩成轻量版,大幅降低显存和计算开销,同时保持分割精度。
一套面向大语言模型的实战课程 Notebook,覆盖 Hugging Face、LangChain、PEFT 微调、模型剪枝和向量数据库等,帮你从零动手跑通 LLM 应用与优化流程。
面向零基础读者的模型压缩教程,系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。
…的帮助文档”高频)。 - 新增/升级模板: sklearn 、 llamafactory ,并支持大模型剪枝及 ChatGLM/Qwen 微调模板。 - 超参搜索(尤其 Ray)在 3 月集中优化。 - 增加 max exec duration 、调度优先级、任务运行跳转体验等。 4) 基础设施与版本升级 - Kubernetes 默认/
…的帮助文档”高频)。 - 新增/升级模板: sklearn 、 llamafactory ,并支持大模型剪枝及 ChatGLM/Qwen 微调模板。 - 超参搜索(尤其 Ray)在 3 月集中优化。 - 增加 max exec duration 、调度优先级、任务运行跳转体验等。 4) 基础设施与版本升级 - Kubernetes 默认/