剪枝与蒸馏
稀疏化、剪枝与小模型蒸馏。
用 PyTorch 逐行复现 60 多篇深度学习经典论文，代码旁配注释讲解，涵盖 Transformer、优化器、GAN、强化学习等，适合边读论文边对照实现学习。
无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。
汇总知识蒸馏领域的论文、代码与资源清单，方便快速查找教师-学生模型压缩和知识迁移的相关工作。
面向任意结构剪枝的通用框架，支持 LLM、视觉基础模型和 Transformer 等，用依赖图自动处理层间耦合，省去手工设计剪枝策略。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。
一套面向大语言模型的实战课程 Notebook，覆盖 Hugging Face、LangChain、PEFT 微调、模型剪枝和向量数据库等，帮你从零动手跑通 LLM 应用与优化流程。
一站式视觉模型训练工具，支持 YOLO、ViT、RT-DETR、DINOv3 等模型的预训练、微调与知识蒸馏，省去自己搭训练流程的麻烦。
飞桨生态下的模型压缩与架构搜索库，提供剪枝、量化、蒸馏和 NAS 等能力，帮你在部署前把深度模型压小提速。
一个高效易用的深度学习模型压缩框架，支持剪枝、训练后量化和量化感知训练，能把 PyTorch 模型转换部署到端侧。
Kandinsky 5.0 是一套文生视频与文生图的扩散模型家族，支持视频和图像生成，并带有蒸馏加速能力。
微软开源的神经架构搜索（NAS）研究框架，提供快速、可复现、模块化的实验流程，帮你在 PyTorch 上跑 DARTS、Petridish 等 NAS 算法并做超参优化与模型压缩。
收录 Agent、模型架构、训练、RAG 与端侧 AI 等方向突破性论文的精选档案库，方便快速跟进大模型前沿研究。
汇总深度神经网络压缩与加速方向的论文清单，方便按主题查找剪枝、量化等模型轻量化研究。
《大型语言模型快速入门指南》配套代码仓库，用 Jupyter Notebook 演示 LLM 使用、提示工程、智能体、模型蒸馏等实操，适合上手大模型开发。
面向零基础读者的模型压缩教程，系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。
Neural network model repository for highly sparse and sparse-quantized models with matching sparsification recipes
用 0.1% 的数据通过剪枝和知识蒸馏把 Segment Anything 模型压缩成轻量版，大幅降低显存和计算开销，同时保持分割精度。
面向 Apple Silicon 的本地大模型推理与微调框架，用 Rust 实现，支持 LoRA/QLoRA 微调、量化、模型服务和 MLX/Metal 加速。
基于截断 SVD 的大模型压缩方法，通过奇异值分解降低 LLM 参数量与显存占用，同时尽量保住生成质量，已中稿 ICLR 2025。
在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。
一份边缘机器学习资源清单，汇总了研究论文、推理引擎、竞赛、书籍和线下活动，方便快速找到在嵌入式与移动端部署模型的相关资料。
把多智能体协作中积累的能力蒸馏进单个 LLM Agent，让一个模型就能跑出多智能体系统的效果，省去多路调用的开销。
基于 FastAI 和 PyTorch 的模型压缩工具，提供剪枝、蒸馏和量化，帮你在边缘设备上跑更小更快的神经网络。
用 LoRA/QLoRA 微调大模型，并借助思维链数据生成与蒸馏提升推理准确率，适合低成本定制模型。
汇总 token 级模型压缩相关论文与资源，涵盖 token 剪枝、合并等加速方法，方便快速查找视觉与深度学习模型压缩方向的研究资料。