把预训练句向量模型蒸馏成轻量静态词向量,推理速度极快、无需 GPU,适合大规模文本向量化和检索场景。
统一视频生成推理与后训练框架,支持扩散模型加速、蒸馏和微调,帮你在有限算力下更快跑出视频。
Kandinsky 5.0 是一套文生视频与文生图的扩散模型家族,支持视频和图像生成,并带有蒸馏加速能力。
NVIDIA 开源的扩散模型加速生成方案,用一致性模型、分布匹配蒸馏和流映射等蒸馏技术,把扩散模型的多步采样压缩到极少步数,显著提升出图速度。
把自回归扩散模型蒸馏成少步采样,实现高质量实时交互式视频生成,解决扩散模型推理慢、难以实时出片的问题。
从零实现的大模型蒸馏与推理服务引擎,包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关,适合研究推理加速与可解释性。
用 LoRA/QLoRA 微调大模型,并借助思维链数据生成与蒸馏提升推理准确率,适合低成本定制模型。
《大型语言模型快速入门指南》配套代码仓库,用 Jupyter Notebook 演示 LLM 使用、提示工程、智能体、模型蒸馏等实操,适合上手大模型开发。
…afety-eval 、 opencompass 、 yolo26 。 - 大模型评估支持在线服务;模型蒸馏与数据蒸馏优化。 7. 平台与通用界面 - 通用增删改查界面:支持 page 模式新增 / 修改、子参数、"打开目录"参数类型、编辑字段自动进详情列、搜索框宽度修正。 - 模型支持 上线 / 下线 ( model.model sta
…架 - 丰富模型量化支持“gptq","awq","gguf","hf quantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 - 优化opencompass任务模板 - 优化llm评估 2. 任务模板与Pipeline - 修复union-join-data 任务模板 - 修复mp
…架 - 丰富模型量化支持“gptq","awq","gguf","hf quantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 - 优化opencompass任务模板 - 优化llm评估 2. 任务模板与Pipeline - 修复union-join-data 任务模板 - 修复mp
…COSR - 新增实例分割算法QueryInst - 新增3D关键点检测算法Metro3d - 新增模型蒸馏算法FGD,LD,CWD,新增PP-YOLOE+模型蒸馏,精度提升1.1 mAP - 新增半监督检测算法 DenseTeacher,并适配PP-YOLOE+ - 新增少样本迁移学习方案,包含Co-tuning,Contrastive