把多个预训练大模型按不同策略合并成一个新模型的工具集,不用重新训练就能组合各家能力,适合做模型融合实验。
系统梳理大模型、多模态模型等场景下的模型合并方法、理论与应用,涵盖攻击防御、持续学习、扩散模型等方向,适合快速了解该领域全貌。
…dio track; ffmpeg is required. - 多格式模型浏览 : 同名的不同格式模型合并展示,完善格式选择、下载和已有模型的分享导出体验;转换时保留原始 PLY 文件 / Models with matching names across formats are grouped together, with impro
… with peft.py 中的一处命名错误,优化log输出( 691、 692) - 修复了低资源模型合并脚本中 vocab size 更新问题( 703) - llama.cpp已支持仿OpenAI API部署,还可以部署一个简单的web demo,感兴趣的可访问[llama.cpp server](https://github.co
…18GB,33B需要22GB(不同机器可能略有不同) - 使用方法与旧脚本一致,后续将作为主要使用的模型合并脚本 其他更新和修复 - 修复了预训练脚本中文件名的一处错误( 540),Contribution by @alkaideemo - 修复了模型保存问题,支持LoRA权重和tokenizer的保存 ( 555) - 在预训练和精调脚