DoRA 是一种把权重分解为幅度和方向两部分再做低秩适配的微调方法，用更少的可训练参数逼近全量微调效果，适合大模型和视觉语言模型的高效微调。
用 PPO 强化学习和 LoRA 低秩适配微调 LLaMA 模型，做 RLHF 对齐训练，显存占用低，适合在单卡上跑通大模型偏好优化流程。
…t 的 GPU 支持，提升处理效率（@Mangodadada）。 PR 9811: 添加 LoRA（低秩适配器）合并功能，扩展模型融合能力（@lugimzzz）。 工具更新与维护 PR 9885: 对 MergeKit 工具进行代码更新与维护，优化整体逻辑。 日志与调试支持 PR 9948: 添加日志记录功能，增强调试与过程追踪能力（@l