在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
用 ChatGPT 同款流程训练医疗大模型,覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路,开箱即可复现。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
把多个预训练大模型按不同策略合并成一个新模型的工具集,不用重新训练就能组合各家能力,适合做模型融合实验。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引,面向 RAG 和嵌入检索场景,提供高压缩比、低内存的近似最近邻搜索。
从多张照片重建三维场景的 C++ 工具,集成了运动恢复结构(SfM)和多视图立体(MVS),可输出相机位姿与稠密点云。