面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。
从公开研究文献出发,用第一性原理复现 Claude Mythos 架构的理论实现,供研究者拆解其注意力机制与模型设计思路。
用 LoRA、Adapter 等少量参数微调大模型和扩散模型,大幅降低显存与训练成本,是 Hugging Face 生态里做参数高效微调的标准库。
RF-DETR 是 Roboflow 推出的实时目标检测与实例分割模型架构,在 COCO 上达到 SOTA,适合直接微调落地。
LMDeploy 是面向大模型的高效推理与服务工具包,支持模型压缩、部署和在线服务,内置 TurboMind 推理引擎和 CUDA 算子,可加速 Llama、InternLM 等模型的推理。
RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构,支持像 GPT 一样并行训练,推理时线性时间、常量显存、无限上下文,无需 KV 缓存。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子,减少显存占用并提升微调吞吐,兼容 Llama、Mistral、Gemma、Phi 等主流模型。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
把 BERT 现代化改造:通过架构升级和规模扩展提升长文本理解与嵌入质量,适合做检索、分类和向量化任务。
Ovis 是一种多模态大语言模型架构,通过结构对齐视觉与文本嵌入,让模型能同时理解图像和文字,适合做视觉问答、图文对话等任务。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿,附全书正文、PDF 和配套计算工具,适合想搞懂 AI Infra 底层账怎么算的工程师。
收录 Agent、模型架构、训练、RAG 与端侧 AI 等方向突破性论文的精选档案库,方便快速跟进大模型前沿研究。
收录 200+ 视觉语言模型(VLM/MLLM)架构的图文目录,整理论文、结构图、训练配方、数据集和发布时间线,方便快速查阅和对比多模态模型设计。