训练与微调
共 447 个仓库 · 一年内有推送
基于 Megatron 和 DeepSpeed 在 GPU 上训练大规模自回归 Transformer 的模型并行框架，用来复现和扩展 GPT-3 级别的语言模型。
面向多模态 AI 的开放湖仓数据格式，两行代码即可从 Parquet 转换，实现百倍随机访问加速、向量索引和数据版本管理，兼容 Pandas、DuckDB、PyTorch 等生态。
从网页抓取正文和元数据的 Python 库与命令行工具，支持爬取、解析并导出为 CSV、JSON、Markdown 等格式，适合构建语料库和 RAG 数据。
一站式 MLOps/LLMOps 平台，把实验跟踪、数据管理、流水线编排和模型服务整合在一起，帮团队把 AI 训练与部署流程自动化。
DeepSpeed 官方示例集，提供各类模型接入 DeepSpeed 分布式训练的现成代码，方便照着改自己的训练脚本。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。
基于 Python 的开源离线翻译库，用本地语言模型完成多语种互译，无需联网即可在自有设备上跑机器翻译。
Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。
精选 GPT、ChatGPT、PaLM 等大模型的提示工程资源合集，涵盖提示设计、少样本学习与提示生成等实践资料，方便快速查找和上手。
基于深度学习的一站式 OCR 库，把文字检测、文字识别和版面分析串成流水线，支持 PyTorch 训练与微调，适合快速搭建文档解析应用。
基于 PyTorch 的度量学习库，提供对比损失、难例挖掘、采样器和检索指标，用来训练和评估相似度搜索所需的嵌入向量。
一条命令就能搭好包含 Caffe、Keras、MXNet 等主流框架的深度学习 Docker 环境，省去逐个配置依赖的麻烦。
基于 kohya-ss 训练器的 LoRA 与 Dreambooth 微调脚本，带图形界面，让扩散模型训练不用敲命令行。
一份免费的 AI 与 LLM 学习路线合集，把从深度学习基础到 RAG、Agent、提示工程的资料串成体系，适合想系统入门或补课的人按图索骥。
把 PDF、扫描件和图片解析成带版面结构、表格和文本的富结构化数据，适合做文档入库和 RAG 前的预处理。
中文版 CLIP 预训练模型，支持中文图文跨模态检索和表征生成，可直接用于图文匹配、零样本分类等任务。
一个简洁但完整的全注意力 Transformer 实现，集成了多篇论文中值得尝试的实验性特性，方便研究者快速试验各种注意力变体。
PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。
用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。
面向 AI 与多模态负载的高性能数据引擎，用 Rust 编写，能大规模处理图像、音频、视频和结构化数据，适合搭建 ETL 与数据管道。
提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
面向 MLOps 与 LLM 工作流的可扩展平台，把数据管道、模型训练到 Agent 部署串成可复现流程，并统一追踪元数据与实验。
把超大图像切成小块做切片推理，再拼回完整结果，兼容任意检测/分割模型，还带交互式界面和误差分析图。
面向体育场景的计算机视觉工具库，提供足球等运动的检测、关键点识别与图像嵌入能力，可直接用于球员追踪和赛事数据分析。