推理与服务

汇集大语言模型自定义训练与推理的教程、最佳实践和可直接运行的代码，基于 HuggingFace 和 Transformers，帮开发者快速上手 BERT 等模型的微调与部署。

gritlm

ContextualAI·Jupyter Notebook

把大模型同时训练成嵌入模型和生成模型，一个模型既能做文本向量化检索，又能直接生成答案，省去部署两套模型的麻烦。

用大模型对本地文档做检索问答，集成 HyDE、SPLADE、重排序和 Chroma 向量库，适合快速搭建 RAG 应用。

optimum-intel

huggingface·Jupyter Notebook

把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上，加速 CPU/GPU 推理，覆盖 LLM、语音识别、语音合成和多模态模型。

用 TensorFlow/Keras 串联从文本预处理到 BERT、GPT、LLM 下游任务的实战教程，覆盖 NER、LoRA、DPO 等，适合系统学习 NLP 建模流程。

已归档的历史仓库，原用于向量检索与向量数据库的教程和工具集；团队现已转向自托管推理引擎 SIE，覆盖嵌入、重排、OCR 与文档处理。

MindSpore 官方的大模型实战课程，带你从 BERT、GPT 一路动手实现到 ChatGLM、LLaMA2，适合系统学习大模型原理与训练推理。

封装百度千帆大模型平台能力的 SDK，提供对话、向量化、重排和微调等 LMOps 最佳实践，让开发者便捷接入文心一言等模型服务。

VLM Run API 的示例与指南合集，用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务，方便快速上手多模态推理。

modern-llm-notebook

walkinglabs·Jupyter Notebook

用 PyTorch 从零手写现代 LLM 架构、训练与推理的实战课程，配套可直接运行的 notebook，适合边跑边学大模型原理。