推理与服务

airllm

lyogavin·Jupyter Notebook

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

self-llm

datawhalechina·Jupyter Notebook

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

RAG_Techniques

NirDiamant·Jupyter Notebook

用 Jupyter Notebook 逐个演示 RAG 系统的进阶技巧，从嵌入、检索到重排都有可运行教程，适合动手搭建和优化检索增强生成流程。

离线语音识别 API，支持 Android、iOS、树莓派和服务器，提供 Python、Java、C#、Node 多语言绑定，适合注重隐私、不依赖云端的语音转文字场景。

Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。