推理与服务
共 20 个仓库 · 近 4 个月有推送 · Jupyter Notebook
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。
用 Jupyter Notebook 逐个演示 RAG 系统的进阶技巧，从嵌入、检索到重排都有可运行教程，适合动手搭建和优化检索增强生成流程。
离线语音识别 API，支持 Android、iOS、树莓派和服务器，提供 Python、Java、C#、Node 多语言绑定，适合注重隐私、不依赖云端的语音转文字场景。
Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。
预训练语音合成模型集合，支持俄语、亚美尼亚语等多种语言，几行代码就能把文本转成语音，省去自己训练模型的麻烦。
基于 OpenAI Whisper 的语音转写工具，能自动识别不同说话人并切分对话，适合会议记录、访谈整理等多人语音场景。
提供基于 GPU 加速和微服务架构的生成式 AI 参考工作流，涵盖 RAG、LLM 推理等场景，帮你在 Triton、TensorRT 等基础设施上快速搭建可落地的服务。
一套基于 LangChain 的 RAG 应用构建教程与代码集合，覆盖从基础检索增强到 Agentic RAG 的完整实现路径，帮你快速搭出带检索能力的问答机器人。
Pinecone 官方示例仓库，用 Jupyter Notebook 演示向量数据库的建库、检索和 RAG 语义搜索流程，适合快速上手实践。
Milvus 官方实战教程库，用 Jupyter Notebook 演示以图搜图、音频检索、分子搜索、视频分析和 RAG 问答等非结构化数据处理方案。
提供 Amazon Bedrock 上各类基础模型的入门示例代码，涵盖嵌入、知识库和 RAG 等场景，方便开发者快速上手生成式 AI 应用开发。
LanceDB 官方的示例与教程合集，用向量检索搭配大模型，演示多模态 RAG、Agent 和微调等场景的落地写法。
Azure AI Search 向量检索功能的官方代码示例集，涵盖嵌入生成、索引构建与查询，帮开发者快速接入向量搜索。
一套面向音频处理的深度学习实战代码集，覆盖语音识别、说话人验证、关键词唤醒、语音合成与音色转换等任务，可直接参考实现来训练和微调模型。
微软 Foundry 的示例、文档与加速器合集，用 Jupyter Notebook 演示 Azure OpenAI、ChatGPT、DALL·E、嵌入模型等服务的调用方式。
把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上，加速 CPU/GPU 推理，覆盖 LLM、语音识别、语音合成和多模态模型。
已归档的历史仓库，原用于向量检索与向量数据库的教程和工具集；团队现已转向自托管推理引擎 SIE，覆盖嵌入、重排、OCR 与文档处理。
VLM Run API 的示例与指南合集，用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务，方便快速上手多模态推理。
用 PyTorch 从零手写现代 LLM 架构、训练与推理的实战课程，配套可直接运行的 notebook，适合边跑边学大模型原理。