推理与服务
共 751 个仓库
Java 免费离线 AI 算法工具箱，Maven 引入即可用人脸识别、活体检测、OCR、目标检测、语音识别合成和机器翻译，内置 YOLO、PaddleOCR、Whisper 等主流模型。
一套基于 Jupyter Notebook 的大模型实战教程和示例脚本，覆盖 LangChain、OpenAI、LlamaIndex、ChromaDB、Pinecone 等主流工具，帮你快速上手 LLM 应用开发。
基于 FastAPI 的 RAG 服务，用 LangChain 对接 PostgreSQL 和 pgvector，按 ID 管理知识库，方便快速搭建检索增强生成后端。
基于 Tauri 和 Rust 的轻量级跨平台 AI 桌面客户端，集对话、Agent 与 AI 网关于一体，统一接入和管理多个模型服务。
微软出品的 5 周 RAG 学习路线，用 Jupyter Notebook 带你从索引、混合检索到量化压缩，系统掌握检索增强生成。
爬取网页或读取 PDF、DOCX、TXT 并抽取正文，再用向量检索让 ChatGPT 基于内容回答问题或生成摘要。
Telegram 机器人，能把群聊和私聊里的语音消息自动转成文字，省去手动听写，适合会议记录和消息归档。
基于微调 Whisper 模型提供语音转文字 API，支持用户级权限控制，方便把 ASR 能力接入自己的应用。
面向语音识别任务的基础模型，支持自监督预训练，可完成语音转写与情感识别，适合搭建俄语等多场景语音推理服务。
Azure AI Search 向量检索功能的官方代码示例集，涵盖嵌入生成、索引构建与查询，帮开发者快速接入向量搜索。
面向 Llama 及其变体的大模型推理加速引擎，用 CUDA 和 C++ 做底层优化，主打高吞吐低延迟的模型服务部署。
Kubernetes 上的 LeaderWorkerSet API，用来编排多机多卡的分布式推理工作负载，把大模型服务拆成 leader 和 worker 组统一调度。
高性能机器学习模型服务框架，支持动态批处理和 CPU/GPU 流水线，把单机算力充分利用起来，适合部署 CV、LLM 等模型。
面向流式和端侧场景优化的 Whisper 语音识别模型，支持 Apple Silicon、CoreML、MLX 和 NVIDIA GPU，可做实时转写与翻译。
自托管的开源 AI 网关，把 40 多家模型提供商统一到一个接口，并自带虚拟密钥、预算控制和用量统计，省去多平台对接与成本管理麻烦。
一份系统梳理大模型推理的学习笔记，涵盖 Transformer 结构、KV Cache、CUDA 与 Triton 算子编程，以及 vLLM 等框架的源码分析。
在自己电脑上离线运行的语音对话大模型，集语音识别、大模型推理和语音合成于一体，无需联网即可与 AI 对话。
抓取系统音频和麦克风，用 Whisper/SenseVoice 做语音识别，再通过 LLM API 流式翻译并实时显示字幕，适合主播、VTuber 和看外语视频时用。
基于 GPU 的向量检索与聚类库，为近似最近邻搜索和相似度计算提供 CUDA 加速，适合大规模向量数据和 LLM 检索场景。
C# 编写的 Twitch 客户端库，封装聊天、私信、API 和 PubSub，方便开发者快速接入 Twitch 直播互动与频道管理功能。
We've moved to SGLang Omni Voxt: https://github.com/sgl-project/sglang-omni/tree/main/Voxt
本地离线运行的便携式 OCR 软件，用 DeepSeek-OCR-2 模型直接在你自己机器上识别图片和 PDF，适合不想把文档传到云端的场景。
批量给本地视频生成字幕，还能把字幕翻译成其他语言，Windows 和 Mac 都能用，基于 whisper 做语音识别。
基于并行图计算的高性能向量数据库，用于存储和检索 embedding 向量，支撑语义搜索与 LLM 应用。