推理与服务
共 679 个仓库 · 一年内有推送
HQQ 是一种无需校准数据的大模型量化方法，官方实现支持几行代码把 LLM 压到低比特，省显存还能保持精度。
用自托管 Whisper 配合 WebSocket 做近实时语音转写，Python 后端加 JS 前端，适合自己搭一套低延迟的语音识别服务。
把 OpenVINO 优化过的模型部署成可扩展推理服务的服务器，支持云端和边缘、Kubernetes 与 DAG 流水线，方便生产环境上线模型。
基于 Whisper 模型的 .NET 语音识别库，跨平台支持语音转文字与翻译，还内置 VAD 语音活动检测，方便在 C# 项目里直接接入。
开箱即用的自托管离线转录与说话人分离服务，集成 WhisperX 和本地 LLM 自动生成会议摘要，数据不出内网。
纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。
原生 macOS 上的全能 AI 聊天客户端，一个界面就能接入 ChatGPT、Claude、Gemini、DeepSeek 等各家大模型服务，省去在多个网页和工具间来回切换。
Java 免费离线 AI 算法工具箱，Maven 引入即可用人脸识别、活体检测、OCR、目标检测、语音识别合成和机器翻译，内置 YOLO、PaddleOCR、Whisper 等主流模型。
一套基于 Jupyter Notebook 的大模型实战教程和示例脚本，覆盖 LangChain、OpenAI、LlamaIndex、ChromaDB、Pinecone 等主流工具，帮你快速上手 LLM 应用开发。
基于 FastAPI 的 RAG 服务，用 LangChain 对接 PostgreSQL 和 pgvector，按 ID 管理知识库，方便快速搭建检索增强生成后端。
基于 Tauri 和 Rust 的轻量级跨平台 AI 桌面客户端，集对话、Agent 与 AI 网关于一体，统一接入和管理多个模型服务。
爬取网页或读取 PDF、DOCX、TXT 并抽取正文，再用向量检索让 ChatGPT 基于内容回答问题或生成摘要。
Telegram 机器人，能把群聊和私聊里的语音消息自动转成文字，省去手动听写，适合会议记录和消息归档。
基于微调 Whisper 模型提供语音转文字 API，支持用户级权限控制，方便把 ASR 能力接入自己的应用。
面向语音识别任务的基础模型，支持自监督预训练，可完成语音转写与情感识别，适合搭建俄语等多场景语音推理服务。
Azure AI Search 向量检索功能的官方代码示例集，涵盖嵌入生成、索引构建与查询，帮开发者快速接入向量搜索。
自托管的开源 AI 网关，把 40 多家模型提供商统一到一个接口，并自带虚拟密钥、预算控制和用量统计，省去多平台对接与成本管理麻烦。
Kubernetes 上的 LeaderWorkerSet API，用来编排多机多卡的分布式推理工作负载，把大模型服务拆成 leader 和 worker 组统一调度。
面向 Llama 及其变体的大模型推理加速引擎，用 CUDA 和 C++ 做底层优化，主打高吞吐低延迟的模型服务部署。
高性能机器学习模型服务框架，支持动态批处理和 CPU/GPU 流水线，把单机算力充分利用起来，适合部署 CV、LLM 等模型。
面向流式和端侧场景优化的 Whisper 语音识别模型，支持 Apple Silicon、CoreML、MLX 和 NVIDIA GPU，可做实时转写与翻译。
一份系统梳理大模型推理的学习笔记，涵盖 Transformer 结构、KV Cache、CUDA 与 Triton 算子编程，以及 vLLM 等框架的源码分析。
在自己电脑上离线运行的语音对话大模型，集语音识别、大模型推理和语音合成于一体，无需联网即可与 AI 对话。
抓取系统音频和麦克风，用 Whisper/SenseVoice 做语音识别，再通过 LLM API 流式翻译并实时显示字幕，适合主播、VTuber 和看外语视频时用。