推理与服务
751 个仓库把模型跑起来：吞吐、延迟、显存、批量调度与 API 服务化。
汇总可私有化部署的中文大语言模型资源清单，覆盖小规模底座模型、垂直领域微调、数据集与教程，方便低成本选型落地。
基于 OpenAI Whisper 的离线音频转写与翻译工具，在本机就能把语音转成文字并翻译，不用联网也不上传数据。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
开源语音识别工具包，覆盖训练、推理、流式 ASR、VAD、标点恢复和说话人分离全流程，并提供 OpenAI 兼容与 MCP 服务接口。
基于大模型和 Agent 的数据库智能助手，用自然语言直接查询和分析数据库，支持 RAG 与私有化部署，方便搭建 AI+Data 应用。
把视频从一种语言翻译成另一种语言，自动生成配音和字幕并嵌入视频，适合做视频本地化和跨语言内容分发。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
面向语音 AI 的可扩展生成式框架，覆盖语音识别、语音合成、说话人分离与语音翻译，方便研究和开发人员训练部署语音模型。
面向企业私有化部署的 AI 平台，可搭建智能体、助手和文档检索问答，支持多模型接入、深度研究与 API 连接。
把任意 LLM（Claude、Gemini、Grok、DeepSeek、Ollama 等）统一代理给 Codex CLI、App、SDK 和 Claude Code 使用，省去为每个模型单独适配的麻烦。
开源的个人 AI 助手，可本地离线运行，通过语音或文字对话帮你处理日程、查询信息、执行自动化任务。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
云原生 API 网关，基于 LuaJIT 提供高性能路由、负载均衡和 Kubernetes Ingress，并支持 AI 网关场景，适合统一管理微服务与 AI 流量。
在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。
Kaldi 是经典的语音识别工具库，提供声学建模、解码和说话人识别等完整流程，适合搭建语音转文字与说话人验证系统。
给 ChatGPT 及 Llama、Claude、Gemini 等大模型套上清爽的网页界面，支持智能体、文件问答、联网搜索和模型微调，开箱即用。
离线语音识别 API，支持 Android、iOS、树莓派和服务器，提供 Python、Java、C#、Node 多语言绑定，适合注重隐私、不依赖云端的语音转文字场景。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
开源的身份与访问管理（IAM）系统，带 Web 界面，支持 OAuth、OIDC、SAML、LDAP 等协议，同时可作为 LLM MCP 与 Agent 网关统一管理认证授权。