推理与服务
共 679 个仓库 · 一年内有推送
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
开源语音识别工具包，覆盖训练、推理、流式 ASR、VAD、标点恢复和说话人分离全流程，并提供 OpenAI 兼容与 MCP 服务接口。
基于大模型和 Agent 的数据库智能助手，用自然语言直接查询和分析数据库，支持 RAG 与私有化部署，方便搭建 AI+Data 应用。
把视频从一种语言翻译成另一种语言，自动生成配音和字幕并嵌入视频，适合做视频本地化和跨语言内容分发。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
面向语音 AI 的可扩展生成式框架，覆盖语音识别、语音合成、说话人分离与语音翻译，方便研究和开发人员训练部署语音模型。
把任意 LLM（Claude、Gemini、Grok、DeepSeek、Ollama 等）统一代理给 Codex CLI、App、SDK 和 Claude Code 使用，省去为每个模型单独适配的麻烦。
面向企业私有化部署的 AI 平台，可搭建智能体、助手和文档检索问答，支持多模型接入、深度研究与 API 连接。
开源的个人 AI 助手，可本地离线运行，通过语音或文字对话帮你处理日程、查询信息、执行自动化任务。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
云原生 API 网关，基于 LuaJIT 提供高性能路由、负载均衡和 Kubernetes Ingress，并支持 AI 网关场景，适合统一管理微服务与 AI 流量。
在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。
给 ChatGPT 及 Llama、Claude、Gemini 等大模型套上清爽的网页界面，支持智能体、文件问答、联网搜索和模型微调，开箱即用。
离线语音识别 API，支持 Android、iOS、树莓派和服务器，提供 Python、Java、C#、Node 多语言绑定，适合注重隐私、不依赖云端的语音转文字场景。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。
开源的身份与访问管理（IAM）系统，带 Web 界面，支持 OAuth、OIDC、SAML、LDAP 等协议，同时可作为 LLM MCP 与 Agent 网关统一管理认证授权。
给 AI Agent 提供可移植的长期记忆层，本地优先、Markdown 原生、用户自持，跨应用和工具持续演化。
在个人设备上本地跑 RAG 的向量索引库，用图结构剪枝把索引体积压掉 97%，兼顾检索速度和准确率，数据不出本机。
提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。