推理与服务
共 751 个仓库
把 LLM 应用从原型推进到生产环境的框架，集成了 LangChain、MLflow、OpenAI 和 Vertex AI，方便管理提示词与模型部署。
把视觉能力做成 LoRA 插件直接挂到语言模型上，无需额外视觉编码器就能做多模态理解，省显存也省部署成本。
把训练好的 sklearn、XGBoost 等 ML 模型直接暴露成 LLM Agent 可调用的工具，省去自己写胶水代码，让 Agent 能调用传统模型做预测。
封装百度千帆大模型平台能力的 SDK，提供对话、向量化、重排和微调等 LMOps 最佳实践，让开发者便捷接入文心一言等模型服务。
基于 Nuxt UI 和 Vercel AI SDK 的聊天机器人模板，开箱即用，帮开发者快速搭建带流式对话的 AI 聊天界面。
轻量高效的全模态强化微调框架，支持 GRPO、DAPO 等算法，用奖励模型驱动 LLM 和多模态 VLM 训练。
BAAI 推出的无编码器视觉语言模型系列，跳过独立视觉编码器，直接用语言模型处理图像与文本，简化多模态架构并支持指令跟随。
把本地文档和音视频文件建成向量库，用自然语言提问就能检索并回答，适合搭建私有 RAG 问答。
用 LLM 自动审查 Pull Request 的代码差异，并把评审意见直接评论到 PR 上的 GitHub Action，省去人工逐行看 diff 的功夫。
把 git diff 变成带讲解的引导式浏览，用只读 TUI 像资深工程师那样逐段读懂代码改动，适合新人上手和代码评审。
一个仅 2k 行代码的轻量级 LLM 推理系统，性能对标 vLLM，专为研究和学习推理引擎内部实现而设计。
一个统一 API 网关，用一把密钥即可调用 Claude、GPT、Gemini、Grok、DeepSeek 等主流大模型，并提供无审查、去对齐变体，兼容 OpenAI 与 Anthropic 接口，按 token 计费。
自托管的 AI 网关，把私有 RAG、自然语言查数据库和工具调用智能体统一到一个入口，方便在内部环境安全接入大模型。
基于 DuckDB 的 TypeScript 数据分析库，能快速处理表格、地理空间、图网络和向量相似度检索，还支持 AI 与 Google Sheets 集成。
自托管的 CLIProxyAPI 控制台，统一管理 AI 供应商与客户端密钥，并实时观测流式调用遥测和模型成本快照。
给 Claude Code 加钩子的本地代理，能拦截并改写请求与响应，支持自定义模型名和按逻辑智能路由模型。
用消费级硬件在本地搭建并运行大语言模型和聊天机器人，支持 llama-cpp-python、vLLM 和 RAG 检索增强。
纯 Rust 实现的大模型推理引擎，不依赖 PyTorch 和 Python 运行时，主打极快推理速度，适合部署 Qwen 等模型和构建 Agent 服务。
用 Go 写的 LLM 隐私网关，在请求进出模型前以毫秒级延迟自动识别并脱敏 PII 和密钥，防止敏感数据泄露给大模型。
轻量级 LLM 基础设施代理和负载均衡器，能在本地与远程推理后端之间做智能路由、自动故障转移和统一模型发现。
开源语音识别模型 Phonon-2 和 Phonon-1，提供命令行工具以及 CPU、CUDA 镜像，支持低比特量化和 MLX 加速，方便本地部署语音转文字。
跨平台桌面 AI 助手，可接入本地大模型（Ollama、llama、Qwen）或 OpenAI 接口，支持函数调用和记忆系统，让个人电脑上跑起能干活的智能助理。
在终端里跑自主 AI 代理做渗透测试和攻击性安全评估，省去手动串联工具，适合红队快速验证目标。
统一的多模型 LLM 网关，把 Claude、Gemini、DeepSeek 等上游统一接入，提供权重负载均衡、可观测性和调用费用追踪，适合多模型混用场景。