推理与服务
共 751 个仓库
用大语言模型抓取、聚合、过滤并重写 RSS 订阅源，再对外提供内容服务，适合做新闻聚合与内容改写实验。
给 Grok2API 和 CPA 的出站链路加质量守卫，通过代理恢复、隔离、迁移和运维界面，解决代理不稳定导致的请求失败问题。
在本地设备上跑大语言模型的推理引擎，靠 X-Bit 量化把模型压小，让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。
在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案，靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s，显存吃紧的单机也能跑大模型。
自托管的 OpenAI 兼容 LLM 网关，统一接入多家模型供应商，支持故障转移、密钥轮换和内置管理后台，帮团队稳定调度模型请求。
在 Kubernetes 上部署大模型推理的简易平台，支持 vLLM、SGLang、llama.cpp 等多种后端，帮你在集群里轻松跑起推理服务。
VLM Run API 的示例与指南合集，用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务，方便快速上手多模态推理。
用 FP8/INT8 低精度做强化学习训练的 rollout 推理，在 vLLM 上跑出更快采样速度且不掉点，适合想压低 RL 训练推理成本的大模型团队。
在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。
管理 LLM Agent 技能全生命周期的治理工具，覆盖技能收集、推荐到演化，帮团队把 Agent 技能库管得更有条理。
一行代码把任意模型部署成兼容 OpenAI/Anthropic/Ollama 的 API，自带聊天界面和原生 MCP 支持，省去自建推理服务的胶水代码。
面向微服务架构的 API 网关，提供 API 密钥认证、代理转发、流量监控与安全管理，适合云原生环境下的统一 API 治理。
让 PC 开机直接进入大模型运行环境，基于 Rust 的 UEFI 常驻方案，底层不需要操作系统，省去启动系统开销。
把前沿 Transformer 模型接入机器人技术栈的 Python 库，支持多模态与扩散模型，帮具身智能开发者快速搭建可感知、可决策的智能体。
本地部署的多模态 RAG 工具，能对各类技术文档做检索和问答交互，文档不出本机。
RaBitQ 官方向量量化与近似最近邻检索库，提供 C++ 和 Python 接口，用 SIMD 加速高维向量的相似度搜索。
面向智能体应用的一站式后端底座，把 AI 网关、数据建模和 CRUD API 串起来，省去自己拼装 LLM 路由与可观测性。
用 Go 写的轻量级 GPU 资源管理器，控制哪些应用能占用 GPU、何时占用以及如何交接，适合本地跑多个 LLM 推理服务时排队调度。
面向 NVIDIA GPU 的深度学习推理调优工具包，帮助把训练好的模型调优并部署到 TensorRT、ONNX Runtime 等推理后端上跑得更快。
全自动纯协议批量注册 ChatGPT 与 Grok 账号，支持 OAuth、邮箱接码、账号池和代理轮换，并对外提供 OpenAI/Anthropic 兼容 API 网关。
Go 编写的高性能 AI 网关，统一接入 30+ 家 LLM 服务商，内置缓存、护栏、A/B 测试和成本控制，可替代 LiteLLM 与 Kong AI Gateway。
自动化调整大模型对齐行为的工具，支持直接干预、LoRA 和 MoE 专家级消融，并用 Optuna 多目标搜索调参。
面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。
用 PyTorch 从零手写现代 LLM 架构、训练与推理的实战课程，配套可直接运行的 notebook，适合边跑边学大模型原理。