推理与服务
共 540 个仓库 · 近 4 个月有推送
在 DGX Spark 上跑 Qwen3.5-122B-A10B 的 INT4 量化推理方案，靠 AutoRound 加 MTP 把吞吐从 28.3 提到 51 tok/s，显存吃紧的单机也能跑大模型。
在 Kubernetes 上部署大模型推理的简易平台，支持 vLLM、SGLang、llama.cpp 等多种后端，帮你在集群里轻松跑起推理服务。
VLM Run API 的示例与指南合集，用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务，方便快速上手多模态推理。
在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。
管理 LLM Agent 技能全生命周期的治理工具，覆盖技能收集、推荐到演化，帮团队把 Agent 技能库管得更有条理。
一行代码把任意模型部署成兼容 OpenAI/Anthropic/Ollama 的 API，自带聊天界面和原生 MCP 支持，省去自建推理服务的胶水代码。
面向微服务架构的 API 网关，提供 API 密钥认证、代理转发、流量监控与安全管理，适合云原生环境下的统一 API 治理。
让 PC 开机直接进入大模型运行环境，基于 Rust 的 UEFI 常驻方案，底层不需要操作系统，省去启动系统开销。
本地部署的多模态 RAG 工具，能对各类技术文档做检索和问答交互，文档不出本机。
RaBitQ 官方向量量化与近似最近邻检索库，提供 C++ 和 Python 接口，用 SIMD 加速高维向量的相似度搜索。
用 Go 写的轻量级 GPU 资源管理器，控制哪些应用能占用 GPU、何时占用以及如何交接，适合本地跑多个 LLM 推理服务时排队调度。
面向智能体应用的一站式后端底座，把 AI 网关、数据建模和 CRUD API 串起来，省去自己拼装 LLM 路由与可观测性。
面向 NVIDIA GPU 的深度学习推理调优工具包，帮助把训练好的模型调优并部署到 TensorRT、ONNX Runtime 等推理后端上跑得更快。
全自动纯协议批量注册 ChatGPT 与 Grok 账号，支持 OAuth、邮箱接码、账号池和代理轮换，并对外提供 OpenAI/Anthropic 兼容 API 网关。
Go 编写的高性能 AI 网关，统一接入 30+ 家 LLM 服务商，内置缓存、护栏、A/B 测试和成本控制，可替代 LiteLLM 与 Kong AI Gateway。
自动化调整大模型对齐行为的工具，支持直接干预、LoRA 和 MoE 专家级消融，并用 Optuna 多目标搜索调参。
面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。
用 PyTorch 从零手写现代 LLM 架构、训练与推理的实战课程，配套可直接运行的 notebook，适合边跑边学大模型原理。
扫描版 PDF 缺少书签时，用视觉语言模型识别目录页，自动生成可跳转书签，省去手动逐条添加的麻烦。
基于 Cloudflare Workers 的一站式云端资源分发平台，把二级域名、域名邮箱、R2 直链网盘、个人名片和 AI API 中转站打包在一起，纯静态前端加 Serverless 后端即可自建。
基于 PyTorch 的投机解码模型训练库，支持 EAGLE3、FSDP 等方案，帮你在 vLLM 等推理服务里加速大模型生成。
统一调用 170+ 家 LLM 提供商的单一 API 客户端，Rust 内核并提供各主流语言原生绑定，省去为每家模型单独对接的麻烦。
CacheRoute 是一套 LLM 调度方案，让不同 LLM 系统之间灵活复用 KV cache，从而提升任务表现和整体推理效率。
检测 OpenAI Codex 模型是否被悄悄降级（缩水）的工具，通过对比输出质量判断服务是否变差。