推理与服务
共 751 个仓库
一个 MCP 服务器，能统计各 AI 编程代理节省了多少 token、优化上下文，并在 16 种 CLI 客户端间共享本地实时知识图谱。
AnglE 是一个训练和推理句向量模型的 Python 库，在 STS 和 MTEB 榜单上达到 SOTA，适合做语义相似度、稠密检索和 RAG 场景的向量化。
面向视频场景的空间超级感知多模态大模型，专注提升视觉语言模型对视频中空间关系的理解与推理能力。
把 reMarkable2 电子纸平板变成视觉大模型的输入画板，手写或画图后直接发给 ChatGPT、Claude、Gemini 识别与对话。
在 RTX 5090 / RTX PRO 6000（sm_120）上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案，支持 GPU+CPU 混合推理和 2-bit 专家量化。
面向机器人操作任务的统一大脑模型，把抽象指令逐步落到具体动作，配套官方推理代码，可直接用于具身智能研究。
在写轮子前先查查有没有人做过：用向量检索和本地 LLM 在 npm、PyPI 上搜索相似包，判断你的开发点子是否已被实现。
在 NVIDIA DGX Spark 上快速启动、管理和停止 LLM 推理服务，支持 vLLM、SGLang、llama.cpp 等后端，省去手动配置环境的麻烦。
纯 CUDA 手写的 Qwen3-0.6B 单批次静态推理引擎，不依赖第三方库，适合学习 LLM 推理底层实现或在 GPU 上跑小模型。
用 Go 写的嵌入式向量检索库，底层调 llama.cpp 做语义向量和相似度搜索，适合直接在 Go 服务里加语义搜索能力，不用另起向量数据库。
从零实现的大模型蒸馏与推理服务引擎，包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关，适合研究推理加速与可解释性。
把主流大模型 API 和开源模型统一到一个 WebUI 里，覆盖知识库、数据库、角色扮演、文生图、LoRA 微调、数据集制作等全流程工具。
本地 AI 网关，把各家订阅和 API 服务商统一到一个入口，靠智能路由分发请求，并在设备端做隐私保护。
给 vLLM 推理服务器套上现代化 Web 界面，方便管理和对话，兼容 GPU/CPU，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。
一款桌面端 AI 客户端，把多模型对话、RAG 检索、Skills 技能、MCP 工具调用和 Agent 编排整合到一个应用里，适合想统一管理各家 LLM 的用户。
在浏览器里交互式探索和解读大规模嵌入向量，用可视化方式直观理解高维数据的分布与结构。
用 GPT 嵌入和向量检索引擎处理海量公开情报数据，把零散 OSINT 信息变成可语义搜索的知识库。
用 Rust 实现的高性能 GraphRAG 引擎，从文档中抽取实体构建知识图谱，支持可配置实体抽取和本地 LLM 接入，实现自然语言问答。
面向大语言模型的低延迟、高吞吐推理服务引擎，基于 PyTorch 和 Transformer 架构，适合部署 Llama 等模型对外提供在线推理服务。
已归档的历史仓库，原用于向量检索与向量数据库的教程和工具集；团队现已转向自托管推理引擎 SIE，覆盖嵌入、重排、OCR 与文档处理。
Krasis 是一个混合式 LLM 推理运行时，通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上，支持 MoE 和 GGUF 模型。
基于 LangGraph 的电商数仓智能问数 Agent，把自然语言转成 SQL 并流式展示查询结果，配套教程适合系统学习大模型应用落地。
基于 Kubernetes Operator 的大模型推理部署引擎，统一管理 GPU 调度与模型生命周期，兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。
收录 CUDA、cuBLAS、CUTLASS、TensorRT-LLM、Triton、TVM、MLIR 等 GPU 加速与高性能计算开源项目的精选清单，方便按方向找底层算子、编译器和推理框架。