推理与服务
共 540 个仓库 · 近 4 个月有推送
面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
在本地对 Markdown 笔记做 Graph RAG 问答，从 wikilink 和 YAML 中抽取实体关系，结合向量、BM25 与时间混合检索，全程离线跑在 Ollama 上。
浏览器里直接跑的极简 AI 搜索平台，聚合多个搜索源并调用本地大模型做问答，无需后端服务器。
基于节点的创意编程工具，用可视化连线搭建 3D 图形、图像处理和计算机视觉流程，灵感来自 Quartz Composer，适合实时渲染与多媒体实验。
把模型打包成 OCI 镜像来分发和运行，让任意 agent 都能跑在任意模型上，省去环境配置和模型管理的麻烦。
把 Claude Code、Cursor、Cline、Aider、Codex CLI 等编码工具的请求统一到一个本地端点，按已付费的订阅席位优先路由，并记录用量账本。
用大模型自动从长视频里挑出精彩片段并剪成短视频，省去人工逐段回看的麻烦。
一个支持持续学习的自适应文本分类系统，能在数据分布变化时增量更新模型而不遗忘旧知识，适合动态场景下的分类任务。
一个 MCP 服务器，能统计各 AI 编程代理节省了多少 token、优化上下文，并在 16 种 CLI 客户端间共享本地实时知识图谱。
把 reMarkable2 电子纸平板变成视觉大模型的输入画板，手写或画图后直接发给 ChatGPT、Claude、Gemini 识别与对话。
在 RTX 5090 / RTX PRO 6000（sm_120）上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案，支持 GPU+CPU 混合推理和 2-bit 专家量化。
在写轮子前先查查有没有人做过：用向量检索和本地 LLM 在 npm、PyPI 上搜索相似包，判断你的开发点子是否已被实现。
在 NVIDIA DGX Spark 上快速启动、管理和停止 LLM 推理服务，支持 vLLM、SGLang、llama.cpp 等后端，省去手动配置环境的麻烦。
用 Go 写的嵌入式向量检索库，底层调 llama.cpp 做语义向量和相似度搜索，适合直接在 Go 服务里加语义搜索能力，不用另起向量数据库。
从零实现的大模型蒸馏与推理服务引擎，包含自定义 Triton/CUDA 算子、FSDP 蒸馏、分页 KV 连续批处理、投机解码和 Rust 网关，适合研究推理加速与可解释性。
本地 AI 网关，把各家订阅和 API 服务商统一到一个入口，靠智能路由分发请求，并在设备端做隐私保护。
给 vLLM 推理服务器套上现代化 Web 界面，方便管理和对话，兼容 GPU/CPU，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。
一款桌面端 AI 客户端，把多模型对话、RAG 检索、Skills 技能、MCP 工具调用和 Agent 编排整合到一个应用里，适合想统一管理各家 LLM 的用户。
用 GPT 嵌入和向量检索引擎处理海量公开情报数据，把零散 OSINT 信息变成可语义搜索的知识库。
已归档的历史仓库，原用于向量检索与向量数据库的教程和工具集；团队现已转向自托管推理引擎 SIE，覆盖嵌入、重排、OCR 与文档处理。
Krasis 是一个混合式 LLM 推理运行时，通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上，支持 MoE 和 GGUF 模型。
基于 LangGraph 的电商数仓智能问数 Agent，把自然语言转成 SQL 并流式展示查询结果，配套教程适合系统学习大模型应用落地。
基于 Kubernetes Operator 的大模型推理部署引擎，统一管理 GPU 调度与模型生命周期，兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。
汇总自动驾驶领域的视觉-语言-动作（VLA）模型资源，梳理其发展脉络与未来方向，方便快速了解该方向的研究与落地进展。