推理与服务

共 751 个仓库

打开分类页
busbar
GetBusbar·Rust

面向 AI Agent 的执行控制平面,统一管控模型请求、MCP 工具调用、A2A 委派和下游动作,同时保持原生 LLM 协议不变,支持多模型接入与故障切换。

AI 网关+4网关与路由
216+422v1.5.52026-11-10 17:54 UTC
atidraw
atinux·Vue

基于 Nuxt 和 Vercel AI Gateway 的在线绘图分享应用,用 Nano Banana 模型生成图像并存入 Cloudflare R2,适合快速搭建 AI 绘图展示站。

AI绘图+4网关与路由
210272025-12-19 17:11 UTC
RAG-ReActAgent
MoMoM101·Python

基于 ReAct 推理-行动循环的 RAG 问答系统,支持多跳推理,用 Weaviate 检索、重排序和 FastAPI 服务搭建智能问答后端。

检索增强生成+4向量化 / 重排服务
2081v0.2.1-beta.32026-11-08 20:18 UTC
FFMPerative
remyxai·Python

用自然语言对话就能自动生成 FFmpeg 命令完成视频剪辑、拼接和格式转换,省去手写复杂命令行的麻烦。

视频剪辑+4视频转码与编辑
207142026-06-07 22:20 UTC
isaac_ros_object_detection
NVIDIA-ISAAC-ROS·C++

面向 ROS2 机器人的 GPU 加速目标检测包,基于 TensorRT 和 Triton 推理深度学习模型,可在 Jetson 上实时运行。

目标检测+4大模型推理服务
20552v5.0-02026-09-22 03:29 UTC
spectralquant
Dynamis-Labs·Python

基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案,用于降低大模型推理时的显存占用。

KV-Cache 压缩+4量化
204242026-05-15 19:25 UTC
video_processing_service
GeekyWizKid·HTML

自动化视频处理服务,能从视频中提取音频、生成字幕并把字幕压回视频,省去手工剪辑和字幕对齐的麻烦。

视频处理+4视频转码与编辑
204342025-08-17 13:36 UTC