推理与服务
共 540 个仓库 · 近 4 个月有推送
面向 Agent 系统的模型路由网关，50ms 内把每个请求分派到最合适的模型，只改一个 endpoint 就能省下 40-70% 成本。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
Obsidian 插件，写作时自动找出相关笔记和摘录，用本地嵌入模型做语义搜索，无需 API key 即可零配置使用。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
面向生产环境的端到端语音识别工具包，基于 PyTorch 提供 Conformer、Transformer 等模型，可直接训练和部署 ASR 服务。
用 ML、LLM 和视觉大模型从文档、表单、发票等非结构化数据里抽取结构化字段，并支持指令调用和智能体工作流。
面向 AI 工程师和领域专家的数据标注协作平台，支持主动学习和人机协同，帮助团队高效构建高质量训练数据集。
给 OpenOPC 的智能体 DAG 运行时加一层零改造的人在回路适配器，让外部智能体执行流程中能插入人工审核与干预。
面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。
基于身份和上下文的零信任访问代理，用统一身份认证替代传统 VPN，按用户身份和设备状态动态控制内网应用访问。
云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。
一份持续更新的精选清单，收录真正开源的 AI 项目、模型、工具和基础设施，帮你在海量仓库里快速找到可用的开源方案。
一个支持 HTTP/1.1、HTTP/2、gRPC、WebSocket、TCP 的 mock 服务器和代理，能模拟 API、检查修改实时流量并注入故障，适合联调和混沌测试。
统一接入 MCP、A2A 和 REST/gRPC 的 AI 网关与注册中心，集中做服务发现、鉴权和调用管控，优化 Agent 与工具调用。
面向 LLM 应用的 AI 原生数据库，把稠密向量、稀疏向量、多向量张量和全文检索融合在一起做混合搜索，速度极快。
面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。
用 Rust 写的高性能向量图神经网络数据库，把向量检索、GNN 推理和智能体记忆放在一起，主打实时决策和低延迟自学习。
面向语言学习者的视频播放器，支持双语字幕、Whisper 语音识别自动生成字幕、OCR 识别画面文字，并接入大模型做实时翻译。
把 Unity 引擎接入 AI 编程助手，通过 MCP 工具和 CLI 让 Claude、Copilot、Cursor 等直接调用 C# 方法，实现 AI 驱动的开发与测试闭环。
强类型逻辑数据库，用类型系统和推理规则对知识建模，适合构建需要复杂关系推理的知识图谱与知识库系统。
基于 AntV 的 MCP 可视化服务，提供 25+ 种图表生成能力，让大模型在数据分析场景中直接产出图表。
轻量级离线语音识别引擎，用 C 写成、体积小、资源占用低，适合在嵌入式设备和移动端做实时语音转文字。
一个面向 LLM 的推理优化代理，通过 API 网关接入，自动套用思维链等推理策略来提升模型回答质量并降低调用成本。
基于 Python 和 FastAPI 的多协议代理管理面板，支持 VLESS 等协议，可一键部署到 Railway，用来统一管理和分发代理节点。