推理与服务
共 540 个仓库 · 近 4 个月有推送
Go 语言的可嵌入向量数据库，接口类似 Chroma，零第三方依赖，内存存储并可选持久化，方便在 Go 应用里直接做向量检索和 RAG。
把文本生成 CAD 模型拆成多个智能体协作完成，通过约束式测试时计算提升生成质量，适合机械设计与 3D 打印场景。
面向智能体和 LLM 应用的编排框架，把 RAG、工具调用和多步推理流程串起来，方便搭建和运维生成式 AI 应用。
用 AI 给视频素材做转录、内容理解和全文检索的剪辑辅助工具，可接入 ChatGPT 等模型，并与 DaVinci Resolve 集成。
在 Node.js/TypeScript 里通过 ONNX Runtime 本地跑 Laya 这个兼容 Jev 的开源 System-1 决策模型，做分类和推理，不用依赖云端。
一份 10 周、每天 30 分钟的 LLM 推理服务与优化学习路线，覆盖 vLLM、SGLang、量化、投机解码和基准测试，帮工程师系统入门推理加速。
基于 FastAPI 的语义文本搜索服务，用预计算嵌入和高级相似度算法快速检索，并通过 textract 支持多种文件格式。
自托管的 AI 网关，把 OpenAI、Claude、Gemini、Codex 等编码 CLI 统一到一个兼容端点，并提供多租户控制台、请求日志和费用配额管理。
提供 CUDA 加速的机器学习与信息检索基础算法和原语，方便快速搭建高性能应用，涵盖最近邻搜索、聚类、线性代数等常用模块。
Rust 编写的本地向量嵌入与重排库，无需调用外部 API 即可在本地生成文本向量并做检索结果重排，适合搭建 RAG 和向量检索。
基于 Python 的桌面语音助手，把语音识别和语音合成串起来，让你用说话的方式执行系统级命令、异步处理交互。
统一多模态模型的强化学习训练框架，打通 SGLang、vLLM 推理后端，方便把多模态大模型跑通 RL 训练流程。
企业级 AI 资源纳管平台，用统一网关接入 OpenAI、Claude、DeepSeek 等主流模型，做 Token 调度、成本归因和安全审计，帮企业管住 AI 开销、算清 ROI。
开源本地语音听写工具，基于 Whisper 把说的话实时转成文字，不用联网也不上传隐私数据。
面向 Apple Silicon 的原生 SwiftUI 系统监控工具，无需 sudo 即可实时查看 ANE、媒体引擎和内存带宽占用，方便排查本地大模型推理时的硬件瓶颈。
基于 TensorFlow 2 的端到端语音识别框架，支持 Conformer、ContextNet、DeepSpeech2 等模型，可做字符或子词级多语言识别与流式推理。
基于下一代 Kaldi 的语音转文字服务端框架，支持流式与非流式识别，可通过 WebSocket 对外提供 ASR 服务。
Linux 上的离线语音听写工具，基于 whisper.cpp、Whisper 和 VOSK 引擎，支持 GPU 加速，在 X11 和 Wayland 下都能把说的话直接输入到任意应用。
跨平台本地 AI 网关，让 Claude Code、Codex 等客户端无需改配置即可切换上游，隐藏真实 API Key，拦截恶意工具调用并追踪每次请求。
自带 API Key 的语音记录助手，支持语音转写、说话人分离和 AI 摘要，还能接入本地 ASR 服务，适合注重隐私、想自己掌控模型的用户。
基于 OpenAI Whisper 的实时语音转写框架，接收连续音频流分块并即时输出增量转写结果，不用等整段音频上传完再处理。
面向开发者的 AI 学习路线图，系统梳理大模型训练、推理、强化学习与 Agent 等核心方向的概念、主流技术和前沿趋势，帮助从理论走到落地。
LanceDB 官方的示例与教程合集，用向量检索搭配大模型，演示多模态 RAG、Agent 和微调等场景的落地写法。
按最低套餐价格排序的托管服务清单，涵盖云主机、数据库、IaaS 和 LLM 推理等选项，方便按预算快速挑选合适的部署平台。