推理与服务
共 751 个仓库
面向技术面试的开源 AI 助手，提供隐形悬浮窗、实时答题辅助和题目截图识别，支持多语言且可完全自定义、注重隐私。
用低代码方式简化和流式化提示词设计，让开发者和非技术用户都能更轻松地编写、调优大模型提示词。
面向语音与多模态机器学习的 Python 数据处理库，提供统一的音频加载、切分、特征提取和数据集管理接口，方便搭建语音识别等训练流水线。
给 AI Agent 用的开源语义搜索工具，用 ColBERT 向量嵌入替代关键词匹配，让 Agent 按语义而非字面检索本地内容。
用 Go 实现的远程桌面网关，可在 Linux、BSD 或 Kubernetes 上部署，为 RDP 连接提供统一入口和转发。
一套 Obsidian 笔记库起步模板，预置了 LLM 辅助、网页剪藏和卡片盒笔记法的目录与配置，省去从零搭建个人知识库的麻烦。
统一 RAG 检索环节的微调工具，覆盖 Embedding、ColBERT 和 ReRanker 三类模型，省去分别搭训练流程的麻烦。
Conformer 的 PyTorch 非官方实现，把卷积和 Transformer 结合起来做语音识别，适合直接拿来训练或复现 ASR 模型。
用 Python 搭建的 AI 虚拟主播，把语音识别、大模型对话和语音合成串起来，让虚拟形象能在 YouTube 或 Twitch 直播中实时回应观众。
开源的 iOS 语音转文字应用，基于 Whisper 模型在手机本地完成高质量转录，让移动端离线转写更易用。
从基础原理出发系统讲解嵌入（embeddings）的深度教程，用 Jupyter Notebook 带你理解向量表示是怎么算出来、怎么用的。
把电子表格变成 AI 流水线：在单元格里串联提示词和模型，实时对比 LLM 输出，多人协作迭代 AI 应用。
Go 语言的可嵌入向量数据库，接口类似 Chroma，零第三方依赖，内存存储并可选持久化，方便在 Go 应用里直接做向量检索和 RAG。
把文本生成 CAD 模型拆成多个智能体协作完成，通过约束式测试时计算提升生成质量，适合机械设计与 3D 打印场景。
面向智能体和 LLM 应用的编排框架，把 RAG、工具调用和多步推理流程串起来，方便搭建和运维生成式 AI 应用。
用 AI 给视频素材做转录、内容理解和全文检索的剪辑辅助工具，可接入 ChatGPT 等模型，并与 DaVinci Resolve 集成。
在 Node.js/TypeScript 里通过 ONNX Runtime 本地跑 Laya 这个兼容 Jev 的开源 System-1 决策模型，做分类和推理，不用依赖云端。
基于 Vosk 库的 Android 离线语音识别示例，无需联网即可在手机本地完成语音转文字，适合做端侧 ASR 集成参考。
一份 10 周、每天 30 分钟的 LLM 推理服务与优化学习路线，覆盖 vLLM、SGLang、量化、投机解码和基准测试，帮工程师系统入门推理加速。
基于 FastAPI 的语义文本搜索服务，用预计算嵌入和高级相似度算法快速检索，并通过 textract 支持多种文件格式。
自托管的 AI 网关，把 OpenAI、Claude、Gemini、Codex 等编码 CLI 统一到一个兼容端点，并提供多租户控制台、请求日志和费用配额管理。
提供 CUDA 加速的机器学习与信息检索基础算法和原语，方便快速搭建高性能应用，涵盖最近邻搜索、聚类、线性代数等常用模块。
Rust 编写的本地向量嵌入与重排库，无需调用外部 API 即可在本地生成文本向量并做检索结果重排，适合搭建 RAG 和向量检索。
基于 Python 的桌面语音助手，把语音识别和语音合成串起来，让你用说话的方式执行系统级命令、异步处理交互。