推理与服务
共 751 个仓库
Milvus 官方实战教程库，用 Jupyter Notebook 演示以图搜图、音频检索、分子搜索、视频分析和 RAG 问答等非结构化数据处理方案。
用 Qwen3-ASR、Whisper 和本地 LLM 给日语音视频自动生成字幕，靠 TEN-VAD 和降噪处理应对嘈杂背景音。
用大模型从编译后的二进制程序还原并验证 C/C++ 源码，把反编译、源码恢复和校验串成自动化流程，适合逆向工程和安全分析场景。
ailia SDK 的预训练模型合集，覆盖动作识别、人脸检测、背景移除、语音处理等任务，拿来就能跑推理，省去自己找模型和调参的功夫。
基于 Envoy Gateway 构建的生成式 AI 统一接入网关，把各家 LLM 和推理服务的调用收敛到一套路由与鉴权入口，方便在 Kubernetes 上统一管理。
把新闻自动做成 YouTube Shorts 的流水线：生成脚本、AI 画面、配音、字幕并上传，省去手工剪辑。
面向 AI 原生应用的分布式向量搜索引擎，支持混合检索和 RAG 场景，帮你在海量向量里快速找到相关内容。
把视频按场景切分、去重抽帧并配上字幕文本，让 Claude 等大模型真正「看懂」视频内容，支持 URL 或本地文件，全程本地运行。
把预训练句向量模型蒸馏成轻量静态词向量，推理速度极快、无需 GPU，适合大规模文本向量化和检索场景。
0.9B 参数的多语言长音频转写模型，能同时输出说话人分离、时间戳和声学事件标记，适合做会议记录和字幕生成。
Google Gemini API 和 Gemma 模型的官方文档与示例代码集合，涵盖聊天机器人、嵌入等用法，但仓库已弃用并将归档。
用 Rust 写的本地 AI 模型运行时，支持 Llama、Mistral 等模型的推理、约束生成和语音转写，方便在本地快速搭建可控的 AI 应用。
在 256MB 内存的十美元级开发板上跑 10 亿参数大模型，靠量化与 C 实现把 LLM 推理压进嵌入式设备。
在 Node.js 里直接跑 llama.cpp 的绑定库，支持 GPU 加速和 GGUF 模型，还能在生成阶段强制模型按 JSON Schema 输出，方便做结构化抽取和函数调用。
在 Vim 编辑器里接入本地 LLM 做代码和文本补全的插件，基于 llama.cpp 实现，无需联网即可获得类 Copilot 的补全体验。
面向 Apple Silicon 的本地大模型推理引擎，围绕模型本身做优化，让 Mac 上跑编码智能体和 LLM 推理更快更省资源。
PHP 生态的 Agent 编排框架，把 LLM、工具、向量库和记忆组装成能读写数据、对接 UI 的智能体，方便落地生产级 AI 应用。
:microphone: React Native Voice Recognition library for iOS and Android (Online and Offline Support)
用微软 Edge 的在线语音合成能力，自建一个免费、高质量的 TTS 接口，直接替换 OpenAI、Azure 或 ElevenLabs 的付费语音服务。
MCP Router — development, support and security updates ended 2026-09-18. Historical source and final release for existing users.
用单个 Mojo 文件实现 Llama 2 推理，借助 SIMD 和并行化把大模型跑起来，适合研究推理底层实现和性能优化。
给任意会议或直播加实时字幕、同声传译和 AI 会议纪要的跨平台工具，支持 Mac、Windows、Linux 和 Android，免费开源。
在 Arduino ESP32 硬件上跑实时语音 AI，通过安全 WebSocket 和边缘函数接入 100+ 模型，做 AI 陪伴设备。
本地运行的私有技术文档 MCP 服务器，用界面抓取并索引官方文档，让 Cursor、Claude 等编码助手直接检索最新资料，避免过时或编造的答案。