推理与服务
共 751 个仓库
基于 FunASR 的本地视频转写与字幕生成工具，带 Gradio 界面，还能用大模型辅助自动剪辑，适合做中文视频内容创作。
8MB 的 RWKV 模型管理与启动工具，全自动部署推理，并提供兼容 OpenAI API 的接口，方便直接接入现有客户端。
面向 Apple Silicon 的端侧语音 AI 工具包，用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成，不用联网也能处理音频。
Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。
面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。
基于大语言模型的语音合成系统，能生成接近真人音色的自然语音，并支持实时流式输出，适合搭建低延迟的 TTS 服务。
面向 AI Agent 的代码检索工具，用嵌入向量做语义搜索，比 grep+read 少消耗 99% 的 token，让 Agent 更快更准地定位代码。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。
基于 PyTorch 的度量学习库，提供对比损失、难例挖掘、采样器和检索指标，用来训练和评估相似度搜索所需的嵌入向量。
把 EPUB、PDF 或纯文本一键转成有声书，并生成与语音同步的字幕，适合批量制作有声内容。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
预训练语音合成模型集合，支持俄语、亚美尼亚语等多种语言，几行代码就能把文本转成语音，省去自己训练模型的麻烦。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
面向 AI Agent 和 MCP 服务器的下一代代理网关，用 Rust 编写，把 Agent 与模型、工具之间的流量统一接入、路由和管控。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
跨 macOS、Windows、Linux 的本地语音听写工具，用 Rust 编写，把说的话实时转成文字，全程离线运行，不上传云端。
一款 iOS/macOS 原生应用，通过 Ollama 连接本地自托管的大语言模型（Llama2、Mistral、Vicuna 等）进行对话，让私有模型在苹果设备上开箱即用。
一站式桌面工具，用本地 Whisper、FunASR 等模型离线把视频转成字幕，还能翻译、AI 配音、声音克隆和烧录字幕，支持批量处理与全平台 GPU 加速。
支持 Markdown 的纯文本记事本和待办管理工具，可与 Nextcloud/ownCloud 同步笔记，数据本地优先存储。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
把长视频自动剪成 9:16 竖屏短视频，用 LLM 挑高光片段、Whisper 转写、自动裁切，免费无水印，替代 Opus Clip 等付费服务。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开源 AI 视频本地化配音工具，把 YouTube/Bilibili 视频自动做语音识别、字幕翻译、声音克隆和混音渲染，一站式生成多语言配音成片。
用 8 个专家 Agent 组成一个统一的虚拟高管团队，对外呈现一致的高管人格，基于 FastAPI 和 Next.js 搭建，适合做多智能体协作与 RAG 决策辅助。