推理与服务
共 540 个仓库 · 近 4 个月有推送
面向 Apple Silicon 的端侧语音 AI 工具包，用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成，不用联网也能处理音频。
面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。
Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。
面向 AI Agent 的代码检索工具，用嵌入向量做语义搜索，比 grep+read 少消耗 99% 的 token，让 Agent 更快更准地定位代码。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。
基于 PyTorch 的度量学习库，提供对比损失、难例挖掘、采样器和检索指标，用来训练和评估相似度搜索所需的嵌入向量。
跨 macOS、Windows、Linux 的本地语音听写工具，用 Rust 编写，把说的话实时转成文字，全程离线运行，不上传云端。
把 EPUB、PDF 或纯文本一键转成有声书，并生成与语音同步的字幕，适合批量制作有声内容。
预训练语音合成模型集合，支持俄语、亚美尼亚语等多种语言，几行代码就能把文本转成语音，省去自己训练模型的麻烦。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
面向 AI Agent 和 MCP 服务器的下一代代理网关，用 Rust 编写，把 Agent 与模型、工具之间的流量统一接入、路由和管控。
一站式桌面工具，用本地 Whisper、FunASR 等模型离线把视频转成字幕，还能翻译、AI 配音、声音克隆和烧录字幕，支持批量处理与全平台 GPU 加速。
支持 Markdown 的纯文本记事本和待办管理工具，可与 Nextcloud/ownCloud 同步笔记，数据本地优先存储。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
把长视频自动剪成 9:16 竖屏短视频，用 LLM 挑高光片段、Whisper 转写、自动裁切，免费无水印，替代 Opus Clip 等付费服务。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开源 AI 视频本地化配音工具，把 YouTube/Bilibili 视频自动做语音识别、字幕翻译、声音克隆和混音渲染，一站式生成多语言配音成片。
用 8 个专家 Agent 组成一个统一的虚拟高管团队，对外呈现一致的高管人格，基于 FastAPI 和 Next.js 搭建，适合做多智能体协作与 RAG 决策辅助。
低代码 MCP 框架，用可视化方式快速搭建复杂 RAG 流水线，省去大量胶水代码，适合快速验证检索增强生成方案。
面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。
提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
基于 OpenAI Whisper 的语音转写工具，能自动识别不同说话人并切分对话，适合会议记录、访谈整理等多人语音场景。
本地个人图书管理员 Agent，能解析电脑里的文档并建立向量索引，让你用自然语言问答检索文件、整理资料和记住重要信息。