推理与服务
共 751 个仓库
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
开源 3D 虚拟角色交互界面，集成语音合成与语音识别，让用户通过自然对话与 3D 角色实时交流。
面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。
用大模型、计算机视觉和语音识别自动分析视频内容，把画面、语音转成结构化信息，省去人工逐帧观看和整理。
开源本地优先的 AI 语音听写应用，用开源模型离线转写，不用键盘就能快速输入文字，适合记笔记和会议记录。
Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。
把任意 LLM 改造成 Jev 风格决策模型，输出带类型的决策和真实概率，无需训练即可使用，适合需要可靠置信度的决策场景。
本地优先的会议与语音备忘录转写工具，在设备端把录音转成 Markdown，并支持 Claude Code、Cursor 等 MCP 客户端直接查询。
字节跳动开源的多模态大模型系列，能同时理解语音、音频、音乐和视觉信息，用于语音识别与视听内容理解等研究任务。
开源 AI 工作站整机方案，覆盖 2 卡桌面到 8 卡服务器，提供 CAD 图纸、BOM 清单、BIOS 配置和装机指南，方便自建本地大模型推理机器。
在 VS Code 里接入本地 LLM 做代码和文本补全的扩展，让编辑器具备类似 Copilot 的补全能力，同时数据不必离开本机。
用机器学习给卡拉OK打分的应用，能分离人声并自动评分，适合聚会娱乐场景。
开源的 Android 语音助手应用，支持离线语音识别、唤醒词检测和语音合成，可替代系统自带助手。
用 Python 和 TypeScript 统一调用各家大模型，把提示词、工具调用和结构化输出封装成轻量模块，避免被重型框架绑死。
提供 Amazon Bedrock 上各类基础模型的入门示例代码，涵盖嵌入、知识库和 RAG 等场景，方便开发者快速上手生成式 AI 应用开发。
一本博客风格的短教材，讲怎么在 TPU 上扩展大模型训练与推理，用 roofline 分析帮你算清算力、显存和通信的瓶颈。
汇总了一批能借助 AI 进行网络搜索的软件与工具，方便按需挑选合适的 AI 搜索引擎或检索方案。
在 macOS 原生应用里直接和本地 LLaMA 模型对话，支持 llama.cpp，不用折腾命令行就能跑起来。
面向双语会议的实时双向语音翻译工具，自动识别说话语言并双向互译，支持云端或完全离线本地运行，覆盖桌面端和浏览器插件。
多后端 Whisper 语音转文字工具，支持本地文件或 URL 输入，在 Mac ARM 上做了速度优化，安装简单且完全离线私有。
可控语音转写工具，能逐字保留停顿、口吃和语气词，也能输出流畅可读版本，并提供词级时间戳。
用 Python 库搭建的语音个人助手，能通过语音指令发邮件、识别文字、播报新闻天气、搜索维基百科和地图、下载 YouTube 视频等。
在浏览器里直接跑 llama、deepseek-distill、kokoro 等本地大模型和语音合成，靠 WebGPU 加速，不用装后端也不用上传数据。
给 Claude Code 加上语音对话能力，用 Whisper 做语音识别、Kokoro 做语音合成，通过 MCP 服务实现自然流畅的语音交互。