推理与服务
共 540 个仓库 · 近 4 个月有推送
字节跳动开源的多模态大模型系列，能同时理解语音、音频、音乐和视觉信息，用于语音识别与视听内容理解等研究任务。
开源 AI 工作站整机方案，覆盖 2 卡桌面到 8 卡服务器，提供 CAD 图纸、BOM 清单、BIOS 配置和装机指南，方便自建本地大模型推理机器。
在 VS Code 里接入本地 LLM 做代码和文本补全的扩展，让编辑器具备类似 Copilot 的补全能力，同时数据不必离开本机。
用机器学习给卡拉OK打分的应用，能分离人声并自动评分，适合聚会娱乐场景。
开源的 Android 语音助手应用，支持离线语音识别、唤醒词检测和语音合成，可替代系统自带助手。
用 Python 和 TypeScript 统一调用各家大模型，把提示词、工具调用和结构化输出封装成轻量模块，避免被重型框架绑死。
提供 Amazon Bedrock 上各类基础模型的入门示例代码，涵盖嵌入、知识库和 RAG 等场景，方便开发者快速上手生成式 AI 应用开发。
一本博客风格的短教材，讲怎么在 TPU 上扩展大模型训练与推理，用 roofline 分析帮你算清算力、显存和通信的瓶颈。
汇总了一批能借助 AI 进行网络搜索的软件与工具，方便按需挑选合适的 AI 搜索引擎或检索方案。
面向双语会议的实时双向语音翻译工具，自动识别说话语言并双向互译，支持云端或完全离线本地运行，覆盖桌面端和浏览器插件。
多后端 Whisper 语音转文字工具，支持本地文件或 URL 输入，在 Mac ARM 上做了速度优化，安装简单且完全离线私有。
可控语音转写工具，能逐字保留停顿、口吃和语气词，也能输出流畅可读版本，并提供词级时间戳。
在浏览器里直接跑 llama、deepseek-distill、kokoro 等本地大模型和语音合成，靠 WebGPU 加速，不用装后端也不用上传数据。
给 Claude Code 加上语音对话能力，用 Whisper 做语音识别、Kokoro 做语音合成，通过 MCP 服务实现自然流畅的语音交互。
汇总日语大语言模型资源的清单，涵盖基础模型与生成式模型，方便快速查找和对比日语 LLM 生态。
企业级私有 AI 网关，统一接入和治理各家大模型，让每次调用都可控、可追踪、可归属。
把视频自动翻译并配音成另一种语言，集语音识别、说话人分离、字幕翻译和语音合成于一体，输出音画同步的译制视频。
把大语言模型接入 spaCy 的结构化 NLP 流水线，用提示词完成命名实体识别等任务，无需训练即可复用现有流程。
阿里开源的高性能大模型推理引擎，支持 GPT、Llama 等多种模型，面向各类应用提供低延迟、高吞吐的在线推理服务。
集音视频处理、图片编辑、文本操作与编码于一体的桌面工具箱，内置语音识别、OCR 等 AI 增强能力，并提供本地 MCP 服务来简化日常办公流程。
整理大语言模型检索增强生成（RAG）方向的进阶资源清单，涵盖嵌入、检索与信息获取等关键环节，方便快速找到相关论文、工具和实践方案。
基于 CTranslate2 加速的 Whisper 命令行客户端，接口与 OpenAI 官方客户端兼容，能更快地做语音转文字。
面向俄语的轻量级 NLP 工具集，把分词、词形还原、命名实体识别、句法分析等基础任务封装成统一 API，适合快速搭建俄语文本处理流程。
把大模型接入 Lean 4 定理证明流程的推理服务，支持在证明环境中调用模型做前提检索、策略建议和自动补全。