推理与服务
共 679 个仓库 · 一年内有推送
开源 AI 工作站整机方案，覆盖 2 卡桌面到 8 卡服务器，提供 CAD 图纸、BOM 清单、BIOS 配置和装机指南，方便自建本地大模型推理机器。
在 VS Code 里接入本地 LLM 做代码和文本补全的扩展，让编辑器具备类似 Copilot 的补全能力，同时数据不必离开本机。
用机器学习给卡拉OK打分的应用，能分离人声并自动评分，适合聚会娱乐场景。
开源的 Android 语音助手应用，支持离线语音识别、唤醒词检测和语音合成，可替代系统自带助手。
用 Python 和 TypeScript 统一调用各家大模型，把提示词、工具调用和结构化输出封装成轻量模块，避免被重型框架绑死。
提供 Amazon Bedrock 上各类基础模型的入门示例代码，涵盖嵌入、知识库和 RAG 等场景，方便开发者快速上手生成式 AI 应用开发。
一本博客风格的短教材，讲怎么在 TPU 上扩展大模型训练与推理，用 roofline 分析帮你算清算力、显存和通信的瓶颈。
汇总了一批能借助 AI 进行网络搜索的软件与工具，方便按需挑选合适的 AI 搜索引擎或检索方案。
在 macOS 原生应用里直接和本地 LLaMA 模型对话，支持 llama.cpp，不用折腾命令行就能跑起来。
面向双语会议的实时双向语音翻译工具，自动识别说话语言并双向互译，支持云端或完全离线本地运行，覆盖桌面端和浏览器插件。
多后端 Whisper 语音转文字工具，支持本地文件或 URL 输入，在 Mac ARM 上做了速度优化，安装简单且完全离线私有。
可控语音转写工具，能逐字保留停顿、口吃和语气词，也能输出流畅可读版本，并提供词级时间戳。
用 Python 库搭建的语音个人助手，能通过语音指令发邮件、识别文字、播报新闻天气、搜索维基百科和地图、下载 YouTube 视频等。
在浏览器里直接跑 llama、deepseek-distill、kokoro 等本地大模型和语音合成，靠 WebGPU 加速，不用装后端也不用上传数据。
给 Claude Code 加上语音对话能力，用 Whisper 做语音识别、Kokoro 做语音合成，通过 MCP 服务实现自然流畅的语音交互。
汇总日语大语言模型资源的清单，涵盖基础模型与生成式模型，方便快速查找和对比日语 LLM 生态。
面向波斯语（Farsi）的 Python NLP 工具包，提供文本归一化、分词、词性标注、依存句法分析、词形还原和词向量等完整处理流程。
企业级私有 AI 网关，统一接入和治理各家大模型，让每次调用都可控、可追踪、可归属。
把视频自动翻译并配音成另一种语言，集语音识别、说话人分离、字幕翻译和语音合成于一体，输出音画同步的译制视频。
分布式模型服务框架，能把多台机器组成自建 AI 推理集群，用来跑 Llama、DeepSeek 等大模型。
围绕 TTS 生成模型搭建的语音合成服务，提供 API Server 和 Gradio WebUI，方便快速部署和调用多种语音生成模型。
一份精选的渗透测试工具与效率工具清单，覆盖多个领域，方便安全从业者和漏洞赏金猎人快速找到趁手的工具。
把大语言模型接入 spaCy 的结构化 NLP 流水线，用提示词完成命名实体识别等任务，无需训练即可复用现有流程。
把 Windows 经典助手 Clippy 用 Electron 重制，并接入本地 llama 大模型，让回形针能真正对话回答问题。