推理与服务
共 540 个仓库 · 近 4 个月有推送
把电脑播放或麦克风采集的声音实时转成翻译字幕，跨平台桌面应用，适合看外语视频、开会时即时理解内容。
一站式全自动字幕生成工具，从视频下载、语音转录、翻译到字幕压制全流程自动完成，无需人工介入。
把 Discord 变成大模型聊天前端，接入 OpenAI、Gemini、Ollama 等多种 LLM，在服务器频道里直接对话。
面向 NVIDIA GPU 和昆仑 XPU 的大模型训练框架，覆盖 LLM、VLM、扩散模型和具身模型，支持 LoRA、预训练、SFT 与中期训练，开箱即用适配 DeepSeek、GLM、Kimi 等主流模型。
整理大模型训练数据全流程的精选资源库，覆盖数据获取、去重、过滤、配比、合成与溯源，配套「LLM × DATA」综述论文。
用 Go 重写的 Graphite/Carbon 时序数据接收服务，沿用 Agent→Cache→Persister 经典架构，比原版 Python 实现更省资源、吞吐更高。
在私有 GPU 桌面上批量运行 Claude、Codex、Gemini 和开源模型的 Agent 集群，用 Spec Coding 让每个智能体拥有独立加速环境。
给 AI 助手做长期记忆的存储层，用图数据库加向量库记住跨会话的决策、关系和上下文，解决多轮对话后遗忘的问题。
基于 Whisper 的端侧语音转文字应用，支持 100 多种语言，用 Compose Multiplatform 同时覆盖 Android 和 iOS，全程本地推理不上传云端，适合注重隐私的转写场景。
自托管的 AI API 与 MCP 网关，给企业统一管控大模型调用：SSO/RBAC、按用户身份鉴权、PII 脱敏、工具调用防护、限流预算与成本审计。
把语音识别成文字再转成语音，并通过 OSC 消息把文本推到 VRChat 头像聊天框显示，还能播报当前歌曲。
高质量、可靠的 TTS/STT 库，在服务端和浏览器里都能用，统一封装 Edge、微软、OpenAI 等语音接口，省去逐个对接的麻烦。
把 whisper.cpp 封装成 React Native 原生模块，让移动端 App 直接跑 OpenAI Whisper 语音识别，无需联网或自建服务。
用 Rust 写的 RDNA 原生大模型推理引擎，直接跑在 AMD GPU 上，让 RDNA 显卡也能高效做 LLM 推理和量化。
基于 ggml 的 C++ 语音推理运行时，统一跑 Cohere Transcribe、Parakeet TDT、Voxtral、Canary 等多语言 ASR 与 TTS 模型，还带通用强制对齐。
完全本地运行的私密语音转文字应用，支持多种模型后端、说话人分离和日历模式，覆盖 Windows、macOS 和 Linux。
用 Rust 写的高性能 RAG 与 LLM 应用框架，支持流式索引、检索和智能体编排，适合构建低延迟的检索增强生成服务。
基于 Spring AI 和 Spring Boot 的 Java 示例集，演示如何接入 OpenAI、Ollama 等模型，实现 RAG、向量嵌入等生成式 AI 应用。
一套面向音频处理的深度学习实战代码集，覆盖语音识别、说话人验证、关键词唤醒、语音合成与音色转换等任务，可直接参考实现来训练和微调模型。
在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型，自研 JAX 推理引擎支持 262k 长上下文和前缀缓存，可接入 Claude Code 等编码代理。
在本地网络内用开源大模型完成文件摄取与检索增强生成，数据不出内网、不依赖第三方服务。
开源本地 AI SDK，无需云端和 API Key 即可在设备端跑 GGUF 模型，集成 RAG、图像音乐视频生成、语音转写和 P2P 推理，覆盖桌面与移动端。
用 Rust 把 SQL 当函数调用的嵌入式数据库，自带类型安全 ORM，存储层可插拔 LMDB 或 RocksDB，适合在应用内直接做 OLTP 查询。
用 Rust 写的代码智能 CLI，为 AI 编程助手构建调用图和混合语义检索索引，支持 7 种语言，并以原生 MCP 工具接入 Claude Code 和 Codex CLI。