推理与服务
共 679 个仓库 · 一年内有推送
把 EPUB、PDF 或纯文本一键转成有声书，并生成与语音同步的字幕，适合批量制作有声内容。
预训练语音合成模型集合，支持俄语、亚美尼亚语等多种语言，几行代码就能把文本转成语音，省去自己训练模型的麻烦。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
面向 AI Agent 和 MCP 服务器的下一代代理网关，用 Rust 编写，把 Agent 与模型、工具之间的流量统一接入、路由和管控。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
一款 iOS/macOS 原生应用，通过 Ollama 连接本地自托管的大语言模型（Llama2、Mistral、Vicuna 等）进行对话，让私有模型在苹果设备上开箱即用。
一站式桌面工具，用本地 Whisper、FunASR 等模型离线把视频转成字幕，还能翻译、AI 配音、声音克隆和烧录字幕，支持批量处理与全平台 GPU 加速。
支持 Markdown 的纯文本记事本和待办管理工具，可与 Nextcloud/ownCloud 同步笔记，数据本地优先存储。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
把长视频自动剪成 9:16 竖屏短视频，用 LLM 挑高光片段、Whisper 转写、自动裁切，免费无水印，替代 Opus Clip 等付费服务。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开源 AI 视频本地化配音工具，把 YouTube/Bilibili 视频自动做语音识别、字幕翻译、声音克隆和混音渲染，一站式生成多语言配音成片。
用 8 个专家 Agent 组成一个统一的虚拟高管团队，对外呈现一致的高管人格，基于 FastAPI 和 Next.js 搭建，适合做多智能体协作与 RAG 决策辅助。
低代码 MCP 框架，用可视化方式快速搭建复杂 RAG 流水线，省去大量胶水代码，适合快速验证检索增强生成方案。
面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。
提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
基于 OpenAI Whisper 的语音转写工具，能自动识别不同说话人并切分对话，适合会议记录、访谈整理等多人语音场景。
本地个人图书管理员 Agent，能解析电脑里的文档并建立向量索引，让你用自然语言问答检索文件、整理资料和记住重要信息。
面向 Agent 系统的模型路由网关，50ms 内把每个请求分派到最合适的模型，只改一个 endpoint 就能省下 40-70% 成本。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
Obsidian 插件，写作时自动找出相关笔记和摘录，用本地嵌入模型做语义搜索，无需 API key 即可零配置使用。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。