推理与服务
共 307 个仓库 · 一年内有推送 · Python
输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。
本地运行的 ElevenLabs 开源替代品，支持声音克隆、语音设计、视频配音、听写、转写和有声书制作，覆盖 646 种语言。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
一个 Agent 技能，用来抹掉文本里 AI 生成的痕迹，让 ChatGPT、Claude 等模型写出的内容读起来更像真人手笔。
统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。
开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。
开源 AI 语音工作室，支持声音克隆、语音听写和语音生成，基于 Qwen3-TTS 与 Whisper，可在 CUDA 或 MLX 上本地运行。
一个免代码的 RAG 服务器，能随文档更新自动同步答案，支持 8 种向量数据库，基于 Pathway 构建。
把纸质文档扫描后自动 OCR、打标签并归档成可全文检索的个人文档管理系统，适合想彻底告别纸质文件柜的人。
用 LLM 从非结构化文本中抽取结构化信息，并给出精确的原文出处定位和交互式可视化，方便核对抽取结果。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
用大模型智能体做量化交易，支持多智能体协作、策略回测和 MCP 接入，让个人也能搭起自己的自动交易助手。
让任意大模型通过 MCP 协议直接操控 Blender 建模的社区插件，用自然语言就能驱动 3D 创作流程。
开箱即用的开源 AI 对话平台，支持接入任意 LLM，内置 RAG 与企业级搜索，适合团队自建带知识库的聊天助手。
用大语言模型驱动的 Python 爬虫，只需描述想抓什么，就能自动完成网页抓取和结构化数据提取，省去手写解析规则。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
基于 Whisper 的语音识别工具，能给出词级时间戳并支持说话人分离，适合做字幕对齐和会议转写。
基于 OpenAI Whisper 的离线音频转写与翻译工具，在本机就能把语音转成文字并翻译，不用联网也不上传数据。
开源语音识别工具包，覆盖训练、推理、流式 ASR、VAD、标点恢复和说话人分离全流程，并提供 OpenAI 兼容与 MCP 服务接口。
基于大模型和 Agent 的数据库智能助手，用自然语言直接查询和分析数据库，支持 RAG 与私有化部署，方便搭建 AI+Data 应用。
把视频从一种语言翻译成另一种语言，自动生成配音和字幕并嵌入视频，适合做视频本地化和跨语言内容分发。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。