多模态生成
共 54 个仓库 · 只看有专家点评 · 近 4 个月有推送
基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。
OpenAI 开源的通用语音识别模型，基于大规模弱监督训练，支持多语言转写、翻译和语种识别，开箱即用。
本地运行的 ElevenLabs 开源替代品，支持声音克隆、语音设计、视频配音、听写、转写和有声书制作，覆盖 646 种语言。
把 Claude、Cursor 等 AI 编程助手变成完整视频制作工作室，内置 12 条制作流水线和 100+ 工具，覆盖脚本、配音、图像生成到剪辑全流程。
把 Claude、Cursor 等 AI 编程助手变成完整的视频制作工作室，内置 12 条制作流水线和 100+ 工具，覆盖从生成到剪辑的全流程。
只需 1 分钟语音数据就能训练出高质量 TTS 模型，支持少样本音色克隆，适合快速定制个性化语音合成。
无需分词器的多语言语音合成模型，支持创意音色设计和逼真声音克隆，可直接从文本生成自然语音。
可自托管的个人 AI 第二大脑，能从网页和本地文档中检索答案，支持自定义智能体、定时自动化和深度研究，兼容多种在线或本地大模型。
基于 PyTorch 的扩散模型工具箱，统一加载和训练 Stable Diffusion、FLUX 等模型，做图像、视频、音频生成。
自托管的多模型 AI 图像与视频生成工作台，聚合 Flux、Midjourney、Kling、Sora 等 600+ 模型，无内容过滤，可替代闭源视频平台。
开源的高质量语音合成模型，基于 VQGAN 和 Llama 架构，支持多语言文本转语音，效果达到 SOTA 水平。
用 TypeScript 快速搭建 AI 应用和智能体的现代框架，内置工作流、对话机器人和评测能力，省去自己拼装 LLM 调用链的麻烦。
面向 Stable Diffusion 的专业图像生成引擎，提供行业领先的 WebUI，支持文生图、图生图、局部重绘和扩图，适合创作者与商业产品集成。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
工业级零样本语音合成系统，只需几秒参考音频就能克隆音色并跨语种合成，兼顾可控性与推理效率。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
把电子书（EPUB 等）一键转成有声书，内置 50 多种 TTS 引擎，支持声音克隆和 1696 种语言，适合批量制作多语言音频书。
把视频从一种语言翻译成另一种语言，自动生成配音和字幕并嵌入视频，适合做视频本地化和跨语言内容分发。
收录 GPT-Image-2 图像生成 API 的调用方式与提示词范例，帮开发者快速接入并调出理想出图效果。
基于流匹配的语音合成模型官方实现，只需一段参考音频就能克隆音色并生成流畅自然的语音，适合做零样本 TTS 和语音克隆。
面向创作者的开源 AI 工作台，集视频下载、翻译配音、转录、图像与视频生成、剪辑于一体，支持 120 多种语言，适合做 YouTube、TikTok 等社媒内容本地化。
开源实现的 CLIP 多模态模型，提供图像-文本对比学习训练与预训练权重，支持零样本图像分类和跨模态检索。
开源音乐生成基础模型，用符号规划、零样本翻唱和智能体编辑从歌词生成完整歌曲，适合研究音乐生成与风格迁移。
腾讯混元开源的大规模视频生成框架，基于扩散 Transformer 把文本提示直接生成连贯视频，适合做文生视频研究和应用落地。