多模态生成
共 290 个仓库 · Python
能实时生成长视频的扩散模型，支持图生视频和交互式长上下文生成，解决长视频生成速度慢、画质难兼顾的问题。
用 PyTorch 复现 VALL-E 零样本语音合成，只需几秒参考音频就能克隆音色朗读任意文本。
基于 PyTorch 的多语言语音合成工具包，支持 7000 多种语言的可控快速 TTS，可训练和微调自己的语音模型。
用微软 Edge 的在线语音合成能力，自建一个免费、高质量的 TTS 接口，直接替换 OpenAI、Azure 或 ElevenLabs 的付费语音服务。
在本地设备上跑实时多模态 AI 的 Python 项目，整合语音识别、语音合成和本地大模型，实现类似 GPT-Live 的实时对话体验，支持 Apple Silicon 和 MLX。
用单张 LoRA 做图像编辑，仅需 0.1% 训练数据就能在身份保持上超过 GPT-4o，4GB 显存即可运行。
把 EPUB 电子书自动转成有声书音频，内置 WebUI，输出格式适配 Audiobookshelf，支持 OpenAI/ChatGPT 语音合成。
把 Yandex Station 等带 Alice 语音助手的智能家居设备接入 Home Assistant，实现语音控制和 TTS 播报。
用一个 Transformer 统一多模态理解与生成，既能看图回答，也能按文字生成图像，省去多模型拼接的麻烦。
开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。
只用几张图片就能让文生图扩散模型学会多个新概念，并把它们组合到同一张图里，适合做个性化图像生成和少样本微调。
面向流式视频超分的一步扩散框架，用局部约束稀疏注意力和微型条件解码器把扩散超分做到实时，适合直播、视频通话等低延迟场景。
轻量级虚拟试衣扩散模型，仅需不到8G显存即可生成1024×768试穿效果，训练和推理都很省资源。
把一句想法丢进对话，就能自动完成脚本、配图、配音到成片的 AI 视频生成多智能体系统，适合快速产出短片。
腾讯混元开源的图生视频模型，基于 HunyuanVideo 构建，支持自定义控制，把静态图片转成连贯视频。
把 GPT-SoVITS 语音克隆模型转成 ONNX 并做推理的引擎，方便在没有 PyTorch 环境里跑少样本音色克隆和语音合成。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。
ImageReward 是 NeurIPS 2023 提出的文本生图人类偏好奖励模型，用人类偏好数据训练打分器，评估生成图像质量并支持 RLHF 微调扩散模型。
开源的多模态大扩散语言模型，用块扩散、混合思维链和统一强化学习，把多模态理解与生成放进同一个模型里做。
Soprano 是一个超写实、低延迟的文本转语音引擎，能把文字快速合成接近真人音色的语音，适合需要即时发声的场景。
基于扩散模型生成逼真说话人像视频，通过连贯运动合成让口型与头部动作自然同步，适合做数字人播报和虚拟主播。
把 MiniMax 的语音合成、文生图、文生视频等生成能力封装成 MCP 服务，让 Claude 等支持 MCP 的客户端直接调用。
Infinity 是一个用位级自回归建模做高分辨率图像生成的模型，把 GPT 式架构扩展到视觉生成，解决高分辨率文生图的质量和扩展性问题。
基于流匹配的语音合成模型，通过表情符号控制说话风格，支持声音克隆，让 TTS 输出带情绪和语气变化。