多模态生成
共 290 个仓库 · Python
一站式 WebUI，基于 Diffusers 和 PyTorch 统一完成 AI 图像与视频生成、打标和后期处理，省去在多个工具间切换的麻烦。
基于大语言模型的语音合成系统，能生成接近真人音色的自然语音，并支持实时流式输出，适合搭建低延迟的 TTS 服务。
自部署的 AI 视频工作台，能把小说和剧本自动拆成角色、场景、道具资产与分镜，生成视频并导出剪映草稿，还支持跨镜头一致性和多供应商费用追踪。
用 Stable Diffusion 做音频驱动唇形同步，让视频或虚拟人像的口型与语音对齐，适合做数字人和视频配音。
面向 OpenAI GPT Image 2/2.5 的提示词图库与命令行工具，内置可被 Claude Code、Codex 调用的 agent 技能，帮你快速生成和编辑图片。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
基于 Nano Banana Pro 的小红书图文一站式生成器，输入一句话就能同时产出笔记文案和配图，省去分别写稿和找图的麻烦。
把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API，用 Docker 一键部署，支持多说话人、SSML 和字幕时间戳，CPU、AMD、NVIDIA 都能跑。
面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
开箱即用的视频扩散模型工具箱，支持文生视频和图生视频，重点解决高质量视频训练数据不足的问题。
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。
基于浅层扩散机制的歌声合成与语音合成模型，AAAI 2022 官方实现，支持 MIDI 输入生成歌声，兼顾合成质量与推理速度。
统一视频生成推理与后训练框架，支持扩散模型加速、蒸馏和微调，帮你在有限算力下更快跑出视频。
一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。
把位图转成 SVG 的视觉语言基础模型，将矢量化当作代码生成任务，输出高精度、可直接使用的 SVG 代码。
腾讯混元推出的轻量级视频生成模型，支持文生视频和图生视频，在较小参数规模下也能生成高质量视频，适合显存和算力有限的场景部署。
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
把 LTX-Video 视频生成模型接入 ComfyUI 的插件，用节点式工作流就能跑文生视频和图生视频。
封神榜大模型是 IDEA 研究院开源的中文大模型体系，提供预训练模型、分布式训练和多模态能力，为中文 AIGC 与认知智能应用提供基础模型支撑。
开箱即用的高质量语音转换工具，基于 PyTorch 和 RVC 实现变声与声音克隆，兼顾易用性和推理性能。
用低秩分支吸收离群值的 4-bit 扩散模型量化方案，让 FLUX 等大模型在低显存下也能高速出图，并已集成 ComfyUI。
把视频扩散模型的推理速度提升 100–200 倍，靠一致性蒸馏、稀疏线性注意力和 SageAttention 等系统级优化，让视频生成真正跑得动。
Eagle 是一系列前沿视觉语言模型，主打以数据为中心的训练策略，能看图理解并回答多模态问题，适合做图文问答和视觉理解研究。