多模态生成
共 290 个仓库 · Python
用掩码生成式 Transformer 做高分辨率文生图的官方实现，把非自回归架构重新拉回实用水平，兼顾生成效率与画质。
本地一站式 LoRA 训练工作台，从单张照片或大批图片构建角色、风格、概念数据集，自动打标并用 ai-toolkit 训练，支持多模型 checkpoint 对比。
输入一句提示词，由 ChatGPT 自动补全成适合 MidJourney 的完整绘画提示，帮你省去反复琢磨措辞、激发更多创意灵感。
在 ComfyUI 里给 MiniMax H3 视频模型加了一条时间轴编辑器，用分镜提示词、首尾关键帧、图/视频/音频参考和联合音频来编排镜头，还能实时预览采样、重拍和镜头串联。
用视觉语言模型把二维工程图纸自动转成三维 CAD 模型，省去手工建模的重复劳动。
DF-GAN 是 CVPR2022 提出的文本到图像生成基线，用简洁的 GAN 结构从文字描述合成图像，效果稳定且易于复现。
用单个提示词就能让扩散模型生成前后一致的多图故事，无需额外训练或微调，解决文生图角色与场景不一致的问题。
输入一个主题就能自动生成 Vox 风格的纸片拼贴解说视频，脚本、关键帧、动画、配音、配乐和字幕全流程搞定，还能作为 Claude Code 等编程智能体的技能调用。
给照片加上对抗扰动，防止他人用 DreamBooth 等个性化文生图模型把你的脸合成到任意画面里。
7B 参数文生图模型，专攻高质量文字渲染，在严苛算力限制下也能高效出图，适合需要画面内准确排字的场景。
用自然语言提示从任意视频中精准截取片段，省去手动拖时间轴找画面的麻烦，适合快速产出短视频素材。
把豆包逆向成 OpenAI 兼容接口，免费提供多模态对话、图像/视频/音乐生成和文件托管，方便接入 AI Agent。
基于 React 19 + FastAPI + LangChain/LangGraph 的 AI 修图智能体，用自然语言驱动 21 种编辑工具完成抠图、图层拆分、区域编辑和文生图，配套教程带你一周掌握 AI Agent 全栈开发。
让视觉语言模型在推理时生成隐式视觉 token 做「脑内想象」，无需输出真实图像就能增强多模态空间推理能力。
把前沿 Transformer 模型接入机器人技术栈的 Python 库，支持多模态与扩散模型，帮具身智能开发者快速搭建可感知、可决策的智能体。
面向物理 AI 的命令行工具，把 VLA、VLM、WAM 等机器人多模态模型串起来，方便在 NVIDIA、Nebius 环境里做模型部署和对话机器人调试。
基于 FLUX 的身份保持图像生成 ComfyUI 原生节点，可在换脸、图像编辑时稳定保留人物面部特征。
从文本、图像或 3D 条件生成 3D 内容的扩散模型，通过检索增强引入参考模型，提升生成质量与可控性。
一套完全开源的强文本到图像扩散模型训练配方，提供 JAX 和 PyTorch 实现，方便复现和二次开发。
实现带高效注意力的 U-Net，并融合最新研究改进，适合图像生成和分割任务的训练与微调。
无需训练就能把故事文本转成富有表现力的分镜图，基于扩散模型直接生成，省去微调成本。
SparseVLM 是 ICML'25 与 TPAMI'26 论文的官方实现，通过稀疏化视觉 token 来降低视觉语言模型的计算开销，提升多模态推理效率。
面向视觉-语言-动作模型（VLA）的可复现开源研究项目，聚焦目标跟踪类 VLA，提供训练与评测代码，方便复现和对比实验结果。
一个通用图像生成框架，用上下文学习统一处理多种域内任务，并能泛化到未见过的任务，已合入 diffusers 官方流水线。