多模态生成
共 434 个仓库
面向 OpenAI GPT Image 2/2.5 的提示词图库与命令行工具，内置可被 Claude Code、Codex 调用的 agent 技能，帮你快速生成和编辑图片。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
中文版 CLIP 预训练模型，支持中文图文跨模态检索和表征生成，可直接用于图文匹配、零样本分类等任务。
汇总视频生成、编辑等方向的扩散模型资源清单，方便快速查找和跟进相关论文与项目。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开源 AI 视频本地化配音工具，把 YouTube/Bilibili 视频自动做语音识别、字幕翻译、声音克隆和混音渲染，一站式生成多语言配音成片。
基于 Nano Banana Pro 的小红书图文一站式生成器，输入一句话就能同时产出笔记文案和配图，省去分别写稿和找图的麻烦。
把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API，用 Docker 一键部署，支持多说话人、SSML 和字幕时间戳，CPU、AMD、NVIDIA 都能跑。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
开箱即用的视频扩散模型工具箱，支持文生视频和图生视频，重点解决高质量视频训练数据不足的问题。
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。
基于浅层扩散机制的歌声合成与语音合成模型，AAAI 2022 官方实现，支持 MIDI 输入生成歌声，兼顾合成质量与推理速度。
给 DeepSeek、GLM 等纯文本编码助手外挂视觉能力的插件，粘贴图片即可输出包含 OCR、版面和语义的结构化 JSON 证据。
统一视频生成推理与后训练框架，支持扩散模型加速、蒸馏和微调，帮你在有限算力下更快跑出视频。
一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。
把 OpenAI Whisper 语音识别模型反过来用做文本转语音的开源 TTS 系统，基于 PyTorch 实现，可直接在真实语音数据上训练出多说话人合成效果。
把位图转成 SVG 的视觉语言基础模型，将矢量化当作代码生成任务，输出高精度、可直接使用的 SVG 代码。
从零基础到 CV、NLP、LLM 项目实战再到 ONNX/TensorRT 工程化部署的 PyTorch 中文教程，配套 Jupyter Notebook 边学边练。
腾讯混元推出的轻量级视频生成模型，支持文生视频和图生视频，在较小参数规模下也能生成高质量视频，适合显存和算力有限的场景部署。
把安卓手机变成可定制的 TTS 朗读器，内置微软演示接口，支持自定义 HTTP 请求、导入本地引擎，还能按中文引号自动区分旁白和对话。
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
把 LTX-Video 视频生成模型接入 ComfyUI 的插件，用节点式工作流就能跑文生视频和图生视频。
封神榜大模型是 IDEA 研究院开源的中文大模型体系，提供预训练模型、分布式训练和多模态能力，为中文 AIGC 与认知智能应用提供基础模型支撑。