OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「多模态生成」找到 55 个结果 · 22ms命中词:多模态生成multimodalgenerationgenerativegeneration* generative*只看有点评
O
OpenMontage
calesthio·Python

把 Claude、Cursor 等 AI 编程助手变成完整的视频制作工作室,内置 12 条制作流水线和 100+ 工具,覆盖从生成到剪辑的全流程。

视频制作+4
778670—
calesthio/OpenMontage · 11.47
B
bark
suno-ai·Jupyter Notebook

输入一段文本就能生成带笑声、叹息等非语言声音和背景音乐的语音,效果自然,适合做创意配音和音频内容原型。

语音合成+3
393530—
suno-ai/bark · 10.11
O
Open-Sora
hpcaitech·Python

开源视频生成模型,用高效架构和训练方案降低高质量视频制作门槛,让普通开发者也能训练和部署文生视频模型。

视频生成+4
299230—
hpcaitech/Open-Sora · 9.55
O
OpenMontage
OpenMontageInc·Python

把 Claude、Cursor 等 AI 编程助手变成完整视频制作工作室,内置 12 条制作流水线和 100+ 工具,覆盖脚本、配音、图像生成到剪辑全流程。

视频制作+4
796370—
OpenMontageInc/OpenMontage · 9.49
W
Wan2.1
Wan-Video·Python

开源的大规模视频生成模型,支持高质量文生视频,为 AIGC 视频创作提供可用的生成能力。

视频生成+4
174160—
Wan-Video/Wan2.1 · 9.41
H
HunyuanVideo
Tencent-Hunyuan·Python

腾讯混元开源的大规模视频生成框架,基于扩散 Transformer 把文本提示直接生成连贯视频,适合做文生视频研究和应用落地。

视频生成+4
127570—
Tencent-Hunyuan/HunyuanVideo · 9.15
V
VideoCrafter
AILab-CVC·Python

开箱即用的视频扩散模型工具箱,支持文生视频和图生视频,重点解决高质量视频训练数据不足的问题。

视频生成+4
51140—
AILab-CVC/VideoCrafter · 8.82
V
vllm-omni
vllm-project·Python

面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。

全模态推理+4
76990—
vllm-project/vllm-omni · 8.82
O
OpenCreator
krillinai·TypeScript

面向创作者的开源 AI 工作台,集视频下载、翻译配音、转录、图像与视频生成、剪辑于一体,支持 120 多种语言,适合做 YouTube、TikTok 等社媒内容本地化。

视频翻译+4
143020—
krillinai/OpenCreator · 8.76
D
dramaclaw
dramaclaw·TypeScript

通用 AIGC 视频引擎,把剧本到成片串成一条流水线,覆盖漫剧、广告、电商和乙游等场景,省去多工具拼接的麻烦。

AIGC 视频引擎+4
76770—
dramaclaw/dramaclaw · 8.52
M
MAGI-1
SandAI-org·Python

MAGI-1 是一个大规模自回归视频生成模型,把视频拆成片段逐段预测生成,适合需要长时序连贯性的视频创作场景。

视频生成+3
38060—
SandAI-org/MAGI-1 · 8.17
H
HunyuanVideo-1.5
Tencent-Hunyuan·Python

腾讯混元推出的轻量级视频生成模型,支持文生视频和图生视频,在较小参数规模下也能生成高质量视频,适合显存和算力有限的场景部署。

视频生成+4
45980—
Tencent-Hunyuan/HunyuanVideo-1.5 · 8.08
P
PromptEnhancer
Hunyuan-PromptEnhancer·Python

把随手写的提示词改写成更清晰、结构化的版本,让文生图和图像编辑模型生成效果更稳定。

提示词改写+4
38040—
Hunyuan-PromptEnhancer/PromptEnhancer · 7.98
N
nodetool
nodetool-ai·TypeScript

面向智能体的创意工作台,把图像生成、图像处理和动态图形等模型接入统一界面,方便在创作流程中直接调用多种多模态生成能力。

创意工作台+4
6270—
nodetool-ai/nodetool · 7.96
L
Liquid
FoundationVision·Python

把语言模型直接当作统一的多模态生成器,用自回归方式同时做文本到图像生成,省去额外扩散模型。

多模态生成+4
6400—
FoundationVision/Liquid · 7.94
H
HunyuanVideo-I2V
Tencent-Hunyuan·Python

腾讯混元开源的图生视频模型,基于 HunyuanVideo 构建,支持自定义控制,把静态图片转成连贯视频。

图生视频+4
18540—
Tencent-Hunyuan/HunyuanVideo-I2V · 7.83
L
LightX2V
ModelTC·Python

轻量级图像与视频生成推理框架,支持 Wan、Hunyuan、LTX 等主流视频模型及自回归扩散模型,降低多模态生成模型的部署与推理门槛。

视频生成+4
30000—
ModelTC/LightX2V · 7.78
M
MMaDA
Gen-Verse·Python

开源的多模态大扩散语言模型,用块扩散、混合思维链和统一强化学习,把多模态理解与生成放进同一个模型里做。

扩散语言模型+4
16760—
Gen-Verse/MMaDA · 7.68
D
describe-anything
NVlabs·Python

给图像和视频的指定区域生成详细描述的多模态模型,支持局部定位的细粒度 captioning,适合需要精确区域理解与描述的场景。

视觉语言模型+4
15220—
NVlabs/describe-anything · 7.6
P
Prism
Tencent-Hunyuan·Python

Prism 是腾讯混元提出的动态稀疏注意力框架,让视频-音频联合生成模型能原生训练到 2K 分辨率,解决高分辨率多模态生成算力吃紧的问题。

稀疏注意力+4
15160—
Tencent-Hunyuan/Prism · 7.57
T
tango
declare-lab·Python

基于扩散模型的文本到音频生成工具,输入一段文字描述就能合成对应的声音片段,适合做音效生成和音频内容创作。

文本到音频+4
12430—
declare-lab/tango · 7.56
H
HunyuanCustom
Tencent-Hunyuan·Python

腾讯混元开源的多模态定制视频生成架构,支持音频驱动、图生视频和视频编辑,可按输入条件生成定制化视频内容。

视频生成+4
12320—
Tencent-Hunyuan/HunyuanCustom · 7.52
U
UniPic
SkyworkAI·Python

开源的多图编辑扩散模型,支持同时处理多张输入图像进行编辑与生成,适合需要批量或组合式图像编辑的场景。

多图编辑+4
8770—
SkyworkAI/UniPic · 7.49
M
MOVA
OpenMOSS·Python

单模型同时生成画面与声音的基座模型,解决视频和音频分开生成后不同步的问题,适合做带声视频创作。

视频音频生成+4
11410—
OpenMOSS/MOVA · 7.47
U
UniWorld
PKU-YuanGroup·Python

用高分辨率语义编码器把视觉理解与图像生成统一到一个模型里,既能读懂图片,也能做文生图和图像编辑。

视觉语言模型+4
8940—
PKU-YuanGroup/UniWorld · 7.39
D
Ditto
EzioBy·Python

基于扩散模型的指令式视频编辑方案,配套高质量合成数据集,解决视频编辑训练数据稀缺、难以规模化的问题。

视频编辑+4
6340—
EzioBy/Ditto · 7.37
A
Azure-AIGEN-demos
retkowsky·Jupyter Notebook

微软 Foundry 的示例、文档与加速器合集,用 Jupyter Notebook 演示 Azure OpenAI、ChatGPT、DALL·E、嵌入模型等服务的调用方式。

Azure OpenAI+4
7570—
retkowsky/Azure-AIGEN-demos · 7.36
B
biniou
Woolverine94·Python

自托管的生成式 AI 网页界面,集成 30 多种模型,覆盖图像、视频、音频生成,用浏览器就能统一调用,省去逐个搭建环境的麻烦。

生成式AI+4
11530—
Woolverine94/biniou · 7.35
C
cad3dify
neka-nat·Python

用视觉语言模型把二维工程图纸自动转成三维 CAD 模型,省去手工建模的重复劳动。

二维转三维+4
3310—
neka-nat/cad3dify · 7.34
O
OmniLottie
OpenVGLab·Python

多模态指令驱动的矢量动画生成器,输入文字或图片即可输出可直接使用的 Lottie JSON 动画文件,省去手工制作矢量动画的繁琐流程。

矢量动画生成+4
8110—
OpenVGLab/OmniLottie · 7.31
F
FoleyCrafter
open-mmlab·Python

给无声视频自动配上生动且与画面同步的音效,基于扩散模型实现视频到音频的拟音合成。

视频拟音+4
6650—
open-mmlab/FoleyCrafter · 7.29
U
UniTok
FoundationVision·Python

统一视觉分词器,把图像同时编码成适合生成和理解任务的离散 token,解决生成与理解模型各用一套 tokenizer 的割裂问题。

视觉分词器+4
5360—
FoundationVision/UniTok · 7.23
M
Maestro
Blizaine·Python

一站式本地 AI 影音工作室,输入一句提示词就能规划完整音乐视频和短片,涵盖视频、图像与音乐生成,基于 WanGP 流水线并通过 Pinokio 安装。

本地AI+4
9470—
Blizaine/Maestro · 7.18
P
payload-ai
ashbuilds·TypeScript

给 Payload CMS 装的 AI 插件,在后台直接做文本生成、AI 写作、翻译和图像生成,省去接第三方服务的麻烦。

内容生成+4
5640—
ashbuilds/payload-ai · 7.13
D
DF-GAN
tobran·Python

DF-GAN 是 CVPR2022 提出的文本到图像生成基线,用简洁的 GAN 结构从文字描述合成图像,效果稳定且易于复现。

文本生成图像+4
3270—
tobran/DF-GAN · 7.11
R
reconstruction-alignment
HorizonWind2004·Python

RecA 用自监督学习让多模态模型在生成图像时借助自身的视觉理解能力,提升文生图和图像编辑的效果,可接入 ComfyUI 使用。

多模态生成+4
4190—
HorizonWind2004/reconstruction-alignment · 7.11
D
draw-ui
oil-oil·Python

给 Claude Code 和 Codex 用的 UI 设计与还原技能,能从截图生成设计稿,再把设计稿还原成可运行页面。

设计稿生成+4
5450—
oil-oil/draw-ui · 7.06
O
OmniChar
omnichar·Python

把角色的脸、身材、服装和声音打包进一个 .char 文件,让同一个角色在不同扩散模型和视频生成工具里保持一致,省去反复调参对齐的麻烦。

角色一致性+4
5830—
omnichar/OmniChar · 7.04
G
Google-Colab_Notebooks
Isi-dev·Jupyter Notebook

一堆可直接在 Google Colab 上跑的生成式 AI 笔记本,覆盖 ComfyUI 工作流、Flux Kontext、混元、LTX 视频等图生图与图生视频玩法,省去自己配环境。

Colab 笔记本+4
5690—
Isi-dev/Google-Colab_Notebooks · 7.01
T
Transformers-for-NLP-and-Computer-Vision-3rd-Edition
Denis2054·Jupyter Notebook

《Transformers for NLP and Computer Vision》第三版配套代码,用 Jupyter Notebook 演示 BERT、CLIP、DALL·E 3、GPT-4o、Gemini 等模型在 NLP、视觉和 RAG 任务中的实战用法。

Transformer实战+4
5080—
Denis2054/Transformers-for-NLP-and-Computer-Vision-3rd-Edition · 7

发布说明里提到「多模态生成」

来自 2 个版本
  • PaddlePaddle/PaddleMIXv3.0.0-beta2025-05-09

    …00推理性能较vllm领先11.5%。LLaVA、InternVL2模型训练和推理适配昇腾910B 多模态生成 - 新增模型:Open-MAGVIT2,文生视频模型CogVideoX, HunyuanVideo - PP系列模型:发布自研可控视频模型PP-VCtrl,支持在多种控制条件下的视频生成 - 工具链升级:发布ppdiffuser

  • PaddlePaddle/PaddleMIXv2.0.02024-07-29

    …FT吞吐量提升5.6倍。支持Qwen-VL,LLaVA推理部署,较torch推理性能提升2.38倍 多模态生成 1. 视频生成能力:支持Sora相关技术,支持DiT、SiT、UViT训练推理,新增NaViT、MAGVIT-v2模型; 新增视频生成模型SVD、Open Sora,支持模型微调和推理; 新增姿态可控视频生成模型AnimateA