多模态生成
共 261 个仓库 · 近 4 个月有推送
面向双语会议的实时双向语音翻译工具，自动识别说话语言并双向互译，支持云端或完全离线本地运行，覆盖桌面端和浏览器插件。
面向各类 Stable Diffusion 模型的高质量免训练图像修复方案，可作为 ComfyUI 自定义节点直接接入工作流，无需额外训练即可完成局部重绘。
汇总日语大语言模型资源的清单，涵盖基础模型与生成式模型，方便快速查找和对比日语 LLM 生态。
用计算图变换（如自动微分）加速飞行器设计优化，提供气动、推进、结构、轨迹设计等可组合分析工具，适合多学科设计优化场景。
面向开发者的模型优化框架，能对扩散模型、LLM、语音识别等模型做压缩加速，以极低改造成本换来更快、更省资源的推理。
基于条件流匹配的快速非自回归语音合成架构，用更少采样步数生成高质量语音，适合搭建低延迟 TTS 系统。
面向扩散模型的可扩展、显存优化训练框架，基于 PyTorch 和 Diffusers，让大模型微调在有限显存下也能跑起来。
本地离线跑图像生成、实时语音对话和 LLM 聊天机器人的桌面推理引擎，数据不出本机，适合注重隐私的创作与自动化工作流。
把 RVC、F5-TTS、Chatterbox、IndexTTS-2 等十多种本地语音合成与变声引擎集成进 ComfyUI，支持多语言、超长文本、SRT 时间轴和角色音色，一站式完成配音与音频编辑。
轻量级多模态模型库，能同时理解多语言文本和图像，速度比 OpenAI CLIP 和 LLaVA 快 5 倍，适合做图文检索和内容生成。
拆解抖音爆款知识短片，自动生成导演分镜表、配音效并一键出片，适合批量做知识类短视频。
开源多模态训练框架，基于 Qwen3 等底座训练视觉语言模型，降低多模态模型训练门槛。
支持普通话、粤语、藏语的中文语音合成引擎，可离线把文本转成语音，适合做多语言 TTS 应用。
MeanFlow 与 iMF 的 PyTorch 实现，用一步生成建模替代多步扩散采样，让图像生成推理更快。
本地免费运行的一站式 AI 视频与图像编辑工具，集换脸、口型同步、抠图去物、风格重绘、人声分离与克隆、视频生成于一体。
自托管的生成式 AI 网页界面，集成 30 多种模型，覆盖图像、视频、音频生成，用浏览器就能统一调用，省去逐个搭建环境的麻烦。
单模型同时生成画面与声音的基座模型，解决视频和音频分开生成后不同步的问题，适合做带声视频创作。
NVIDIA 开源的扩散模型加速生成方案，用一致性模型、分布匹配蒸馏和流映射等蒸馏技术，把扩散模型的多步采样压缩到极少步数，显著提升出图速度。
汇总文本到图像扩散模型可控生成方向的论文、代码与工具资源，覆盖空间控制、多概念组合和个性化生成，方便快速查找与调研。
收录 660+ 个生成式媒体模型和第三方 API 工具的目录，每个条目一个 YAML 文件，按能力分类浏览，方便给 AI Agent 快速找接口。
把在线策略自蒸馏引入扩散模型后训练，用强化学习思路提升文生图和图像编辑的生成质量，省去额外奖励模型。
给 DeepSeek Harness 加语音女友的插件：Whisper 听你说话，Qwen3-TTS 克隆音色并逐句流式朗读，配数字人动画窗，支持插话打断。
把自回归扩散模型蒸馏成少步采样，实现高质量实时交互式视频生成，解决扩散模型推理慢、难以实时出片的问题。
基于预训练流模型实现免反演文本编辑，无需先反演再重建，直接按文字指令修改图像，简化流程并提升编辑效果。