多模态生成
共 372 个仓库 · 一年内有推送
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。
给 DeepSeek、GLM 等纯文本编码助手外挂视觉能力的插件，粘贴图片即可输出包含 OCR、版面和语义的结构化 JSON 证据。
基于浅层扩散机制的歌声合成与语音合成模型，AAAI 2022 官方实现，支持 MIDI 输入生成歌声，兼顾合成质量与推理速度。
统一视频生成推理与后训练框架，支持扩散模型加速、蒸馏和微调，帮你在有限算力下更快跑出视频。
一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。
把 OpenAI Whisper 语音识别模型反过来用做文本转语音的开源 TTS 系统，基于 PyTorch 实现，可直接在真实语音数据上训练出多说话人合成效果。
从零基础到 CV、NLP、LLM 项目实战再到 ONNX/TensorRT 工程化部署的 PyTorch 中文教程，配套 Jupyter Notebook 边学边练。
腾讯混元推出的轻量级视频生成模型，支持文生视频和图生视频，在较小参数规模下也能生成高质量视频，适合显存和算力有限的场景部署。
把安卓手机变成可定制的 TTS 朗读器，内置微软演示接口，支持自定义 HTTP 请求、导入本地引擎，还能按中文引号自动区分旁白和对话。
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
把 LTX-Video 视频生成模型接入 ComfyUI 的插件，用节点式工作流就能跑文生视频和图生视频。
封神榜大模型是 IDEA 研究院开源的中文大模型体系，提供预训练模型、分布式训练和多模态能力，为中文 AIGC 与认知智能应用提供基础模型支撑。
开箱即用的高质量语音转换工具，基于 PyTorch 和 RVC 实现变声与声音克隆，兼顾易用性和推理性能。
用低秩分支吸收离群值的 4-bit 扩散模型量化方案，让 FLUX 等大模型在低显存下也能高速出图，并已集成 ComfyUI。
把视频扩散模型的推理速度提升 100–200 倍，靠一致性蒸馏、稀疏线性注意力和 SageAttention 等系统级优化，让视频生成真正跑得动。
Eagle 是一系列前沿视觉语言模型，主打以数据为中心的训练策略，能看图理解并回答多模态问题，适合做图文问答和视觉理解研究。
MAGI-1 是一个大规模自回归视频生成模型，把视频拆成片段逐段预测生成，适合需要长时序连贯性的视频创作场景。
逆向 Google Gemini 网页版得到的 Python 异步接口，能直接调用对话、图像生成等能力，省去官方 API 的申请和限制。
把随手写的提示词改写成更清晰、结构化的版本，让文生图和图像编辑模型生成效果更稳定。
收录可直接复制的 AI 图像与视频提示词，每条都附真实生成效果和来源，还提供用 agent 编辑视频的配方。
一套可扩展的列柱式压缩框架，也是目前最快的开源列柱式文件格式，面向多模态和 Arrow 数据的高效存储与读取。
一个基于 Gradio + React 的 WebUI，把 GPT-SoVITS、CosyVoice、XTTSv2、Bark、MusicGen、RVC 等二十多种语音合成、音频生成与音乐生成模型整合到同一界面，省去逐个部署的麻烦。
输入任意主题，自动生成带 TTS 旁白、字幕和章节进度条的黑底动态图形讲解视频，支持中英文，每帧都用 Remotion 代码绘制。
面向越南语的本地语音合成工具，支持即时声音克隆，在 CPU 上实时推理并输出 48kHz 音频，适合做越南语 TTS 应用。