多模态生成
共 434 个仓库
汇总扩散模型在医学影像领域的论文与资源，覆盖去噪、重建和生成任务，方便快速跟进 DDPM、NCSN 等方法的进展。
在 Arduino ESP32 硬件上跑实时语音 AI，通过安全 WebSocket 和边缘函数接入 100+ 模型，做 AI 陪伴设备。
在本地设备上跑实时多模态 AI 的 Python 项目，整合语音识别、语音合成和本地大模型，实现类似 GPT-Live 的实时对话体验，支持 Apple Silicon 和 MLX。
大模型安全、安保与隐私方向的论文阅读清单，汇总对抗攻击、越狱、隐私保护等研究，帮研究者快速定位 LLM 与多模态模型安全领域的核心文献。
用单张 LoRA 做图像编辑，仅需 0.1% 训练数据就能在身份保持上超过 GPT-4o，4GB 显存即可运行。
面向视频分析与端侧 VLM 的 C++ 边缘推理引擎，支持算能、瑞芯微 RKNN 和 x86 平台，自带可视化编排、实时 OSD、事件与可复现基准。
把 EPUB 电子书自动转成有声书音频，内置 WebUI，输出格式适配 Audiobookshelf，支持 OpenAI/ChatGPT 语音合成。
把 Yandex Station 等带 Alice 语音助手的智能家居设备接入 Home Assistant，实现语音控制和 TTS 播报。
用一个 Transformer 统一多模态理解与生成，既能看图回答，也能按文字生成图像，省去多模型拼接的麻烦。
开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。
只用几张图片就能让文生图扩散模型学会多个新概念，并把它们组合到同一张图里，适合做个性化图像生成和少样本微调。
面向流式视频超分的一步扩散框架，用局部约束稀疏注意力和微型条件解码器把扩散超分做到实时，适合直播、视频通话等低延迟场景。
开箱即用的扩散模型推理加速库，兼容 Diffusers 和 ComfyUI，通过编译优化和 LoRA 支持显著提升图像生成速度。
把剧本一键变成带动画的漫画视频，自动完成角色设计、分镜和视频合成，适合做故事短片和漫画内容。
轻量级虚拟试衣扩散模型，仅需不到8G显存即可生成1024×768试穿效果，训练和推理都很省资源。
汇总大语言模型、视觉语言模型、视觉-语言-动作模型和世界模型在自动驾驶领域的研究资源清单，持续更新，方便快速找到相关论文与项目。
把一句想法丢进对话，就能自动完成脚本、配图、配音到成片的 AI 视频生成多智能体系统，适合快速产出短片。
为 ComfyUI 提供工作流一键转 APP、屏幕共享与悬浮视频、GPT 与 3D 节点、语音识别和 TTS 等扩展节点，方便把生成流程直接做成可交互应用。
免费开源的语音合成引擎，支持俄语、英语、葡萄牙语等多种语言，可在 Android 和 Linux 上离线把文本转成语音。
腾讯混元开源的图生视频模型，基于 HunyuanVideo 构建，支持自定义控制，把静态图片转成连贯视频。
把 GPT-SoVITS 语音克隆模型转成 ONNX 并做推理的引擎，方便在没有 PyTorch 环境里跑少样本音色克隆和语音合成。
阿里通义实验室 OCR 团队维护的文档智能算法集合，涵盖端到端 OCR、文档理解与多模态文档分析，帮开发者处理复杂文档识别任务。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。
收集大模型越狱攻击的前沿论文、代码、数据集与评测分析，帮安全研究者快速跟进 LLM 与多模态模型的攻防进展。