多模态生成
共 372 个仓库 · 一年内有推送
端到端重放 ChatGPT Plus/Team/Pro 订阅协议的逆向工具集，自带从零实现的 hCaptcha 视觉求解器，用于反欺诈机制实证研究。
把视频按场景切分、去重抽帧并配上字幕文本，让 Claude 等大模型真正「看懂」视频内容，支持 URL 或本地文件，全程本地运行。
能实时生成长视频的扩散模型，支持图生视频和交互式长上下文生成，解决长视频生成速度慢、画质难兼顾的问题。
按子领域整理的扩散模型论文合集，覆盖图像编辑、分割、检测、少样本等方向，方便快速定位相关研究。
基于 PyTorch 的多语言语音合成工具包，支持 7000 多种语言的可控快速 TTS，可训练和微调自己的语音模型。
本地离线的 AI 音频与音乐工作站，支持语音合成、声音克隆、带歌词歌曲和多轨乐谱生成，无需联网和 API 费用。
汇总扩散模型在医学影像领域的论文与资源，覆盖去噪、重建和生成任务，方便快速跟进 DDPM、NCSN 等方法的进展。
在 Arduino ESP32 硬件上跑实时语音 AI，通过安全 WebSocket 和边缘函数接入 100+ 模型，做 AI 陪伴设备。
在本地设备上跑实时多模态 AI 的 Python 项目，整合语音识别、语音合成和本地大模型，实现类似 GPT-Live 的实时对话体验，支持 Apple Silicon 和 MLX。
大模型安全、安保与隐私方向的论文阅读清单，汇总对抗攻击、越狱、隐私保护等研究，帮研究者快速定位 LLM 与多模态模型安全领域的核心文献。
用单张 LoRA 做图像编辑，仅需 0.1% 训练数据就能在身份保持上超过 GPT-4o，4GB 显存即可运行。
面向视频分析与端侧 VLM 的 C++ 边缘推理引擎，支持算能、瑞芯微 RKNN 和 x86 平台，自带可视化编排、实时 OSD、事件与可复现基准。
把 EPUB 电子书自动转成有声书音频，内置 WebUI，输出格式适配 Audiobookshelf，支持 OpenAI/ChatGPT 语音合成。
把 Yandex Station 等带 Alice 语音助手的智能家居设备接入 Home Assistant，实现语音控制和 TTS 播报。
用一个 Transformer 统一多模态理解与生成，既能看图回答，也能按文字生成图像，省去多模型拼接的麻烦。
开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。
只用几张图片就能让文生图扩散模型学会多个新概念，并把它们组合到同一张图里，适合做个性化图像生成和少样本微调。
面向流式视频超分的一步扩散框架，用局部约束稀疏注意力和微型条件解码器把扩散超分做到实时，适合直播、视频通话等低延迟场景。
开箱即用的扩散模型推理加速库，兼容 Diffusers 和 ComfyUI，通过编译优化和 LoRA 支持显著提升图像生成速度。
把剧本一键变成带动画的漫画视频，自动完成角色设计、分镜和视频合成，适合做故事短片和漫画内容。
轻量级虚拟试衣扩散模型，仅需不到8G显存即可生成1024×768试穿效果，训练和推理都很省资源。
汇总大语言模型、视觉语言模型、视觉-语言-动作模型和世界模型在自动驾驶领域的研究资源清单，持续更新，方便快速找到相关论文与项目。
把一句想法丢进对话，就能自动完成脚本、配图、配音到成片的 AI 视频生成多智能体系统，适合快速产出短片。
为 ComfyUI 提供工作流一键转 APP、屏幕共享与悬浮视频、GPT 与 3D 节点、语音识别和 TTS 等扩展节点，方便把生成流程直接做成可交互应用。