多模态生成
共 261 个仓库 · 近 4 个月有推送
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开源 AI 视频本地化配音工具，把 YouTube/Bilibili 视频自动做语音识别、字幕翻译、声音克隆和混音渲染，一站式生成多语言配音成片。
把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API，用 Docker 一键部署，支持多说话人、SSML 和字幕时间戳，CPU、AMD、NVIDIA 都能跑。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。
给 DeepSeek、GLM 等纯文本编码助手外挂视觉能力的插件，粘贴图片即可输出包含 OCR、版面和语义的结构化 JSON 证据。
基于浅层扩散机制的歌声合成与语音合成模型，AAAI 2022 官方实现，支持 MIDI 输入生成歌声，兼顾合成质量与推理速度。
统一视频生成推理与后训练框架，支持扩散模型加速、蒸馏和微调，帮你在有限算力下更快跑出视频。
从零基础到 CV、NLP、LLM 项目实战再到 ONNX/TensorRT 工程化部署的 PyTorch 中文教程，配套 Jupyter Notebook 边学边练。
把安卓手机变成可定制的 TTS 朗读器，内置微软演示接口，支持自定义 HTTP 请求、导入本地引擎，还能按中文引号自动区分旁白和对话。
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
把 LTX-Video 视频生成模型接入 ComfyUI 的插件，用节点式工作流就能跑文生视频和图生视频。
开箱即用的高质量语音转换工具，基于 PyTorch 和 RVC 实现变声与声音克隆，兼顾易用性和推理性能。
用低秩分支吸收离群值的 4-bit 扩散模型量化方案，让 FLUX 等大模型在低显存下也能高速出图，并已集成 ComfyUI。
把视频扩散模型的推理速度提升 100–200 倍，靠一致性蒸馏、稀疏线性注意力和 SageAttention 等系统级优化，让视频生成真正跑得动。
Eagle 是一系列前沿视觉语言模型，主打以数据为中心的训练策略，能看图理解并回答多模态问题，适合做图文问答和视觉理解研究。
逆向 Google Gemini 网页版得到的 Python 异步接口，能直接调用对话、图像生成等能力，省去官方 API 的申请和限制。
把随手写的提示词改写成更清晰、结构化的版本，让文生图和图像编辑模型生成效果更稳定。
收录可直接复制的 AI 图像与视频提示词，每条都附真实生成效果和来源，还提供用 agent 编辑视频的配方。
一套可扩展的列柱式压缩框架，也是目前最快的开源列柱式文件格式，面向多模态和 Arrow 数据的高效存储与读取。
一个基于 Gradio + React 的 WebUI，把 GPT-SoVITS、CosyVoice、XTTSv2、Bark、MusicGen、RVC 等二十多种语音合成、音频生成与音乐生成模型整合到同一界面，省去逐个部署的麻烦。
输入任意主题，自动生成带 TTS 旁白、字幕和章节进度条的黑底动态图形讲解视频，支持中英文，每帧都用 Remotion 代码绘制。
面向越南语的本地语音合成工具，支持即时声音克隆，在 CPU 上实时推理并输出 48kHz 音频，适合做越南语 TTS 应用。