多模态生成
共 434 个仓库
多语言大语音生成模型，覆盖推理、训练到部署全流程，支持中英日粤语及跨语种合成，适合做语音克隆和对话机器人。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
把电子书（EPUB 等）一键转成有声书，内置 50 多种 TTS 引擎，支持声音克隆和 1696 种语言，适合批量制作多语言音频书。
阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。
把视频从一种语言翻译成另一种语言，自动生成配音和字幕并嵌入视频，适合做视频本地化和跨语言内容分发。
开源的大规模视频生成模型，支持高质量文生视频，为 AIGC 视频创作提供可用的生成能力。
收录 GPT-Image-2 图像生成 API 的调用方式与提示词范例，帮开发者快速接入并调出理想出图效果。
让视频扩散模型在普通显卡上也能跑起来，通过帧打包技术大幅降低显存占用，实现实用的长视频生成。
在 Google Colab 上一键跑起 Stable Diffusion WebUI 的笔记本合集，省去本地显卡和环境配置，直接在线出图、图生图、训练 LoRA 和 DreamBooth。
基于流匹配的语音合成模型官方实现，只需一段参考音频就能克隆音色并生成流畅自然的语音，适合做零样本 TTS 和语音克隆。
面向创作者的开源 AI 工作台，集视频下载、翻译配音、转录、图像与视频生成、剪辑于一体，支持 120 多种语言，适合做 YouTube、TikTok 等社媒内容本地化。
开源实现的 CLIP 多模态模型，提供图像-文本对比学习训练与预训练权重，支持零样本图像分类和跨模态检索。
开源音乐生成基础模型，用符号规划、零样本翻唱和智能体编辑从歌词生成完整歌曲，适合研究音乐生成与风格迁移。
开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。
腾讯混元开源的大规模视频生成框架，基于扩散 Transformer 把文本提示直接生成连贯视频，适合做文生视频研究和应用落地。
用 Python 直接调用微软 Edge 的在线语音合成服务，无需安装 Edge 浏览器或密钥，即可把文本转成自然语音。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
LTX-Video 是 Lightricks 开源的视频生成模型，支持文生视频和图生视频，基于 DiT 扩散架构，可快速生成高质量短视频。
A fast, local neural text to speech system
把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。
基于 PyTorch 的说话人日志神经网络组件库，提供语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入等预训练模块，方便搭建说话人分离与识别流程。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。
开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。
SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。