汇总音频 AI 领域的论文、开源模型、基准和数据集,覆盖音频大模型、语音识别、TTS、音乐与音频生成,方便按方向查找资料。
面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。
基于 PyTorch 的扩散模型工具箱,统一加载和训练 Stable Diffusion、FLUX 等模型,做图像、视频、音频生成。
一个基于 Gradio + React 的 WebUI,把 GPT-SoVITS、CosyVoice、XTTSv2、Bark、MusicGen、RVC 等二十多种语音合成、音频生成与音乐生成模型整合到同一界面,省去逐个部署的麻烦。
基于扩散模型的文本到音频生成工具,输入一段文字描述就能合成对应的声音片段,适合做音效生成和音频内容创作。
Prism 是腾讯混元提出的动态稀疏注意力框架,让视频-音频联合生成模型能原生训练到 2K 分辨率,解决高分辨率多模态生成算力吃紧的问题。
面向交互式超级智能系统的高性能推理服务运行时,支持语音识别、音频与音乐生成等多模态模型,并提供 OpenAI 兼容 API。
单模型同时生成画面与声音的基座模型,解决视频和音频分开生成后不同步的问题,适合做带声视频创作。
自托管的生成式 AI 网页界面,集成 30 多种模型,覆盖图像、视频、音频生成,用浏览器就能统一调用,省去逐个搭建环境的麻烦。
开源 AIaaS 平台,统一接入 Ollama、vLLM 等本地与公有 LLM,提供嵌入管理、RAG、图像音频生成和可视化编排。
自动化视频处理服务,能从视频中提取音频、生成字幕并把字幕压回视频,省去手工剪辑和字幕对齐的麻烦。
…0.5 User-facing Highlights (zh) - 素材归档更完整 : 视频、图片和音频生成结果支持归档后的交付与访问,减少临时结果链接失效带来的影响。 - 参考素材提前校验 : 虾画生成前会检查参考素材的时长等限制,并标出不符合要求的文件,方便及时调整。 - 新增灵山图片模型 : 社区版新增 LingShan G25 F
…稳定性修复:锁定 edge-tts 版本为 7.2.7,解决 Edge TTS 服务不稳定问题,确保音频生成稳定可靠 🔗 参考链接 项目主页: https://github.com/AIDC-AI/Pixelle-Video 文档 & 示例: https://aidc-ai.github.io/Pixelle-Video/zh
✨ 新增功能 🤖 数字人口播:新增数字人视频生成流水线,支持通过人物形象图片、文本和音频生成数字人口播视频 🎥 图生视频(音画同步):新增 Audio-Visual 流水线,输入图片和提示词即可生成视频 🌍 多语言 TTS 音色扩展:新增韩语、法语、葡萄牙语、德语、俄语、土耳其语、西班牙语等多语言语音合成支持 🖥️ Running
…e-tts 版本为 7.2.1,解决近期 edge-tts 升级导致的 TTS 服务不稳定问题,确保音频生成稳定可靠 📖 文档完善:优化 FAQ 文档内容,更新模板使用指南 🐛 Bug 修复 修复 edge-tts 版本兼容性问题,彻底解决 TTS 音频生成失败和服务异常问题 🔗 参考链接 项目主页: https://github.