多模态生成
共 261 个仓库 · 近 4 个月有推送
用 Python 直接调用微软 Edge 的在线语音合成服务，无需安装 Edge 浏览器或密钥，即可把文本转成自然语音。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
LTX-Video 是 Lightricks 开源的视频生成模型，支持文生视频和图生视频，基于 DiT 扩散架构，可快速生成高质量短视频。
把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。
基于 PyTorch 的说话人日志神经网络组件库，提供语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入等预训练模块，方便搭建说话人分离与识别流程。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。
SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。
基于多模态大模型的 GUI 智能体家族，能看懂手机和电脑界面并自动点击操作，帮你完成跨 App 的自动化任务。
基于 so-vits-svc 改进的歌声与语音转换工具，支持实时变声、更友好的操作界面和更多功能，适合做 AI 翻唱和音色克隆。
用两小时从零训练一个 65M 参数的多模态视觉语言模型，代码和流程完整，适合低成本复现 VLM 训练与对话实验。
基于 VITS2 骨干网络和多语言 BERT 的语音合成模型，能生成自然度较高的多语种语音，适合做 TTS 训练与推理。
多音色、支持提示词控制情感与风格的语音合成引擎，输入文本即可生成带情绪表现力的自然语音，适合做有声内容和虚拟人配音。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。
基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。
ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。
面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。
通用 AIGC 视频引擎，把剧本到成片串成一条流水线，覆盖漫剧、广告、电商和乙游等场景，省去多工具拼接的麻烦。
一站式 WebUI，基于 Diffusers 和 PyTorch 统一完成 AI 图像与视频生成、打标和后期处理，省去在多个工具间切换的麻烦。
Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。
精选 GPT、ChatGPT、PaLM 等大模型的提示工程资源合集，涵盖提示设计、少样本学习与提示生成等实践资料，方便快速查找和上手。
自部署的 AI 视频工作台，能把小说和剧本自动拆成角色、场景、道具资产与分镜，生成视频并导出剪映草稿，还支持跨镜头一致性和多供应商费用追踪。
预训练语音合成模型集合，支持俄语、亚美尼亚语等多种语言，几行代码就能把文本转成语音，省去自己训练模型的麻烦。
面向 OpenAI GPT Image 2/2.5 的提示词图库与命令行工具，内置可被 Claude Code、Codex 调用的 agent 技能，帮你快速生成和编辑图片。
汇总视频生成、编辑等方向的扩散模型资源清单，方便快速查找和跟进相关论文与项目。