多模态生成
共 372 个仓库 · 一年内有推送
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。
基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。
ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。
面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。
给 ChatTTS 套了个本地网页界面，输入文字就能合成语音，还能对外提供 API 接口，省去自己写前端和接口的功夫。
通用 AIGC 视频引擎，把剧本到成片串成一条流水线，覆盖漫剧、广告、电商和乙游等场景，省去多工具拼接的麻烦。
一站式 WebUI，基于 Diffusers 和 PyTorch 统一完成 AI 图像与视频生成、打标和后期处理，省去在多个工具间切换的麻烦。
Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。
精选 GPT、ChatGPT、PaLM 等大模型的提示工程资源合集，涵盖提示设计、少样本学习与提示生成等实践资料，方便快速查找和上手。
自部署的 AI 视频工作台，能把小说和剧本自动拆成角色、场景、道具资产与分镜，生成视频并导出剪映草稿，还支持跨镜头一致性和多供应商费用追踪。
基于大语言模型的语音合成系统，能生成接近真人音色的自然语音，并支持实时流式输出，适合搭建低延迟的 TTS 服务。
预训练语音合成模型集合，支持俄语、亚美尼亚语等多种语言，几行代码就能把文本转成语音，省去自己训练模型的麻烦。
基于微软语音合成接口的桌面工具，用 Electron + Vue 构建，输入文本即可生成语音并导出音频文件。
面向 OpenAI GPT Image 2/2.5 的提示词图库与命令行工具，内置可被 Claude Code、Codex 调用的 agent 技能，帮你快速生成和编辑图片。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
中文版 CLIP 预训练模型，支持中文图文跨模态检索和表征生成，可直接用于图文匹配、零样本分类等任务。
汇总视频生成、编辑等方向的扩散模型资源清单，方便快速查找和跟进相关论文与项目。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
开源 AI 视频本地化配音工具，把 YouTube/Bilibili 视频自动做语音识别、字幕翻译、声音克隆和混音渲染，一站式生成多语言配音成片。
基于 Nano Banana Pro 的小红书图文一站式生成器，输入一句话就能同时产出笔记文案和配图，省去分别写稿和找图的麻烦。
把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API，用 Docker 一键部署，支持多说话人、SSML 和字幕时间戳，CPU、AMD、NVIDIA 都能跑。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
开箱即用的视频扩散模型工具箱，支持文生视频和图生视频，重点解决高质量视频训练数据不足的问题。