多模态生成
共 372 个仓库 · 一年内有推送
免费开源的语音合成引擎，支持俄语、英语、葡萄牙语等多种语言，可在 Android 和 Linux 上离线把文本转成语音。
腾讯混元开源的图生视频模型，基于 HunyuanVideo 构建，支持自定义控制，把静态图片转成连贯视频。
把 GPT-SoVITS 语音克隆模型转成 ONNX 并做推理的引擎，方便在没有 PyTorch 环境里跑少样本音色克隆和语音合成。
阿里通义实验室 OCR 团队维护的文档智能算法集合，涵盖端到端 OCR、文档理解与多模态文档分析，帮开发者处理复杂文档识别任务。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。
收集大模型越狱攻击的前沿论文、代码、数据集与评测分析，帮安全研究者快速跟进 LLM 与多模态模型的攻防进展。
汇总 Segment Anything 相关论文、项目与应用的资源清单，方便快速跟进分割大模型在图像分割、目标检测、图像修复等方向的进展。
开源的多模态大扩散语言模型，用块扩散、混合思维链和统一强化学习，把多模态理解与生成放进同一个模型里做。
汇总扩散模型与强化学习结合方向的论文、代码和教程资源，方便研究者快速跟进这一交叉领域的最新进展。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
Soprano 是一个超写实、低延迟的文本转语音引擎，能把文字快速合成接近真人音色的语音，适合需要即时发声的场景。
基于扩散模型生成逼真说话人像视频，通过连贯运动合成让口型与头部动作自然同步，适合做数字人播报和虚拟主播。
把 MiniMax 的语音合成、文生图、文生视频等生成能力封装成 MCP 服务，让 Claude 等支持 MCP 的客户端直接调用。
Infinity 是一个用位级自回归建模做高分辨率图像生成的模型，把 GPT 式架构扩展到视觉生成，解决高分辨率文生图的质量和扩展性问题。
基于流匹配的语音合成模型，通过表情符号控制说话风格，支持声音克隆，让 TTS 输出带情绪和语气变化。
把微软 VibeVoice 语音合成模型接入 ComfyUI 的节点插件，支持单人和多人对话式语音生成，可直接在工作流里出高质量配音。
开源的 Android 语音助手应用，支持离线语音识别、唤醒词检测和语音合成，可替代系统自带助手。
Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。
.png){kind=small}
用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。
用视觉语言模型做摄像头监控，能理解画面内容而不只是检测移动，适合替代传统 NVR 的简单告警。
Prism 是腾讯混元提出的动态稀疏注意力框架，让视频-音频联合生成模型能原生训练到 2K 分辨率，解决高分辨率多模态生成算力吃紧的问题。
把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。
面向扩散模型和全模态模型的多模态强化学习训练框架，支持 GRPO、流匹配和 vLLM 推理，用来做图像生成与多模态模型的 RLHF 训练。
面向双语会议的实时双向语音翻译工具，自动识别说话语言并双向互译，支持云端或完全离线本地运行，覆盖桌面端和浏览器插件。