多模态生成
共 261 个仓库 · 近 4 个月有推送
本地离线的 AI 音频与音乐工作站，支持语音合成、声音克隆、带歌词歌曲和多轨乐谱生成，无需联网和 API 费用。
在 Arduino ESP32 硬件上跑实时语音 AI，通过安全 WebSocket 和边缘函数接入 100+ 模型，做 AI 陪伴设备。
在本地设备上跑实时多模态 AI 的 Python 项目，整合语音识别、语音合成和本地大模型，实现类似 GPT-Live 的实时对话体验，支持 Apple Silicon 和 MLX。
大模型安全、安保与隐私方向的论文阅读清单，汇总对抗攻击、越狱、隐私保护等研究，帮研究者快速定位 LLM 与多模态模型安全领域的核心文献。
面向视频分析与端侧 VLM 的 C++ 边缘推理引擎，支持算能、瑞芯微 RKNN 和 x86 平台，自带可视化编排、实时 OSD、事件与可复现基准。
把 EPUB 电子书自动转成有声书音频，内置 WebUI，输出格式适配 Audiobookshelf，支持 OpenAI/ChatGPT 语音合成。
把 Yandex Station 等带 Alice 语音助手的智能家居设备接入 Home Assistant，实现语音控制和 TTS 播报。
开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。
面向流式视频超分的一步扩散框架，用局部约束稀疏注意力和微型条件解码器把扩散超分做到实时，适合直播、视频通话等低延迟场景。
汇总大语言模型、视觉语言模型、视觉-语言-动作模型和世界模型在自动驾驶领域的研究资源清单，持续更新，方便快速找到相关论文与项目。
把一句想法丢进对话，就能自动完成脚本、配图、配音到成片的 AI 视频生成多智能体系统，适合快速产出短片。
免费开源的语音合成引擎，支持俄语、英语、葡萄牙语等多种语言，可在 Android 和 Linux 上离线把文本转成语音。
把 GPT-SoVITS 语音克隆模型转成 ONNX 并做推理的引擎，方便在没有 PyTorch 环境里跑少样本音色克隆和语音合成。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。
收集大模型越狱攻击的前沿论文、代码、数据集与评测分析，帮安全研究者快速跟进 LLM 与多模态模型的攻防进展。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
把 MiniMax 的语音合成、文生图、文生视频等生成能力封装成 MCP 服务，让 Claude 等支持 MCP 的客户端直接调用。
基于流匹配的语音合成模型，通过表情符号控制说话风格，支持声音克隆，让 TTS 输出带情绪和语气变化。
开源的 Android 语音助手应用，支持离线语音识别、唤醒词检测和语音合成，可替代系统自带助手。
Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。
.png){kind=small}
用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。
把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。
Prism 是腾讯混元提出的动态稀疏注意力框架，让视频-音频联合生成模型能原生训练到 2K 分辨率，解决高分辨率多模态生成算力吃紧的问题。
面向扩散模型和全模态模型的多模态强化学习训练框架，支持 GRPO、流匹配和 vLLM 推理，用来做图像生成与多模态模型的 RLHF 训练。