多模态生成

输入一段文本就能生成带笑声、叹息等非语言声音和背景音乐的语音，效果自然，适合做创意配音和音频内容原型。

CLIP

openai·Jupyter Notebook

用对比学习把图像和文本映射到同一嵌入空间，实现零样本图像分类和图文匹配，是跨模态检索与多模态模型的经典底座。

Qwen3-VL

QwenLM·Jupyter Notebook

阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

在 Google Colab 上一键跑起 Stable Diffusion WebUI 的笔记本合集，省去本地显卡和环境配置，直接在线出图、图生图、训练 LoRA 和 DreamBooth。

pyannote-audio

pyannote·Jupyter Notebook

基于 PyTorch 的说话人日志神经网络组件库，提供语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入等预训练模块，方便搭建说话人分离与识别流程。

基于下一尺度预测的自回归视觉生成模型，用GPT式架构做图像生成并击败扩散模型，代码简洁易用，附带缩放定律研究。