开源实现的 CLIP 多模态模型,提供图像-文本对比学习训练与预训练权重,支持零样本图像分类和跨模态检索。
用对比学习把图像和文本映射到同一嵌入空间,实现零样本图像分类和图文匹配,是跨模态检索与多模态模型的经典底座。
中文版 CLIP 预训练模型,支持中文图文跨模态检索和表征生成,可直接用于图文匹配、零样本分类等任务。
整理 CLIP 等视觉语言模型上 prompt learning 与 adapter learning 方法的论文清单,方便做少样本、零样本分类的研究者快速找到相关工作和基线。
…个样本的 WER 语言配置,以及无法评分的音频被计为完美 WER 0 的问题。 - 修复 CLIP 零样本分类在新 NumPy 下的标量转换、 limit 截断和 skip existing 提前终止整个任务的问题。 - 修复一条记录生成多个样本时, repeats 将不同问题分到同一重复组,影响 pass@k / vote@k 的问题。