用对比学习把图像和文本映射到同一嵌入空间,实现零样本图像分类和图文匹配,是跨模态检索与多模态模型的经典底座。
中文版 CLIP 预训练模型,支持中文图文跨模态检索和表征生成,可直接用于图文匹配、零样本分类等任务。
开源实现的 CLIP 多模态模型,提供图像-文本对比学习训练与预训练权重,支持零样本图像分类和跨模态检索。
系统梳理多模态检索增强生成的研究进展,把图文音视频等跨模态检索与生成方法归拢成一份综述,帮研究者快速摸清这个方向的全貌。