面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。

提供模糊字符串匹配、分组和评估的 Python 库，支持编辑距离、TF-IDF 和 BERT 嵌入等多种相似度算法，适合做实体对齐和文本去重。