面向大模型训练的数据处理流水线,把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。
面向大模型微调、RAG 和评测的数据集制作工具,支持数据生成、清洗与导出,省去手工整理训练数据的麻烦。
面向 GenAI 应用的开源数据准备工具包,提供去重、数据清洗与预处理流水线,帮助把原始数据整理成可用于微调大模型的高质量数据集。
面向基础模型训练的多模态数据流水线,把数据清洗、筛选和质量评估串成可扩展流程,解决大规模图文数据难治理的问题。
面向视觉 AI 的数据集管理与模型分析工具,能可视化浏览数据、清洗标注、发现质量问题,并支持主动学习来迭代提升模型。
收录大量实用的 Bash 单行命令和终端技巧,覆盖数据处理与 Linux 系统维护,遇到文本处理或运维任务时可直接查用。
OpenAI API 的官方示例与实战指南合集,用 Jupyter Notebook 演示对话、嵌入、微调等常见用法,帮你快速上手并解决实际调用中的问题。
基于 Postgres 的一站式后端开发平台,提供专用数据库、认证、存储和向量检索能力,可替代 Firebase 快速搭建 Web、移动和 AI 应用。
OpenAI 官方开源的高速 BPE 分词器,专为 GPT 系列模型设计,能快速把文本切成 token,适合训练和推理时做文本预处理。
跨语言的列式内存格式与工具箱,让不同系统之间零拷贝交换数据,并加速内存分析。
给 AI Agent 做强化学习训练和调优的框架,把 Agent 的推理轨迹变成训练信号,让智能体越跑越强。
基于码本查找 Transformer 的盲人脸修复模型,能在低质量、模糊或退化的人脸图像上恢复清晰细节,适合老照片修复和人脸增强场景。
用深度学习快速准确地识别文件真实类型,不依赖扩展名,支持 MIME 检测,Rust 实现,可嵌入各类应用做内容安全与文件分类。
高性能 AI 流水线引擎,C++ 内核搭配 50+ 可扩展 Python 节点,支持多模型提供商、向量数据库和 Agent 编排,可在 IDE 中构建调试 LLM 工作流。
Meta 开源的 SAM 2 图像与视频通用分割模型,提供推理代码、预训练权重下载和示例 notebook,可对任意画面中的物体做可提示分割与视频目标跟踪。
Kedro 是一个面向生产环境的数据科学工具箱,用软件工程最佳实践帮你搭建可复现、易维护、模块化的数据工程与数据科学流水线。
基于 PyTorch 的开源语音工具包,覆盖语音识别、说话人识别与分离、语音增强等任务,提供预训练模型和训练流程,方便快速搭建语音系统。
开箱即用的 Python 财经数据接口库,一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据,省去到处爬数据、清洗数据的麻烦。
一套功能强大的命令行图像处理工具集,支持 200 多种格式的创建、编辑与转换,适合脚本自动化和跨平台批量处理图片。
自动检测和修复真实数据集中标签错误、异常样本等质量问题,帮你在训练前把脏数据清理干净,提升模型效果。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
轻量灵活的数据校验库,用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查,在数据清洗和管道里提前拦住脏数据。
自动扫描图像数据集,找出重复、模糊、曝光异常等质量问题,帮你在训练前把数据清洗干净。
快速扫描图像和视频数据集,找出重复、相似和异常样本,帮助清洗数据、提升标签质量并降低数据运维成本。
一站式评估 AI 数据、模型和应用质量的工具,能检测数据质量、幻觉等问题并生成质量报告,适合做数据清洗与模型上线前的质量把关。
收录 Claude Skills 精选资源与工具,帮开发者定制 Claude 工作流,快速搭建自动化 AI 智能体。