数据工程
共 24 个仓库 · Python
开箱即用的 Python 财经数据接口库，一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据，省去到处爬数据、清洗数据的麻烦。
Hugging Face 官方数据集库，汇集海量即用型 AI 数据集，并提供高效的数据加载与处理工具，省去自己找数据、写加载代码的麻烦。
高性能 AI 流水线引擎，C++ 内核搭配 50+ 可扩展 Python 节点，支持多模型提供商、向量数据库和 Agent 编排，可在 IDE 中构建调试 LLM 工作流。
面向图像、视频、音频和 3D 数据的开源标注平台，支持 AI 辅助标注、质量校验、团队协作和开发者 API，适合构建计算机视觉数据集。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
自动检测和修复真实数据集中标签错误、异常样本等质量问题，帮你在训练前把脏数据清理干净，提升模型效果。
面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。
面向 AI 工程师和领域专家的数据标注协作平台，支持主动学习和人机协同，帮助团队高效构建高质量训练数据集。
提供大量可直接用于 TensorFlow、JAX 等框架的数据集集合，省去自己下载、解析和预处理数据的麻烦，统一接口加载即可训练模型。
轻量灵活的数据校验库，用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查，在数据清洗和管道里提前拦住脏数据。
集成 YOLO 与 SAM 系列模型的 AI 辅助标注工具，能自动预标注图像，省去手工框选和分割的重复劳动。
Open3D 的 3D 机器学习扩展，提供点云与 RGBD 数据的语义分割、目标检测等任务的训练与可视化工具，支持 PyTorch 和 TensorFlow。
快速扫描图像和视频数据集，找出重复、相似和异常样本，帮助清洗数据、提升标签质量并降低数据运维成本。
面向 AI 训练数据的标注与数据管理平台，支持图像等数据标注、数据集版本管理和人工审核流程，可接入自有应用或直接用内置 UI 组织数据工作流。
基于安全强化学习的人类反馈对齐框架，通过约束优化让大模型在有用性和安全性之间取得平衡，附带 Beaver 系列模型与数据集。
基于扩散模型的虚拟试衣方案，可自定义服装、姿态和场景生成高保真人物图，并保持服装细节一致。
用 Python 抓取 CoinMarketCap 的历史价格数据，方便做量化回测或行情分析时直接拿到干净的加密货币历史行情。
面向城市峡谷等复杂场景的多传感器数据集，包含激光雷达、相机等全套传感器数据，用于自动驾驶的建图与定位算法评测。
基于 9262 例 CT 体积和 25 个标注类别预训练的 3D 医学影像模型，可直接用于腹部器官分割等下游任务，省去从零训练。
用 YOLO 检测工地未戴安全帽、未穿反光衣及靠近机械等危险行为，并用 HDBSCAN 聚类锥桶坐标划定监控区域，提升施工安全。
用深度学习处理排球比赛视频数据，做球员与球的检测跟踪、球场识别和动作事件分析，适合体育视频分析场景。
提供 ChatGPT(GPT-3.5) 和 GPT-4 的真实工作负载 trace 数据集，用来评估和优化 LLM 推理服务系统的调度与资源分配。
用视觉语言模型自动标注目标检测数据并一键训练 YOLO 的端到端平台，支持图片和视频关键帧提取，省去手工框标注的重复劳动。
AbdomenAtlas 3.0 提供 9262 例腹部 CT 及配套医学报告，报告比人工书写更准、更细、更规范且生成更快，可用于训练和评测病灶分割与视觉语言模型。