数据工程
共 54 个仓库
OpenAI API 的官方示例与实战指南合集，用 Jupyter Notebook 演示对话、嵌入、微调等常见用法，帮你快速上手并解决实际调用中的问题。
多类型数据标注工具，支持图像、文本、音频等标注任务，输出统一格式，方便为机器学习和深度学习项目准备训练数据。
开箱即用的 Python 财经数据接口库，一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据，省去到处爬数据、清洗数据的麻烦。
Hugging Face 官方数据集库，汇集海量即用型 AI 数据集，并提供高效的数据加载与处理工具，省去自己找数据、写加载代码的麻烦。
高性能 AI 流水线引擎，C++ 内核搭配 50+ 可扩展 Python 节点，支持多模型提供商、向量数据库和 Agent 编排，可在 IDE 中构建调试 LLM 工作流。
免费且注重隐私的浏览器屏幕录制扩展，不限录制时长，支持摄像头、麦克风和标注编辑，适合做演示和教程。
跨语言的列式内存格式与工具箱，让不同系统之间零拷贝交换数据，并加速内存分析。
面向图像、视频、音频和 3D 数据的开源标注平台，支持 AI 辅助标注、质量校验、团队协作和开发者 API，适合构建计算机视觉数据集。
面向大模型微调、RAG 和评测的数据集制作工具，支持数据生成、清洗与导出，省去手工整理训练数据的麻烦。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
自动检测和修复真实数据集中标签错误、异常样本等质量问题，帮你在训练前把脏数据清理干净，提升模型效果。
面向视觉 AI 的数据集管理与模型分析工具，能可视化浏览数据、清洗标注、发现质量问题，并支持主动学习来迭代提升模型。
收录大量实用的 Bash 单行命令和终端技巧，覆盖数据处理与 Linux 系统维护，遇到文本处理或运维任务时可直接查用。
汇集卫星与航拍影像深度学习的技术清单，涵盖数据集、模型与工具，帮遥感从业者快速找到可用的方法和资源。
面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。
GPU 加速的数据预处理库，提供高度优化的图像、音频处理算子和执行引擎，解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
面向 AI 工程师和领域专家的数据标注协作平台，支持主动学习和人机协同，帮助团队高效构建高质量训练数据集。
面向 AI 平台团队的开源 Agent 可观测与评测平台，能追踪、测试、路由并治理公司内每个 Agent 和编码助手。
浏览器扩展，用于在网页上标注、收藏和讨论有价值的内容，支持个人、团队和社区协作，并带全文搜索。
提供大量可直接用于 TensorFlow、JAX 等框架的数据集集合，省去自己下载、解析和预处理数据的麻烦，统一接口加载即可训练模型。
轻量灵活的数据校验库，用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查，在数据清洗和管道里提前拦住脏数据。
集成 YOLO 与 SAM 系列模型的 AI 辅助标注工具，能自动预标注图像，省去手工框选和分割的重复劳动。
跨平台截图与标注工具，支持裁剪、模糊、绘图和上传图床，适合需要快速截图并做标注的日常办公与开发场景。
Open3D 的 3D 机器学习扩展，提供点云与 RGBD 数据的语义分割、目标检测等任务的训练与可视化工具，支持 PyTorch 和 TensorFlow。