数据工程

共 50 个仓库 · 一年内有推送

打开分类页
fastdup
visual-layer·Python

快速扫描图像和视频数据集,找出重复、相似和异常样本,帮助清洗数据、提升标签质量并降低数据运维成本。

图像去重+4数据集托管
191595v2.2_3.82026-08-23 12:48 UTC
diffgram
diffgram·Python

面向 AI 训练数据的标注与数据管理平台,支持图像等数据标注、数据集版本管理和人工审核流程,可接入自有应用或直接用内置 UI 组织数据工作流。

数据标注+4标注与偏好数据
19101331.25.32026-06-22 07:33 UTC
safe-rlhf
PKU-Alignment·Python

基于安全强化学习的人类反馈对齐框架,通过约束优化让大模型在有用性和安全性之间取得平衡,附带 Beaver 系列模型与数据集。

安全对齐+4数据集托管
16211342025-11-24 04:07 UTC
Capso
lzhgus·Swift

macOS 上的开源截图与录屏工具,用 Swift 6 和 SwiftUI 原生开发,是 CleanShot X 的免费替代品,支持标注和 OCR。

截图工具+4标注与偏好数据
1496+495v1.2.82026-11-10 01:43 UTC
kitops
kitops-ml·Go

把 AI/ML 模型、数据集、代码和配置打包成 OCI Artifact 并做版本管理,让模型交付像容器镜像一样标准化、可复现。

模型打包+4数据集托管
1441189v1.17.02026-11-09 20:07 UTC
langtrace
Scale3-Labs·TypeScript

基于 OpenTelemetry 的 LLM 应用全链路可观测性工具,提供实时追踪、评估和指标,支持主流大模型、框架与向量数据库,可用 TypeScript 和 Python 接入。

可观测性+4数据集托管
12341284.0.112025-11-17 15:08 UTC
M2DGR
SJTU-ViSYS

面向地面机器人的多模态多场景数据集,包含双目相机、激光雷达、IMU 等传感器数据,用于 SLAM 与定位算法的评测和训练。

多模态数据集+4数据集托管
1225+31312026-11-02 16:14 UTC
mola
MOLAorg·C++

模块化 C++ SLAM 框架,支持激光雷达、视觉与图优化,用于移动机器人的定位与建图。

SLAM+4数据集托管
1057+11523.4.02026-11-10 22:11 UTC
capcap
realskyrin·Swift

轻量级原生 macOS 截图工具,常驻菜单栏,双击 ⌘ 即可框选截屏并自动复制到剪贴板,还支持画笔和马赛克标注。

截图工具+4标注与偏好数据
1052+687release-v1.7.252026-11-09 04:31 UTC
awesome-mobile-robotics
mathiasmantelli

汇集移动机器人领域的优质资源清单,涵盖定位、数据集、实验室、公司、书籍与招聘信息,方便快速查找学习资料和行业动态。

移动机器人+4数据集托管
7871182026-08-03 18:36 UTC
nimble
facebookincubator·C++

面向大规模列式数据集的可扩展文件格式,用 C++ 实现,支持压缩与编码,适合机器学习训练和数据分析场景下的高效存储。

列式存储+4压缩解压
744982026-09-21 18:48 UTC
awesome-open-data-annotation
zenml-io

汇总开源数据标注与打标签工具的清单,帮做机器学习的人快速找到合适的标注方案。

数据标注+4标注与偏好数据
734662026-07-06 19:31 UTC
cryptoCMD
guptarohit·Python

用 Python 抓取 CoinMarketCap 的历史价格数据,方便做量化回测或行情分析时直接拿到干净的加密货币历史行情。

加密货币+4数据集托管
612118v0.6.52026-07-25 06:19 UTC
Kiri
yuxino·Rust

跨平台截图、录屏和 OCR 工具,基于 Tauri 和 Rust 构建,本地优先,支持图片标注,适合日常快速截取与文字提取。

截图工具+4标注与偏好数据
559+331v1.6.382026-11-09 09:43 UTC
awesome-time-series-segmentation-papers
lzz19980125·MATLAB

整理时间序列分割方向的论文阅读清单,覆盖变点检测、异常检测、多变量时序等主题,方便快速找到该领域的代表性工作。

时间序列分割+4时序预测
547142026-10-07 11:10 UTC
cleora
BaseModelAI·Jupyter Notebook

Cleora 是面向异构关系数据的通用嵌入学习模型,能高效、可扩展地生成稳定且支持归纳的实体嵌入,适合图与超图场景。

实体嵌入+4数据集托管
54558v3.2.12026-04-02 15:27 UTC
UrbanLoco
weisongwen·Python

面向城市峡谷等复杂场景的多传感器数据集,包含激光雷达、相机等全套传感器数据,用于自动驾驶的建图与定位算法评测。

多传感器数据集+4数据集托管
484432025-11-27 12:27 UTC
SuPreM
MrGiovanni·Python

基于 9262 例 CT 体积和 25 个标注类别预训练的 3D 医学影像模型,可直接用于腹部器官分割等下游任务,省去从零训练。

医学影像+4数据集托管
436+1262026-10-26 02:19 UTC
MA-LIO
minwoo0611·C++

异步多激光雷达惯性里程计,通过逐点跨雷达不确定性传播,融合多个不同步的 LiDAR 数据,实现更鲁棒的 SLAM 定位与建图。

多激光雷达+4数据集托管
396492025-12-01 00:33 UTC
Construction-Hazard-Detection
yihong1120·Python

用 YOLO 检测工地未戴安全帽、未穿反光衣及靠近机械等危险行为,并用 HDBSCAN 聚类锥桶坐标划定监控区域,提升施工安全。

危险检测+4标注与偏好数据
352+246v5.0.02026-11-07 17:13 UTC
Screenshot
jiuwanzi-hui·C#

轻量级 Windows/macOS 截图工作台,集框选截图、长截图、区域录屏、钉图取色、标注、OCR 与翻译于一体,数据全部留在本机。

截图工具+4标注与偏好数据
328+823v4.5.22026-11-10 01:52 UTC
DatasetLoom
599yongyang·TypeScript

面向多模态大模型训练的数据集构建与评估平台,支持数据集的智能生成、管理与质量评估,帮助团队高效准备 VLM 训练数据。

多模态数据集+4数据集托管
30234v0.1.42025-12-13 04:58 UTC
BurstGPT
HPMLL·Python

提供 ChatGPT(GPT-3.5) 和 GPT-4 的真实工作负载 trace 数据集,用来评估和优化 LLM 推理服务系统的调度与资源分配。

LLM 推理服务+4数据集托管
29416v2.02026-06-30 07:03 UTC
VLM-AutoYOLO
Somnusochi·Python

用视觉语言模型自动标注目标检测数据并一键训练 YOLO 的端到端平台,支持图片和视频关键帧提取,省去手工框标注的重复劳动。

自动标注+4标注与偏好数据
27541v1.5.162026-09-22 08:15 UTC