数据工程

共 54 个仓库

打开分类页
fastdup
visual-layer·Python

快速扫描图像和视频数据集,找出重复、相似和异常样本,帮助清洗数据、提升标签质量并降低数据运维成本。

图像去重+4数据集托管
191595v2.2_3.82026-08-23 12:48 UTC
diffgram
diffgram·Python

面向 AI 训练数据的标注与数据管理平台,支持图像等数据标注、数据集版本管理和人工审核流程,可接入自有应用或直接用内置 UI 组织数据工作流。

数据标注+4标注与偏好数据
19101331.25.32026-06-22 07:33 UTC
safe-rlhf
PKU-Alignment·Python

基于安全强化学习的人类反馈对齐框架,通过约束优化让大模型在有用性和安全性之间取得平衡,附带 Beaver 系列模型与数据集。

安全对齐+4数据集托管
16211342025-11-24 04:07 UTC
Capso
lzhgus·Swift

macOS 上的开源截图与录屏工具,用 Swift 6 和 SwiftUI 原生开发,是 CleanShot X 的免费替代品,支持标注和 OCR。

截图工具+4标注与偏好数据
1495+395v1.2.82026-11-10 01:43 UTC
kitops
kitops-ml·Go

把 AI/ML 模型、数据集、代码和配置打包成 OCI Artifact 并做版本管理,让模型交付像容器镜像一样标准化、可复现。

模型打包+4数据集托管
1441188v1.17.02026-11-09 20:07 UTC
IMAGDressing
muzishen·Python

基于扩散模型的虚拟试衣方案,可自定义服装、姿态和场景生成高保真人物图,并保持服装细节一致。

虚拟试衣+4数据集托管
13441172025-09-30 17:26 UTC
langtrace
Scale3-Labs·TypeScript

基于 OpenTelemetry 的 LLM 应用全链路可观测性工具,提供实时追踪、评估和指标,支持主流大模型、框架与向量数据库,可用 TypeScript 和 Python 接入。

可观测性+4数据集托管
12341284.0.112025-11-17 15:08 UTC
M2DGR
SJTU-ViSYS

面向地面机器人的多模态多场景数据集,包含双目相机、激光雷达、IMU 等传感器数据,用于 SLAM 与定位算法的评测和训练。

多模态数据集+4数据集托管
1224+21312026-11-02 16:14 UTC
mola
MOLAorg·C++

模块化 C++ SLAM 框架,支持激光雷达、视觉与图优化,用于移动机器人的定位与建图。

SLAM+4数据集托管
1057+11523.4.02026-11-09 22:50 UTC
capcap
realskyrin·Swift

轻量级原生 macOS 截图工具,常驻菜单栏,双击 ⌘ 即可框选截屏并自动复制到剪贴板,还支持画笔和马赛克标注。

截图工具+4标注与偏好数据
1050+487release-v1.7.252026-11-09 04:31 UTC
awesome-llm-and-aigc
coderonion

汇集大模型、视觉语言模型、视觉语言动作模型与 AIGC 相关的优质开源项目、数据集和应用,帮开发者快速找到所需资源。

大模型+4数据集托管
818812025-08-01 16:22 UTC
awesome-mobile-robotics
mathiasmantelli

汇集移动机器人领域的优质资源清单,涵盖定位、数据集、实验室、公司、书籍与招聘信息,方便快速查找学习资料和行业动态。

移动机器人+4数据集托管
7871182026-08-03 18:36 UTC
nimble
facebookincubator·C++

面向大规模列式数据集的可扩展文件格式,用 C++ 实现,支持压缩与编码,适合机器学习训练和数据分析场景下的高效存储。

列式存储+4压缩解压
744982026-09-21 18:48 UTC
awesome-open-data-annotation
zenml-io

汇总开源数据标注与打标签工具的清单,帮做机器学习的人快速找到合适的标注方案。

数据标注+4标注与偏好数据
734662026-07-06 19:31 UTC
comma2k19
commaai·Jupyter Notebook

面向融合位姿估计与建图算法开发验证的开放驾驶数据集,提供真实道路采集的传感器数据,适合做 SLAM 和定位研究。

驾驶数据集+4数据集托管
6641282025-07-20 02:09 UTC
cryptoCMD
guptarohit·Python

用 Python 抓取 CoinMarketCap 的历史价格数据,方便做量化回测或行情分析时直接拿到干净的加密货币历史行情。

加密货币+4数据集托管
612118v0.6.52026-07-25 06:19 UTC
Kiri
yuxino·Rust

跨平台截图、录屏和 OCR 工具,基于 Tauri 和 Rust 构建,本地优先,支持图片标注,适合日常快速截取与文字提取。

截图工具+4标注与偏好数据
558+231v1.6.382026-11-09 09:43 UTC
awesome-time-series-segmentation-papers
lzz19980125·MATLAB

整理时间序列分割方向的论文阅读清单,覆盖变点检测、异常检测、多变量时序等主题,方便快速找到该领域的代表性工作。

时间序列分割+4时序预测
547142026-10-07 11:10 UTC
cleora
BaseModelAI·Jupyter Notebook

Cleora 是面向异构关系数据的通用嵌入学习模型,能高效、可扩展地生成稳定且支持归纳的实体嵌入,适合图与超图场景。

实体嵌入+4数据集托管
54558v3.2.12026-04-02 15:27 UTC
UrbanLoco
weisongwen·Python

面向城市峡谷等复杂场景的多传感器数据集,包含激光雷达、相机等全套传感器数据,用于自动驾驶的建图与定位算法评测。

多传感器数据集+4数据集托管
484432025-11-27 12:27 UTC
SuPreM
MrGiovanni·Python

基于 9262 例 CT 体积和 25 个标注类别预训练的 3D 医学影像模型,可直接用于腹部器官分割等下游任务,省去从零训练。

医学影像+4数据集托管
436+1262026-10-26 02:19 UTC
MA-LIO
minwoo0611·C++

异步多激光雷达惯性里程计,通过逐点跨雷达不确定性传播,融合多个不同步的 LiDAR 数据,实现更鲁棒的 SLAM 定位与建图。

多激光雷达+4数据集托管
396492025-12-01 00:33 UTC
Construction-Hazard-Detection
yihong1120·Python

用 YOLO 检测工地未戴安全帽、未穿反光衣及靠近机械等危险行为,并用 HDBSCAN 聚类锥桶坐标划定监控区域,提升施工安全。

危险检测+4标注与偏好数据
352+246v5.0.02026-11-07 17:13 UTC
VolleyVision
shukkkur·Python

用深度学习处理排球比赛视频数据,做球员与球的检测跟踪、球场识别和动作事件分析,适合体育视频分析场景。

排球数据分析+4数据集托管
334592025-06-20 04:17 UTC