OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「数据管道」找到 31 个结果 · 15ms命中词:数据管道只看有点评
V
vector
vectordotdev·Rust

高性能可观测性数据管道,用 Rust 编写,统一采集、转换并转发日志、指标和事件,替代多套采集代理。

可观测性+4
228550—
vectordotdev/vector · 12.54
K
kestra
kestra-io·Java

用声明式 YAML 编排数据管道、基础设施、业务流程和 AI Agent 的开源控制平面,事件驱动、支持任意语言、可 Git 版本化,能扛住百万级执行。

工作流编排+4
302010—
kestra-io/kestra · 11.99
D
dagster
dagster-io·Python

用 Python 编排数据管道和资产,把开发、生产到可观测性串起来,适合数据工程和 MLOps 场景。

数据编排+4
163870—
dagster-io/dagster · 11.96
D
data-engineering-zoomcamp
DataTalksClub·Jupyter Notebook

免费 9 周数据工程课程,带你从零搭建生产级数据管道,覆盖 Docker、Spark、Kafka、dbt 等主流工具实战。

数据工程+4
468000—
DataTalksClub/data-engineering-zoomcamp · 11.87
P
prefect
PrefectHQ·Python

用 Python 编排数据管道的工作流框架,带重试、调度和可观测性,让数据与 ML 流水线在生产环境稳定跑起来。

工作流编排+4
241490—
PrefectHQ/prefect · 11.5
R
rocketride-server
rocketride-org·Python

高性能 AI 流水线引擎,C++ 内核搭配 50+ 可扩展 Python 节点,支持多模型提供商、向量数据库和 Agent 编排,可在 IDE 中构建调试 LLM 工作流。

流水线引擎+4
200670—
rocketride-org/rocketride-server · 11.18
D
DALI
NVIDIA·C++

GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。

GPU加速+4
57940—
NVIDIA/DALI · 10.64
E
evidently
evidentlyai·Jupyter Notebook

开源的 ML 与 LLM 可观测性框架,用 100+ 指标评估、测试并监控表格数据到生成式 AI 的数据管道与模型表现。

可观测性+4
80580—
evidentlyai/evidently · 10.45
K
keras
keras-team·Python

面向人类友好的深度学习 API,用 Python 编写,可跑在 TensorFlow、JAX、PyTorch 上,帮开发者快速搭建和训练神经网络。

深度学习+4
644220—
keras-team/keras · 10.41
L
langfuse
langfuse·TypeScript

开源 LLM 应用可观测与评估平台,能追踪调用链路、跑评测实验,帮团队定位问题并持续优化提示词和模型效果。

LLM 可观测+4
372940—
langfuse/langfuse · 10.13
A
airflow
apache·Python

用 Python 代码定义、调度和监控数据工作流,把 ETL/ELT 管道写成 DAG,告别手写 cron 和脚本拼接。

工作流编排+4
474440—
apache/airflow · 10.11
T
typer
fastapi·Python

基于 Python 类型注解快速构建命令行工具,底层封装 Click,写少量代码就能得到带参数校验和自动补全的 CLI。

命令行工具+3
203310—
fastapi/typer · 10.07
O
OpenCLI
jackwener·JavaScript

把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。

浏览器自动化+4
310200—
jackwener/OpenCLI · 9.92
C
CopyQ
hluk·C++

跨平台剪贴板管理器,能保存历史记录、搜索和编辑内容,还支持脚本自动化,解决复制粘贴内容容易丢失、难以复用的问题。

剪贴板管理+4
126280—
hluk/CopyQ · 9.82
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
156910—
apify/apify-mcp-server · 9.6
P
Parsr
axa-group·JavaScript

把 PDF、扫描件和图片解析成带版面结构、表格和文本的富结构化数据,适合做文档入库和 RAG 前的预处理。

文档解析+4
61770—
axa-group/Parsr · 9.52
X
xonsh
xonsh·Python

用 Python 语法写脚本的跨平台 shell,兼容 bash 命令,适合数据工程和 DevOps 场景,也能被 AI 编码工具直接调用。

Python shell+4
96960—
xonsh/xonsh · 9.5
O
opentelemetry-collector
open-telemetry·Go

OpenTelemetry 的可观测性数据收集器,统一接收、处理和导出指标、日志、链路等遥测数据,帮你在不同后端之间解耦采集与上报。

可观测性+4
77540—
open-telemetry/opentelemetry-collector · 9.49
M
maestro
Netflix·Java

Netflix 开源的工作流编排器,用 DAG 定义和调度批处理、ETL/ELT 数据管道,让大规模数据作业按依赖关系自动执行。

工作流编排+4
38520—
Netflix/maestro · 9.35
A
alloy
grafana·Go

基于 OpenTelemetry Collector 的可编程遥测数据管道,用声明式配置把指标、日志和链路统一采集、处理并转发到 Grafana、Prometheus、Loki 等后端。

可观测性+4
36840—
grafana/alloy · 9.23
P
PyMuPDF
pymupdf·Python

高性能 Python 库,用来从 PDF、EPUB 等文档中提取文本、表格和图像,并做格式转换与页面操作,适合搭建文档解析和 RAG 数据管道。

PDF解析+4
111090—
pymupdf/PyMuPDF · 9.16
Z
zenml
zenml-io·Python

面向 MLOps 与 LLM 工作流的可扩展平台,把数据管道、模型训练到 Agent 部署串成可复现流程,并统一追踪元数据与实验。

MLOps+4
56390—
zenml-io/zenml · 9.1
D
Daft
Eventual-Inc·Rust

面向 AI 与多模态负载的高性能数据引擎,用 Rust 编写,能大规模处理图像、音频、视频和结构化数据,适合搭建 ETL 与数据管道。

多模态数据处理+4
58430—
Eventual-Inc/Daft · 9.05
W
whodb
clidey·Go

面向数据库的可视化管理平台,支持 ER 图、数据目录与血缘追踪,并通过 MCP 协议让 AI Agent 直接查询和操作多种数据源。

数据库管理+4
50530—
clidey/whodb · 8.94
P
pandera
unionai-oss·Python

轻量灵活的数据校验库,用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查,在数据清洗和管道里提前拦住脏数据。

数据校验+4
45230—
unionai-oss/pandera · 8.27
S
sie
superlinked·Python

开源的推理服务器与生产集群,统一部署 Agent 所需的各类模型,涵盖嵌入、检索与 LLM 推理,省去自建服务与运维的麻烦。

推理服务器+4
35050—
superlinked/sie · 8.04
P
proton
timeplus-io·C++

单二进制 C++ 流式 SQL 引擎,毫秒级延迟、百 GB/s 吞吐,可从日志、指标、事件和 CDC 流中持续计算有状态上下文。

流式SQL+4
22810—
timeplus-io/proton · 7.97
K
kedro-viz
kedro-org·JavaScript

可视化 Kedro 数据与机器学习流水线,并追踪实验记录,帮助团队直观查看管道结构和运行结果。

流水线可视化+4
7650—
kedro-org/kedro-viz · 7.82
V
vlmrun-cookbook
vlm-run·Jupyter Notebook

VLM Run API 的示例与指南合集,用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务,方便快速上手多模态推理。

视觉语言模型+4
3130—
vlm-run/vlmrun-cookbook · 7.39
R
ruseon-core
RUSEGAL·Go

用 Go 写的边缘视频基础设施,面向安防监控场景,把 RTSP 摄像头接入、HLS/WebRTC 分发、fMP4 录制、时移回看和 AI 元数据管道打包在一起。

边缘视频+4
3230—
RUSEGAL/ruseon-core · 7.07
D
Data-Engineering-Roadmap
ErdemOzgen·Java

一份数据工程学习路线图,把数据管道、数据仓库、数据库、云服务和 CI/CD 等知识点串成进阶路径,适合想系统入门或查漏补缺的工程师。

数据工程+4
2650—
ErdemOzgen/Data-Engineering-Roadmap · 2.75