高性能可观测性数据管道,用 Rust 编写,统一采集、转换并转发日志、指标和事件,替代多套采集代理。
用声明式 YAML 编排数据管道、基础设施、业务流程和 AI Agent 的开源控制平面,事件驱动、支持任意语言、可 Git 版本化,能扛住百万级执行。
用 Python 编排数据管道和资产,把开发、生产到可观测性串起来,适合数据工程和 MLOps 场景。
免费 9 周数据工程课程,带你从零搭建生产级数据管道,覆盖 Docker、Spark、Kafka、dbt 等主流工具实战。
用 Python 编排数据管道的工作流框架,带重试、调度和可观测性,让数据与 ML 流水线在生产环境稳定跑起来。
高性能 AI 流水线引擎,C++ 内核搭配 50+ 可扩展 Python 节点,支持多模型提供商、向量数据库和 Agent 编排,可在 IDE 中构建调试 LLM 工作流。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
开源的 ML 与 LLM 可观测性框架,用 100+ 指标评估、测试并监控表格数据到生成式 AI 的数据管道与模型表现。
面向人类友好的深度学习 API,用 Python 编写,可跑在 TensorFlow、JAX、PyTorch 上,帮开发者快速搭建和训练神经网络。
开源 LLM 应用可观测与评估平台,能追踪调用链路、跑评测实验,帮团队定位问题并持续优化提示词和模型效果。
用 Python 代码定义、调度和监控数据工作流,把 ETL/ELT 管道写成 DAG,告别手写 cron 和脚本拼接。
基于 Python 类型注解快速构建命令行工具,底层封装 Click,写少量代码就能得到带参数校验和自动补全的 CLI。
把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。
跨平台剪贴板管理器,能保存历史记录、搜索和编辑内容,还支持脚本自动化,解决复制粘贴内容容易丢失、难以复用的问题。
把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。
把 PDF、扫描件和图片解析成带版面结构、表格和文本的富结构化数据,适合做文档入库和 RAG 前的预处理。
用 Python 语法写脚本的跨平台 shell,兼容 bash 命令,适合数据工程和 DevOps 场景,也能被 AI 编码工具直接调用。
OpenTelemetry 的可观测性数据收集器,统一接收、处理和导出指标、日志、链路等遥测数据,帮你在不同后端之间解耦采集与上报。
Netflix 开源的工作流编排器,用 DAG 定义和调度批处理、ETL/ELT 数据管道,让大规模数据作业按依赖关系自动执行。
基于 OpenTelemetry Collector 的可编程遥测数据管道,用声明式配置把指标、日志和链路统一采集、处理并转发到 Grafana、Prometheus、Loki 等后端。
高性能 Python 库,用来从 PDF、EPUB 等文档中提取文本、表格和图像,并做格式转换与页面操作,适合搭建文档解析和 RAG 数据管道。
面向 MLOps 与 LLM 工作流的可扩展平台,把数据管道、模型训练到 Agent 部署串成可复现流程,并统一追踪元数据与实验。
面向 AI 与多模态负载的高性能数据引擎,用 Rust 编写,能大规模处理图像、音频、视频和结构化数据,适合搭建 ETL 与数据管道。
面向数据库的可视化管理平台,支持 ER 图、数据目录与血缘追踪,并通过 MCP 协议让 AI Agent 直接查询和操作多种数据源。
轻量灵活的数据校验库,用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查,在数据清洗和管道里提前拦住脏数据。
开源的推理服务器与生产集群,统一部署 Agent 所需的各类模型,涵盖嵌入、检索与 LLM 推理,省去自建服务与运维的麻烦。
单二进制 C++ 流式 SQL 引擎,毫秒级延迟、百 GB/s 吞吐,可从日志、指标、事件和 CDC 流中持续计算有状态上下文。
可视化 Kedro 数据与机器学习流水线,并追踪实验记录,帮助团队直观查看管道结构和运行结果。
VLM Run API 的示例与指南合集,用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务,方便快速上手多模态推理。
用 Go 写的边缘视频基础设施,面向安防监控场景,把 RTSP 摄像头接入、HLS/WebRTC 分发、fMP4 录制、时移回看和 AI 元数据管道打包在一起。
一份数据工程学习路线图,把数据管道、数据仓库、数据库、云服务和 CI/CD 等知识点串成进阶路径,适合想系统入门或查漏补缺的工程师。