评估 · 实验 · MLOps
共 262 个仓库
TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, and experimentation.
面向 AI 开发者的实验追踪与模型管理平台，记录训练指标、超参数和数据集版本，支持从实验到生产的全流程协作。
Kedro 是一个面向生产环境的数据科学工具箱，用软件工程最佳实践帮你搭建可复现、易维护、模块化的数据工程与数据科学流水线。
面向 AI/ML 工作流的 Python 编排框架，用装饰器写 DAG，支持本地到 Kubernetes、多云部署，并带实验追踪和成本优化。
低代码 AutoML 平台，几行 Python 代码就能完成分类、回归、聚类和异常检测的建模与调参，4.0 版改用 sklearn 原生引擎并加了 React 控制台。
汇集全球科技公司公开的 SRE 实践资料，涵盖告警、混沌工程、事故响应、可观测性等主题，方便团队借鉴落地的运维与稳定性方案。
开源全栈监控平台，集错误监控、会话回放、日志和分布式追踪于一体，适合自建可观测性体系。
面向 AI Agent 的多模态数据运行时，提供无服务器 Postgres 与数据湖，支持大规模检索和模型训练。
用 Rust 构建模块化、可扩展 LLM 应用的框架，把模型调用、Agent 编排和工具集成做成可组合组件，适合追求性能与类型安全的团队。
把训练好的模型快速封装成推理 API 和任务队列，支持 LLM 应用与多模型流水线，省去自己搭服务框架的麻烦。
一套可扩展的工作流开发框架，内置画布、表单、变量和物料，帮开发者更快搭建 AI 工作流平台。
给 AI Agent 运行框架加上可观测与策略执行层，记录每次运行轨迹，并实时拦截违规行为，提升运行时可靠性。
开源的 ML 与 LLM 可观测性框架，用 100+ 指标评估、测试并监控表格数据到生成式 AI 的数据管道与模型表现。
开源可观测性与 APM 平台，整合指标、日志、链路追踪、持续剖析和 SLO 告警，借助 AI 自动定位故障根因。
在 Kubernetes 上编排 ML 流水线、智能体和实时推理的类型安全分布式引擎，用纯 Python 的 async/await 写工作流，也支持 Rust、Go 和 TS。
开源的一体化监控与可观测性平台，集告警、值班排班、事件响应和状态页于一身，帮团队快速发现并处理线上故障。
OpenTelemetry 的可观测性数据收集器，统一接收、处理和导出指标、日志、链路等遥测数据，帮你在不同后端之间解耦采集与上报。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
开源智能体技能构建器，用可视化工作流定义技能，可运行在 Claude Code、Cursor、Codex 等平台，并生成 API 或 Slack、飞书机器人。
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
开源的实时可观测性系统，通过 Agent 采集指标、日志并接入 LLM 智能分析，替代 Grafana 等传统监控方案做告警通知。
开源特征存储，统一管理机器学习特征的注册、存储与在线离线服务，解决训练和推理特征不一致的问题。
像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。
一站式 MLOps/LLMOps 平台，把实验跟踪、数据管理、流水线编排和模型服务整合在一起，帮团队把 AI 训练与部署流程自动化。