评估 · 实验 · MLOps
262 个仓库验证模型到底行不行，并把实验、部署与线上表现管起来。
Ship AI Agents to Google Cloud in minutes, not months. Production-ready templates with built-in CI/CD, evaluation, and observability.
开源实验追踪工具，能记录、可视化和对比机器学习训练中的指标、超参数与元数据，帮团队理清大量实验。
一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。
在 Kubernetes 上统一部署生成式与预测式 AI 模型的推理平台，支持多框架、可扩展的分布式推理服务。
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
无需重启或改代码，就能把动态追踪脚本挂到运行中的 JVM 上，安全地做线上诊断和性能观测。
一份精选的 LLMOps 工具清单，帮开发者快速找到大模型应用开发、部署、监控和评估各环节的趁手工具。
Python SDK，用于监控 AI 智能体运行、追踪 LLM 调用成本并做基准评测，兼容 CrewAI、LangChain、AutoGen 等主流智能体框架。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
抓取 Claude Code 和 Codex 实际发给 API 的请求，逐段拆解 token 消耗与费用，帮你看清每次调用钱花在哪。
面向 AI Agent 全生命周期的优化平台，覆盖开发调试、效果评估到线上监控，帮团队把 Agent 从能跑打磨到稳定可用。
面向 MLOps 与 LLM 工作流的可扩展平台，把数据管道、模型训练到 Agent 部署串成可复现流程，并统一追踪元数据与实验。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。
基于 PyTorch Lightning 和 Hydra 的深度学习实验模板，帮你快速搭好规范的项目结构、配置管理和可复现的训练流程。
一份精选的 MLOps 工具清单，把模型部署、实验跟踪、监控等环节的常用开源方案整理在一起，方便你按需挑选和对比。
Grafana Mimir 是 Prometheus 的横向可扩展、高可用、多租户长期存储方案，解决大规模指标数据的持久化与查询问题。
开箱即用的状态页系统，自带监控与可观测能力，用 Docker 部署即可对外展示服务健康状态。
一份持续更新的精选清单，收录真正开源的 AI 项目、模型、工具和基础设施，帮你在海量仓库里快速找到可用的开源方案。
基于 Git 原生的特性开关管理方案，把开关配置纳入版本控制，方便团队在持续交付中安全地灰度发布和回滚。
Java 应用可观测性门面，统一对接主流监控系统，像 SLF4J 之于日志那样屏蔽底层差异，采集指标无需绑定具体后端。
用 Rust 写 eBPF 程序的库，主打开发体验和可运维性，省去 C 工具链和内核头文件依赖，编译即用。
面向生产环境 LLM 与 Agent 系统的可观测平台，基于 OpenTelemetry 采集日志、指标和调用链，支持评估与调试。
轻量灵活的数据校验库，用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查，在数据清洗和管道里提前拦住脏数据。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。