评估 · 实验 · MLOps
共 239 个仓库 · 一年内有推送
可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。
开源可组合的可观测性平台，把 Prometheus、Loki、Elasticsearch 等多源指标、日志和链路数据统一做成仪表盘，并支持告警。
开源监控系统与时序数据库，采集指标、配置告警规则并绘图展示，适合搭建从基础设施到 GPU 集群的可观测性平台。
一套从数据工程、模型训练到部署迭代的完整教程，帮你把机器学习项目做成可上线的生产级应用。
用 Python 代码定义、调度和监控数据工作流，把 ETL/ELT 管道写成 DAG，告别手写 cron 和脚本拼接。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
用 YAML 文件定义多容器应用，一条命令就能把整套服务编排起来跑，省去逐个 docker run 的麻烦。
开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。
高性能大规模向量数据库与向量检索引擎，用 Rust 编写，支持 HNSW、混合检索和图像搜索，适合为 AI 应用和 RAG 提供相似度检索能力。
基于 OpenTelemetry 的开源可观测性平台，把日志、指标和链路追踪集中到一处，提供 APM、分布式追踪和基础设施监控，帮团队快速定位线上问题。
命令行基准测试工具，能对任意 shell 命令做多次运行统计，自动给出耗时分布和置信区间，方便比较不同实现的性能差异。
开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。
用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。
分布式系统的应用性能监控平台，支持链路追踪、指标采集和日志分析，帮你在微服务架构下快速定位性能瓶颈。
用 Python 编排数据管道的工作流框架，带重试、调度和可观测性，让数据与 ML 流水线在生产环境稳定跑起来。
CNCF 出品的分布式追踪平台，采集服务调用链路并做可视化分析，帮你在微服务和 LLM 应用里定位延迟与故障根因。
面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。
开源可观测性平台，统一收集日志、指标、链路、RUM 和会话回放，单二进制部署，存储成本比 Datadog、Splunk、Elasticsearch 低约 140 倍。
Elasticsearch 的可视化分析平台，用仪表盘、图表和指标面板把日志与可观测性数据变成可交互的探索视图。
一份精选的机器学习生产化开源工具清单，覆盖模型部署、监控、版本管理和规模化扩展，帮你快速找到 MLOps 各环节的趁手工具。
把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。
用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。
一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。