评估 · 实验 · MLOps
262 个仓库验证模型到底行不行，并把实验、部署与线上表现管起来。
可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。
开源可组合的可观测性平台，把 Prometheus、Loki、Elasticsearch 等多源指标、日志和链路数据统一做成仪表盘，并支持告警。
开源监控系统与时序数据库，采集指标、配置告警规则并绘图展示，适合搭建从基础设施到 GPU 集群的可观测性平台。
一套从数据工程、模型训练到部署迭代的完整教程，帮你把机器学习项目做成可上线的生产级应用。
用 Python 代码定义、调度和监控数据工作流，把 ETL/ELT 管道写成 DAG，告别手写 cron 和脚本拼接。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
用 YAML 文件定义多容器应用，一条命令就能把整套服务编排起来跑，省去逐个 docker run 的麻烦。
开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。
高性能大规模向量数据库与向量检索引擎，用 Rust 编写，支持 HNSW、混合检索和图像搜索，适合为 AI 应用和 RAG 提供相似度检索能力。
基于 OpenTelemetry 的开源可观测性平台，把日志、指标和链路追踪集中到一处，提供 APM、分布式追踪和基础设施监控，帮团队快速定位线上问题。
命令行基准测试工具，能对任意 shell 命令做多次运行统计，自动给出耗时分布和置信区间，方便比较不同实现的性能差异。
开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。
一套构建生产级 LLM 智能体应用的 12 条工程原则，帮团队把原型打磨成能真正交付给客户的可靠系统。
用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。
分布式系统的应用性能监控平台，支持链路追踪、指标采集和日志分析，帮你在微服务架构下快速定位性能瓶颈。
用 Python 编排数据管道的工作流框架，带重试、调度和可观测性，让数据与 ML 流水线在生产环境稳定跑起来。
一份自托管指南，教你在本地或私有服务器上部署和管理软件应用，涵盖云服务、大模型、WireGuard、自动化、Home Assistant 与网络配置。
CNCF 出品的分布式追踪平台，采集服务调用链路并做可视化分析，帮你在微服务和 LLM 应用里定位延迟与故障根因。
面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。
开源可观测性平台，统一收集日志、指标、链路、RUM 和会话回放，单二进制部署，存储成本比 Datadog、Splunk、Elasticsearch 低约 140 倍。
Elasticsearch 的可视化分析平台，用仪表盘、图表和指标面板把日志与可观测性数据变成可交互的探索视图。
一份精选的机器学习生产化开源工具清单，覆盖模型部署、监控、版本管理和规模化扩展，帮你快速找到 MLOps 各环节的趁手工具。
把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。
用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。