评估 · 实验 · MLOps
262 个仓库验证模型到底行不行，并把实验、部署与线上表现管起来。
汇集机器学习系统与大模型推理、训练、服务方向的顶会论文和工业实践，配视频教程，帮算法工程师系统补齐 AI Infra 知识。
一份精选的 DevOps 资源清单，汇总平台、工具、实践和可观测性资料，帮工程师快速找到生产环境与 SRE 相关的靠谱方案。
一套 12 节动手课程，带你用 LLMOps 最佳实践从零搭建可上线的 LLM 与 RAG 系统，覆盖数据采集、训练、推理到部署全流程。
开源的 AI 训练跟踪与可视化工具，支持云端和私有化部署，可无缝接入 PyTorch、Transformers 等主流训练框架，用来记录指标、对比实验。
用 Python 评估里程计和 SLAM 轨迹精度，支持 EuRoC、KITTI 等数据集，输出 ATE、RPE 等指标并可视化对比。
轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。
基于 OpenTelemetry 的开源 APM，用 ClickHouse 存储 traces、metrics 和 logs，可自托管做应用性能监控与分布式追踪。
中文语言理解测评基准，提供数据集、基线模型、预训练模型和排行榜，用于统一评估中文 NLU 模型能力。
统一可扩展的分布式机器学习库，支持大规模训练、模型服务和联邦学习，还能跨云调度任意 AI 任务到 GPU 云或本地集群。
开源的机器学习模型与数据持续验证工具，覆盖从研究到生产的全流程测试，能生成 HTML 报告并检测数据漂移。
给 Claude Code 补上的可视化调试面板，能直观查看会话日志、工具调用、token 消耗、子代理和上下文窗口占用，方便排查 AI 编码代理的运行问题。
Datadog 官方监控代理，用 Go 编写，统一采集指标、日志、APM 链路追踪和 OpenTelemetry 数据，帮你在生产环境搭建可观测性。
Agent Skills as a Memory Layer
基于 OpenTelemetry Collector 的可编程遥测数据管道，用声明式配置把指标、日志和链路统一采集、处理并转发到 Grafana、Prometheus、Loki 等后端。
轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。
Kiali 是 Istio 服务网格的可观测性控制台，用拓扑图展示服务间流量、健康状态和配置，帮运维快速定位网格里的异常。
给 Express 应用加一行中间件就能得到实时监控页面，查看 CPU、内存、响应时间和请求状态，类似 GitHub 状态页。
面向 RAG 研究的 Python 工具包，内置多种检索增强生成算法、数据集和评测基准，方便快速复现和对比实验。
基于 ASM 字节码增强的高性能 Java APM，以 Java Agent 方式无侵入采集方法耗时、JVM 和线程指标，帮你在生产环境低成本做性能监控与诊断。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
专为 AI Agent 打造的开源可观测性平台，提供链路追踪、评估和数据分析，帮开发者定位 Agent 运行中的问题并持续优化效果。
轻量可扩展的 Python 数据校验库，用声明式 schema 校验字典等数据结构，适合接口入参和配置文件的格式检查。
面向开发者的开源 LLMOps 平台，把提示词设计、版本管理、即时下发、团队协作和可观测性串成一条流水线，省去自己拼凑工具的成本。
在真实操作系统环境里评测多模态智能体的基准平台，支持开放式任务，覆盖 GUI 操作、命令行和代码生成等场景。