评估 · 实验 · MLOps
262 个仓库验证模型到底行不行，并把实验、部署与线上表现管起来。
NannyML 是 Python 的模型上线后监控库，能在没有真实标签的情况下估计模型性能，并检测数据漂移，帮你在生产环境及时发现模型退化。
基于 eBPF 自动采集 Web 应用和网络指标，无需改代码就能拿到可观测数据，适合快速接入监控和链路追踪。
MCP Router — development, support and security updates ended 2026-09-18. Historical source and final release for existing users.
面向 Apple Silicon Mac 的实时系统监控工具，无需 sudo 即可查看 CPU、GPU 等硬件指标，提供 TUI 界面、JSON/Prometheus 指标服务和 Rust 库。
可扩展的 Java HTTP 请求与响应日志库，能自动记录客户端和服务端的完整通信内容，方便排查接口问题和做可观测性。
把日志、链路追踪和指标统一摄入并存入 S3 兼容存储，支持用自然语言通过 LLM 查询，适合自建可观测性平台。
用 Docker Compose 一条命令拉起预配置好的 Elastic Stack v9+，开箱即用日志、指标、APM、告警、机器学习和 SIEM 功能。
为 400 多个大模型提供 token 价格估算，帮你在调用 OpenAI、Claude 等模型前算清成本，方便做预算和用量监控。
把现有数据基础设施直接变成特征存储的虚拟特征存储，省去迁移数据，统一管理特征定义与向量检索，服务机器学习训练和推理。
TypeScript 优先的结构化日志与可观测性库，用宽事件和结构化错误替代翻日志碰运气，支持多种运行时。
把 NVIDIA GPU 的硬件遥测数据导出成 Prometheus 指标，方便监控显卡温度、功耗、显存和利用率等运行状态。
VBench 是 CVPR2024 收录的视频生成评测基准，用多维指标客观衡量文生视频模型的质量，帮研究者横向对比不同生成方案。
Postgres 里的可扩展向量检索扩展，pgvecto.rs 的继任者，主打快速、省磁盘，适合在现有数据库里直接做大规模向量搜索。
一套 Linux 系统性能排查工具集，能像 X 光一样透视进程、CPU 和 I/O 的真实运行状态，快速定位卡顿和异常热点。
腾讯开源的 Node.js 服务端 Web 监控与日志采集方案，能捕获请求链路和运行时数据，帮开发者定位线上问题、做可观测性分析。
Efficient Retrieval Augmentation and Generation Framework
100x Efficient Log Management than Splunk :rocket: Reduce your observability cost by 90%
在终端里实时查看 Apple Silicon Mac 的 CPU、GPU、内存和功耗占用，类似 top 但针对 M 系列芯片优化，适合跑本地模型时盯资源。
开源机器学习数据库，提供特征平台，为训练和推理计算一致的特征，解决特征工程与线上线下特征不一致的问题。
开源 MLOps 平台，把数据、模型训练、流水线和在线服务串成一条自动化链路，方便在 K8s 和 CI/CD 环境里持续交付机器学习应用。
面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。
实时监控 NVIDIA GPU 的 Web 仪表盘，用图表展示显存、利用率、温度等指标，方便运维和 MLOps 排查显卡状态。
面向机器学习工程与研究的智能体，能对接 arXiv 和 Papers with Code 检索论文，生成代码与研究方案，并支持 OpenAI、Anthropic、Gemini、Ollama 等模型。
把 Spark、scikit-learn 等训练好的机器学习流水线导出成统一格式，脱离原框架直接部署到生产环境做推理。