评估 · 实验 · MLOps
共 116 个仓库 · Python
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
开源特征存储，统一管理机器学习特征的注册、存储与在线离线服务，解决训练和推理特征不一致的问题。
像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。
一站式 MLOps/LLMOps 平台，把实验跟踪、数据管理、流水线编排和模型服务整合在一起，帮团队把 AI 训练与部署流程自动化。
Ship AI Agents to Google Cloud in minutes, not months. Production-ready templates with built-in CI/CD, evaluation, and observability.
开源实验追踪工具，能记录、可视化和对比机器学习训练中的指标、超参数与元数据，帮团队理清大量实验。
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
Python SDK，用于监控 AI 智能体运行、追踪 LLM 调用成本并做基准评测，兼容 CrewAI、LangChain、AutoGen 等主流智能体框架。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
抓取 Claude Code 和 Codex 实际发给 API 的请求，逐段拆解 token 消耗与费用，帮你看清每次调用钱花在哪。
面向 MLOps 与 LLM 工作流的可扩展平台，把数据管道、模型训练到 Agent 部署串成可复现流程，并统一追踪元数据与实验。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。
基于 PyTorch Lightning 和 Hydra 的深度学习实验模板，帮你快速搭好规范的项目结构、配置管理和可复现的训练流程。
一份精选的 MLOps 工具清单，把模型部署、实验跟踪、监控等环节的常用开源方案整理在一起，方便你按需挑选和对比。
一份持续更新的精选清单，收录真正开源的 AI 项目、模型、工具和基础设施，帮你在海量仓库里快速找到可用的开源方案。
面向生产环境 LLM 与 Agent 系统的可观测平台，基于 OpenTelemetry 采集日志、指标和调用链，支持评估与调试。
轻量灵活的数据校验库，用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查，在数据清洗和管道里提前拦住脏数据。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
一套 12 节动手课程，带你用 LLMOps 最佳实践从零搭建可上线的 LLM 与 RAG 系统，覆盖数据采集、训练、推理到部署全流程。
开源的 AI 训练跟踪与可视化工具，支持云端和私有化部署，可无缝接入 PyTorch、Transformers 等主流训练框架，用来记录指标、对比实验。
用 Python 评估里程计和 SLAM 轨迹精度，支持 EuRoC、KITTI 等数据集，输出 ATE、RPE 等指标并可视化对比。
轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。
中文语言理解测评基准，提供数据集、基线模型、预训练模型和排行榜，用于统一评估中文 NLU 模型能力。
统一可扩展的分布式机器学习库，支持大规模训练、模型服务和联邦学习，还能跨云调度任意 AI 任务到 GPU 云或本地集群。