评估 · 实验 · MLOps
共 240 个仓库 · 一年内有推送
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
无需重启或改代码，就能把动态追踪脚本挂到运行中的 JVM 上，安全地做线上诊断和性能观测。
一份精选的 LLMOps 工具清单，帮开发者快速找到大模型应用开发、部署、监控和评估各环节的趁手工具。
Python SDK，用于监控 AI 智能体运行、追踪 LLM 调用成本并做基准评测，兼容 CrewAI、LangChain、AutoGen 等主流智能体框架。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
抓取 Claude Code 和 Codex 实际发给 API 的请求，逐段拆解 token 消耗与费用，帮你看清每次调用钱花在哪。
面向 AI Agent 全生命周期的优化平台，覆盖开发调试、效果评估到线上监控，帮团队把 Agent 从能跑打磨到稳定可用。
面向 MLOps 与 LLM 工作流的可扩展平台，把数据管道、模型训练到 Agent 部署串成可复现流程，并统一追踪元数据与实验。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。
基于 PyTorch Lightning 和 Hydra 的深度学习实验模板，帮你快速搭好规范的项目结构、配置管理和可复现的训练流程。
一份精选的 MLOps 工具清单，把模型部署、实验跟踪、监控等环节的常用开源方案整理在一起，方便你按需挑选和对比。
Grafana Mimir 是 Prometheus 的横向可扩展、高可用、多租户长期存储方案，解决大规模指标数据的持久化与查询问题。
开箱即用的状态页系统，自带监控与可观测能力，用 Docker 部署即可对外展示服务健康状态。
一份持续更新的精选清单，收录真正开源的 AI 项目、模型、工具和基础设施，帮你在海量仓库里快速找到可用的开源方案。
基于 Git 原生的特性开关管理方案，把开关配置纳入版本控制，方便团队在持续交付中安全地灰度发布和回滚。
Java 应用可观测性门面，统一对接主流监控系统，像 SLF4J 之于日志那样屏蔽底层差异，采集指标无需绑定具体后端。
用 Rust 写 eBPF 程序的库，主打开发体验和可运维性，省去 C 工具链和内核头文件依赖，编译即用。
面向生产环境 LLM 与 Agent 系统的可观测平台，基于 OpenTelemetry 采集日志、指标和调用链，支持评估与调试。
轻量灵活的数据校验库，用声明式 schema 给 pandas 等 DataFrame 做类型、范围和统计假设检查，在数据清洗和管道里提前拦住脏数据。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
一份精选的 DevOps 资源清单，汇总平台、工具、实践和可观测性资料，帮工程师快速找到生产环境与 SRE 相关的靠谱方案。
一套 12 节动手课程，带你用 LLMOps 最佳实践从零搭建可上线的 LLM 与 RAG 系统，覆盖数据采集、训练、推理到部署全流程。
开源的 AI 训练跟踪与可视化工具，支持云端和私有化部署，可无缝接入 PyTorch、Transformers 等主流训练框架，用来记录指标、对比实验。
用 Python 评估里程计和 SLAM 轨迹精度，支持 EuRoC、KITTI 等数据集，输出 ATE、RPE 等指标并可视化对比。