一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
面向 LLM 应用的数据驱动评估框架，提供多种指标，重点覆盖 RAG 与信息检索场景，帮助在开发中持续量化效果。
无需人工标注标准答案就能评估 RAG 系统，通过自动生成问题和判断相关性来量化检索与生成质量。
面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。
面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。
一套用于评估目标检测算法的常用指标实现，支持计算 AP、mAP 和 PR 曲线，兼容 Pascal VOC 等标注格式。
一套目标检测评估指标工具，涵盖 mAP、AR、STT-AP 等 14 种指标，兼容 COCO、PASCAL VOC、ImageNet 等多种边界框格式，省去自己实现评估逻辑的麻烦。
基于 OpenTelemetry 的 LLM 应用全链路可观测性工具，提供实时追踪、评估和指标，支持主流大模型、框架与向量数据库，可用 TypeScript 和 Python 接入。
…型评估 - LlamaFactory支持奖励模型训练和强化学习 - 直接输出LlamaFactory评估指标 - 支持断点续训（YOLOv8） - 升级YOLOv8，去除YOLOv7 - 优化SFT pipeline 6. 部署与运维优化 - 支持SSH Proxy - 优化NPU监控 - 生产部署后端代理模式支持gevent - 优化K
…更准确地量化推理效果，我们采用了EM（Exact Match）、F1和LLM Accuracy等多项评估指标。在原有TwoWiki、Musique、HotpotQA等数据集的基础上，本次更新新增了OpenKG OneEval知识图谱类问答数据集（如AffairQA和PRQA），以分别验证 cypher executor 及KAG默认框架的
…更准确地量化推理效果，我们采用了EM（Exact Match）、F1和LLM Accuracy等多项评估指标。在原有TwoWiki、Musique、HotpotQA等数据集的基础上，本次更新新增了OpenKG OneEval知识图谱类问答数据集（如AffairQA和PRQA），以分别验证 cypher executor 及KAG默认框架的