一个 Python 的 LLM 评测框架,提供开箱即用的评估指标,帮你在开发和上线前系统检验大模型输出质量。
面向 LLM 应用的自动化评测工具,用合成测试集和多种指标量化 RAG 与生成效果,帮你在上线前发现质量问题。
面向大模型应用开发的 RAG 全栈实战教程,覆盖文本向量化、检索、重排与多模态等环节,手把手带你搭建检索增强生成系统。
一套用于评估目标检测算法的常用指标实现,支持计算 AP、mAP 和 PR 曲线,兼容 Pascal VOC 等标注格式。
…型评估 - LlamaFactory支持奖励模型训练和强化学习 - 直接输出LlamaFactory评估指标 - 支持断点续训(YOLOv8) - 升级YOLOv8,去除YOLOv7 - 优化SFT pipeline 6. 部署与运维优化 - 支持SSH Proxy - 优化NPU监控 - 生产部署后端代理模式支持gevent - 优化K
…更准确地量化推理效果,我们采用了EM(Exact Match)、F1和LLM Accuracy等多项评估指标。在原有TwoWiki、Musique、HotpotQA等数据集的基础上,本次更新新增了OpenKG OneEval知识图谱类问答数据集(如AffairQA和PRQA),以分别验证 cypher executor 及KAG默认框架的
…更准确地量化推理效果,我们采用了EM(Exact Match)、F1和LLM Accuracy等多项评估指标。在原有TwoWiki、Musique、HotpotQA等数据集的基础上,本次更新新增了OpenKG OneEval知识图谱类问答数据集(如AffairQA和PRQA),以分别验证 cypher executor 及KAG默认框架的