轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。
用 VQAScore 给文生图、文生视频和文生 3D 模型打分的评测工具，基于视觉语言模型判断生成内容与文本提示是否匹配。
面向多模态游戏智能体的标准化评测基准，提供可验证的评测流程，用来衡量智能体在游戏环境中的真实表现。
…HumanEval 本地超时过早开始计时，以及 SciCode 将代码块外文本送入执行的问题。 - 多模态评测：按官方 leave-one-out 方式计算 VQAv2 分数；ScienceQA 加入题目 hint；ARC-AGI-2 评测每个 test 输入并按任务汇总；MMAU 使用有公开答案的 test mini，取消缺省选择 A。
…EM/F1。 - 空间推理评测：新增 SPaRC，评估二维网格中的路径规划和规则约束满足能力。 - 多模态评测：新增 VisualOverload，保留官方提示与原始图像，并导出 visualoverload submission.json 供官方服务器评分。 功能增强 - 决策模型：扩展 System One 并新增 AutoTrust
中文版 基准测试数据集 - 多模态评测：新增 SURDS、VLMs Are Biased、Ref-Adv-s、VisFactor、MedXpertQA、VTCBench 等视觉、多模态与长视频理解基准。 - 推理与专业能力评测：新增 $OneMillion-Bench、PRBench、HMMT-Nov-2025 等 Agent、深度推理与