用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。
中文语言理解测评基准，提供数据集、基线模型、预训练模型和排行榜，用于统一评估中文 NLU 模型能力。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
面向 RAG 研究的 Python 工具包，内置多种检索增强生成算法、数据集和评测基准，方便快速复现和对比实验。
VBench 是 CVPR2024 收录的视频生成评测基准，用多维指标客观衡量文生视频模型的质量，帮研究者横向对比不同生成方案。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
一站式通用 OCR 开源工具箱，集训练评测基准、商用级文字识别与文档解析系统于一体，并复现多篇学术论文的核心实现。
面向浏览器 AI 智能体的开源评测基准，用日常任务数据集衡量智能体在真实网页操作中的表现。
OpenCUA 提供构建电脑操作智能体（CUA）的开放基础，包含数据集、基础模型和评测基准，让 GUI 自动化智能体有可复现的训练与评估方案。
斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。
面向 AI Agent 的文档解析评测基准，覆盖 OCR、PDF 解析和表格抽取，用统一指标对比不同模型与工具在真实文档上的解析效果。
面向多模态游戏智能体的标准化评测基准，提供可验证的评测流程，用来衡量智能体在游戏环境中的真实表现。
OSWorld 2.0 是一个评测基准，专门衡量计算机操作智能体在长周期真实任务中的表现，帮研究者检验模型能否连续完成多步桌面操作。
把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。
OpenRCA 是 ICLR'25 提出的基准，用来评测大语言模型和 LLM Agent 能否在软件故障中定位根因，为根因分析能力提供统一测试标准。
一站式 Web Agent 后训练框架，点几下就能搭建并评测基于大模型的网页智能体。
把散落的 SKILL.md 文件整理成可检索、可评测的智能体技能语料库，自带检索与评测工具，方便给 Agent 搭建技能库。
面向企业内部文档场景的 RAG 数据集与评测基准，提供标准化测试集和评估流程，用来衡量检索增强生成系统在企业知识库上的真实表现。
OpenS2V-Nexus 是面向主体到视频生成（S2V）的评测基准与百万级数据集，提供评估工具包，用来衡量模型在保持指定主体一致性上的生成效果。
ChronoMagic-Bench 是 NeurIPS 2024 提出的文本到延时视频生成评测基准，用变形评估衡量扩散模型生成延时视频的质量。
汇总视频生成、编辑等方向的扩散模型资源清单，方便快速查找和跟进相关论文与项目。
收录计算机使用智能体（CUA）的开放资源清单，整理经过审阅的论文、GUI 模型、数据集、基准测试和工具，并提供可直接复用的 JSONL/SQLite 数据。