命令行基准测试工具，能对任意 shell 命令做多次运行统计，自动给出耗时分布和置信区间，方便比较不同实现的性能差异。

用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。

开源计算机使用智能体基础设施，提供跨系统沙箱、驱动和基准测试，用于训练、评估和生成桌面操作数据。

用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。

开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。

统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。

一份 Go 项目开发工具清单，收录基准测试、代码生成、代码可视化、文档生成等实用命令行工具，帮 Go 开发者快速找到趁手的工具。

斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。

从任意文本自动抽取实体与关系并生成知识图谱的 Python 工具，附带基准测试，方便用 LLM 构建和评测图谱抽取流程。

向量数据库性能与性价比基准测试工具，支持多种向量库的统一压测和结果对比，方便选型时横向评估。

持续基准测试平台，在 CI 中自动追踪代码性能变化，防止性能回归，适合关注代码质量的团队。

轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。

一份 10 周、每天 30 分钟的 LLM 推理服务与优化学习路线，覆盖 vLLM、SGLang、量化、投机解码和基准测试，帮工程师系统入门推理加速。

面向 AR/VR 的视觉惯性 SLAM 工具箱与基准测试，提供可直接运行的 VIO/SLAM 实现和评测流程，方便对比算法效果。

面向 RAG 研究的 Python 工具包，内置多种检索增强生成算法、数据集和评测基准，方便快速复现和对比实验。

30 个可直接运行的 Jupyter Notebook，系统演示 LLM Agent 的记忆方案，涵盖对话缓冲、向量库、知识图谱、情景与语义记忆，以及 MemGPT、Mem0、Letta、Zep 等主流实现和 LoCoMo 基准测试。

一套面向本地推理的实用工具集，包含 ComfyUI 工作流和基准测试配置，基于 4 张 RTX 3090 的机器实测，方便复现视频生成与 LoRA 相关实验。

可配置的合成模式与知识图谱生成器，按需生成 OWL 本体和 RDF 图谱数据，用于基准测试和机器学习实验。

VBench 是 CVPR2024 收录的视频生成评测基准，用多维指标客观衡量文生视频模型的质量，帮研究者横向对比不同生成方案。

在内存中对 brotli、lz4、zstd、zlib 等开源压缩器做统一跑分对比，方便按速度和压缩比挑选合适的压缩算法。

面向 ONNX 工作流的无代码命令行工具，能一键完成模型转换、基准测试和本地部署，省去手写脚本的麻烦。

让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。

无需 OCR 的本地化文档解析工具，能把扫描件、表格等非结构化文档直接抽取成结构化数据和 Markdown，还附带 OCR 基准测试。

统一 NeRF 与 3DGS 方法的可复现评测框架，提供标准化基准和工具，方便公平比较不同新视角合成方案的性能。

跨平台命令行工具，用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟，覆盖 CUDA、Metal、OpenCL 等主流 API。

OpenRCA 是 ICLR'25 提出的基准，用来评测大语言模型和 LLM Agent 能否在软件故障中定位根因，为根因分析能力提供统一测试标准。

统一训练、微调和评测世界动作模型（WAM）的框架，面向具身智能与机器人研究，支持 LoRA 微调并内置基准测试。

面向多模态游戏智能体的标准化评测基准，提供可验证的评测流程，用来衡量智能体在游戏环境中的真实表现。

一站式 Web Agent 后训练框架，点几下就能搭建并评测基于大模型的网页智能体。

基于智能体的视频生成评测系统，用自动化方式给文生视频、图生视频等模型的生成质量打分，省去人工逐条评估的麻烦。

OpenS2V-Nexus 是面向主体到视频生成（S2V）的评测基准与百万级数据集，提供评估工具包，用来衡量模型在保持指定主体一致性上的生成效果。

收录计算机使用智能体（CUA）的开放资源清单，整理经过审阅的论文、GUI 模型、数据集、基准测试和工具，并提供可直接复用的 JSONL/SQLite 数据。