命令行基准测试工具，能对任意 shell 命令做多次运行统计，自动给出耗时分布和置信区间，方便比较不同实现的性能差异。
用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
开源 AI 记忆系统，基于 ChromaDB 为 LLM 提供持久化记忆存储与检索，在基准测试中表现领先，可免费自托管。
统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
… 5.7 ms 快 11 倍 世界地图 84.1 ms 0.31 ms 快 275 倍 在设计阶段的基准测试中，100 万行日志的仪表盘按小时和按天统计从 61.8 秒降到 0.1 秒。 - 索引内存以每个日志文件一个块为上限，块大小随机器内存调整。 - 日志轮转后会接着读取，不会重新索引：被 logrotate 重命名、被 copytr
… 5.7 ms 快 11 倍 世界地图 84.1 ms 0.31 ms 快 275 倍 在设计阶段的基准测试中，100 万行日志的仪表盘按小时和按天统计从 61.8 秒降到 0.1 秒。 - 索引内存以每个日志文件一个块为上限，块大小随机器内存调整。 - 日志轮转后会接着读取，不会重新索引：被 logrotate 重命名、被 copytr
中文版 基准测试数据集 - 新增 SafetyBench 零样本安全评测，支持 zh 、 en 、 zh subset ，分别报告整体及七类准确率；无法解析或缺失的预测计错，不随机回退到某个答案。 功能增强 - Web 任务工作区：评测与压测共用模型连接，支持独立草稿、配置模板、导入导出及活动任务发现；刷新页面后可恢复监控，无需重复提交。
中文版 基准测试数据集 - 决策评测：新增 JevBench、OpenDecisions、STS-B 和自定义 JSONL 数据集 general decision ，覆盖 Choice、Noul 和 Score 任务。 - 代码与数据库评测：新增 DS-1000 数据科学代码生成和 BIRD-SQL Mini-Dev 文本转 SQL 评
中文版 基准测试数据集 - 多轮对话评测：新增 MT-Bench，支持两轮对话和可配置的 Judge，遵循官方评分流程。 - Agent 评测：新增 Terminal-Bench 4.0（ terminal bench v4 ），固定官方数据版本 4.0.0 ，支持任务筛选、重复试验及独立验证环境。 - 决策能力评测：新增 ANLI、Bo
中文版 基准测试数据集 - 语音评测：新增 THCHS-30 国际音标（IPA）音素识别评测，支持 Phone Error Rate（PER）指标。 - 语音评测：LibriSpeech 新增 test-other 子集支持。 功能增强 - Agent 评测：新增 DeepSeek Harness Bridge Runner，支持通过 O