统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
持续更新的中文大模型能力评测榜单，已收录374个商用与开源模型，并提供超200万条缺陷库，方便研究者横向对比模型表现、定位问题并改进。
中文语言理解测评基准，提供数据集、基线模型、预训练模型和排行榜，用于统一评估中文 NLU 模型能力。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
用 Python 给 LLM 生成的回答跑评测的 SDK，内置多种评测指标，方便在 LLMOps 流程里量化模型输出质量。
对本地大模型服务做并发压力测试，自动跑多轮请求并生成性能报告，方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。
一套用于压测向量搜索引擎的基准框架，可对比不同向量数据库的检索性能，帮你在选型时拿到实测数据。
基于智能体的视频生成评测系统，用自动化方式给文生视频、图生视频等模型的生成质量打分，省去人工逐条评估的麻烦。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。
给 Python 脚本和命令行程序加进度条的库，循环、pandas、Keras、多进程都能用，速度快、可扩展，还能在终端和 Jupyter 里显示。
用 TypeScript 快速搭建 AI 应用和智能体的现代框架，内置工作流、对话机器人和评测能力，省去自己拼装 LLM 调用链的麻烦。
命令行基准测试工具，能对任意 shell 命令做多次运行统计，自动给出耗时分布和置信区间，方便比较不同实现的性能差异。
开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。
面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。
面向大模型微调、RAG 和评测的数据集制作工具，支持数据生成、清洗与导出，省去手工整理训练数据的麻烦。
Inspect 是一个用 Python 编写的大语言模型评测框架，帮助研究者系统化地设计、运行和分析模型评估实验。
开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。
用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。
面向 AI Agent 全生命周期的优化平台，覆盖开发调试、效果评估到线上监控，帮团队把 Agent 从能跑打磨到稳定可用。
可视化编程环境，用来对 LLM 提示词做压力测试和效果对比，方便快速验证不同提示方案的表现。
一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
VBench 是 CVPR2024 收录的视频生成评测基准，用多维指标客观衡量文生视频模型的质量，帮研究者横向对比不同生成方案。
面向小型本地大模型的编码智能体测试框架，基于终端基准评估代码生成与工具调用能力，方便对比不同小模型的实际表现。
用 Python 对多目标跟踪器做基准评测，计算 CLEAR MOT 等标准指标，方便横向对比不同跟踪算法的效果。
OpenCUA 提供构建电脑操作智能体（CUA）的开放基础，包含数据集、基础模型和评测基准，让 GUI 自动化智能体有可复现的训练与评估方案。
用 Python 评估里程计和 SLAM 轨迹精度，支持 EuRoC、KITTI 等数据集，输出 ATE、RPE 等指标并可视化对比。
Efficient Retrieval Augmentation and Generation Framework
面向 RAG 研究的 Python 工具包，内置多种检索增强生成算法、数据集和评测基准，方便快速复现和对比实验。
一站式大模型压缩工具箱，支持 LLM、VLM 和视频生成模型的量化与剪枝，覆盖 AWQ、SmoothQuant 等算法，并提供压缩后的评测与部署流程。
专为 AI Agent 打造的开源可观测性平台，提供链路追踪、评估和数据分析，帮开发者定位 Agent 运行中的问题并持续优化效果。
把 Claude Fable 5 的工作流拆成任何模型都能跑的技能包，用「思考/行动/证明」三步加评测保证输出靠谱。