用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。
一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
持续更新的中文大模型能力评测榜单，已收录374个商用与开源模型，并提供超200万条缺陷库，方便研究者横向对比模型表现、定位问题并改进。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
中文语言理解测评基准，提供数据集、基线模型、预训练模型和排行榜，用于统一评估中文 NLU 模型能力。
轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
用 Python 快速编写、构建和评测 AI Agent 的框架，内置 TUI 命令行界面，并支持 MCP、ACP、A2A 等协议与 Agent Skills。
MapEval 是一个统一的 SLAM 建图评估框架，用点云配准和 Wasserstein 距离等指标，稳健高效地给激光点云地图打分，方便做 SLAM 基准对比。
无需人工标注标准答案就能评估 RAG 系统，通过自动生成问题和判断相关性来量化检索与生成质量。
开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。
用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。
用 Python 给 LLM 生成的回答跑评测的 SDK，内置多种评测指标，方便在 LLMOps 流程里量化模型输出质量。
面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。
基于智能体的视频生成评测系统，用自动化方式给文生视频、图生视频等模型的生成质量打分，省去人工逐条评估的麻烦。
ViDoRe 是评估视觉文档检索的基准与评测代码，配套 ColPali 论文，用于衡量多模态检索模型在图文文档上的检索效果。
对本地大模型服务做并发压力测试，自动跑多轮请求并生成性能报告，方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。
基于 PyTorch 的目标检测工具箱与基准库，集成了 Faster R-CNN、DETR、Grounding DINO 等主流模型，方便训练、评测和复现检测与分割算法。
面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。
面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。
整理 2026 年机场（代理订阅）推荐清单，汇总低价、按量计费、不限时等各类 Clash/V2ray 节点服务，并附评测与避坑提示。
把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。
开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。
面向大模型微调、RAG 和评测的数据集制作工具，支持数据生成、清洗与导出，省去手工整理训练数据的麻烦。
用 Markdown 写一次 AI 编码助手的插件、技能和命令，再由生成器适配 Claude Code、Codex CLI、Cursor 等各家工具，省去重复维护。
用 TypeScript 快速搭建 AI 应用和智能体的现代框架，内置工作流、对话机器人和评测能力，省去自己拼装 LLM 调用链的麻烦。
把 PDF、Office 文档等各类文件转成 Markdown 的 Python 工具，方便喂给 LLM 或做文档处理。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。
给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。
基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。
用 Python 以代码优先的方式构建、评测和部署复杂 AI Agent 的开源工具包，让开发者对 Agent 行为有更强的灵活性和控制力。
用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。
开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。
Python SDK，用于监控 AI 智能体运行、追踪 LLM 调用成本并做基准评测，兼容 CrewAI、LangChain、AutoGen 等主流智能体框架。
用 Python 搭建 LLM 应用和智能体的开发框架，把模型调用、工具、检索和记忆串成可组合的链路，省去自己拼装底层胶水代码。
基于 Postgres 的一站式后端开发平台，提供专用数据库、认证、存储和向量检索能力，可替代 Firebase 快速搭建 Web、移动和 AI 应用。
一个能自主写代码、改 bug、跑命令的 AI 开发代理，把大模型接入真实开发环境，让编码任务从对话直接落到执行。