用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。

一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。

统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。

持续更新的中文大模型能力评测榜单，已收录374个商用与开源模型，并提供超200万条缺陷库，方便研究者横向对比模型表现、定位问题并改进。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。

轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。

用 Python 给 LLM 生成的回答跑评测的 SDK，内置多种评测指标，方便在 LLMOps 流程里量化模型输出质量。

一本覆盖 LLM Agent 全流程的实战手册，提供 60+ 代码骨架、教程、生态指南和评测工具，帮你从零搭建、部署并理解智能体系统。

用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。

对本地大模型服务做并发压力测试，自动跑多轮请求并生成性能报告，方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。

面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。

把电子表格变成 AI 流水线：在单元格里串联提示词和模型，实时对比 LLM 输出，多人协作迭代 AI 应用。

OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。

开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。

开源的扩散式语言模型，专攻代码生成，一并放出预训练、评测、推理代码和模型权重，方便直接复现和二次开发。

开源大模型微调工具箱，支持 LoRA 等参数高效微调，还能做消融实验和单元测试，方便快速验证 Llama2、Mistral、Falcon 等模型在分类任务上的效果。

开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。

面向大模型微调、RAG 和评测的数据集制作工具，支持数据生成、清洗与导出，省去手工整理训练数据的麻烦。

一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。

一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。

面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。

为 AI Agent 提供可持久化的长期记忆层，让智能体和应用能跨会话记住上下文，开箱即用、面向生产环境。

FreshQA 是评估大模型回答时效性问题能力的基准数据集与代码，配套论文 FreshLLMs，用于测试模型在动态知识下的检索增强问答表现。

面向 AI 平台团队的开源 Agent 可观测与评测平台，能追踪、测试、路由并治理公司内每个 Agent 和编码助手。

Python SDK，用于监控 AI 智能体运行、追踪 LLM 调用成本并做基准评测，兼容 CrewAI、LangChain、AutoGen 等主流智能体框架。

用 TypeScript 快速搭建 AI 应用和智能体的现代框架，内置工作流、对话机器人和评测能力，省去自己拼装 LLM 调用链的麻烦。

把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。

一个能自主写代码、改 bug、跑命令的 AI 开发代理，把大模型接入真实开发环境，让编码任务从对话直接落到执行。

通义开源深度研究智能体，能自主规划多步检索、浏览网页并整合信息，产出带引用的研究报告，适合做调研问答和资料汇总。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。

把 AI 研究与工程技能打包成可复用模块，接入 Claude Code、Codex、Gemini 等编码代理后即可获得完整科研能力。

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

用 Markdown 写一次 AI 编码助手的插件、技能和命令，再由生成器适配 Claude Code、Codex CLI、Cursor 等各家工具，省去重复维护。

面向 AI Agent 全生命周期的优化平台，覆盖开发调试、效果评估到线上监控，帮团队把 Agent 从能跑打磨到稳定可用。