用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。
开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。
面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。
Inspect 是一个用 Python 编写的大语言模型评测框架，帮助研究者系统化地设计、运行和分析模型评估实验。
基于 OpenTelemetry 的 LLM 应用全链路可观测性工具，提供实时追踪、评估和指标，支持主流大模型、框架与向量数据库，可用 TypeScript 和 Python 接入。
面向 Apple Foundation Models 框架的实战实验场，帮你在 iOS 和 macOS 上动手搭建、测试并评估端侧大模型应用。
一站式评估 AI 数据、模型和应用质量的工具，能检测数据质量、幻觉等问题并生成质量报告，适合做数据清洗与模型上线前的质量把关。
T2I-CompBench 是评估文生图模型组合能力的基准，覆盖属性绑定、物体关系和数量等维度，帮研究者量化模型是否真的画对了提示词。
一份精选的 LLMOps 工具清单，帮开发者快速找到大模型应用开发、部署、监控和评估各环节的趁手工具。
…ion 、 llm-safety-eval 、 opencompass 、 yolo26 。 - 大模型评估支持在线服务；模型蒸馏与数据蒸馏优化。 7. 平台与通用界面 - 通用增删改查界面：支持 page 模式新增 / 修改、子参数、"打开目录"参数类型、编辑字段自动进详情列、搜索框宽度修正。 - 模型支持 上线 / 下线 （ mode
…题 2. 修复高并发场景下，全自动蒸馏进度弹框卡顿的问题 694 3. 修复使用 Ollama 进行模型评估时，思维链处理异常的问题 714 4. 修复自定义模型评估提示词不生效的问题 687 ⚡ 优化 1. 优化 OpenAI-Compatible API 兼容性问题 2. 优化模型设置中 Temperature 和 TOP-P 参数的
… for high customization. ---- 在 v1.7.0 版本中，我们重点解决了模型评估中 “测试集难构造”、“量化指标难获取” 以及 “自动化与人工割裂” 的痛点。新增全新的 「评估」 模块，打通了从 测试集生成 到 自动化评分 再到 人工盲测 的全流程闭环。 以下是本次更新的详细内容： 🎉 核心亮点 一站式评估闭
…uantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 - 优化opencompass任务模板 - 优化llm评估 2. 任务模板与Pipeline - 修复union-join-data 任务模板 - 修复mpi的任务模板 - 修复任务模板的复制功能 - 优化任务模板构建 - 优化分
…uantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 - 优化opencompass任务模板 - 优化llm评估 2. 任务模板与Pipeline - 修复union-join-data 任务模板 - 修复mpi的任务模板 - 修复任务模板的复制功能 - 优化任务模板构建 - 优化分
…rving） - 修复多机推理的访问入口问题 5. 模型训练与评估 - 增加LlamaFactory模型评估 - LlamaFactory支持奖励模型训练和强化学习 - 直接输出LlamaFactory评估指标 - 支持断点续训（YOLOv8） - 升级YOLOv8，去除YOLOv7 - 优化SFT pipeline 6. 部署与运维优化