评估 · 实验 · MLOps
共 116 个仓库 · Python
开源的机器学习模型与数据持续验证工具，覆盖从研究到生产的全流程测试，能生成 HTML 报告并检测数据漂移。
轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。
面向 RAG 研究的 Python 工具包，内置多种检索增强生成算法、数据集和评测基准，方便快速复现和对比实验。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
轻量可扩展的 Python 数据校验库，用声明式 schema 校验字典等数据结构，适合接口入参和配置文件的格式检查。
在真实操作系统环境里评测多模态智能体的基准平台，支持开放式任务，覆盖 GUI 操作、命令行和代码生成等场景。
The Security Toolkit for LLM Interactions
一个动态 AI Agent 自动化平台，能跨不同模型供应商编排指令管理和复杂任务执行，内置自适应记忆与插件系统。
Inspect 是一个用 Python 编写的大语言模型评测框架，帮助研究者系统化地设计、运行和分析模型评估实验。
斯坦福 CRFM 出品的 Python 评测框架，对基础模型和大语言模型做全面、可复现、透明的基准测试，方便横向对比模型能力。
用一句自然语言提示就能自动构建机器学习模型，多智能体协作完成数据理解、特征工程和训练调参，省去手工搭流程的麻烦。
在 NVIDIA Jetson 系列开发板上实时查看 CPU、GPU、内存和功耗状态，还能直接调整风扇与功耗模式，省去手动翻 sysfs 的麻烦。
用状态机和图结构搭建聊天机器人、智能体等决策型应用，自带监控、追踪与持久化，可跑在自己的基础设施上。
用 YAML 声明式数据契约来定义和校验数据质量，支持数据剖析、监控与测试，帮数据团队尽早发现数据可靠性问题。
NannyML 是 Python 的模型上线后监控库，能在没有真实标签的情况下估计模型性能，并检测数据漂移，帮你在生产环境及时发现模型退化。
为 400 多个大模型提供 token 价格估算，帮你在调用 OpenAI、Claude 等模型前算清成本，方便做预算和用量监控。
VBench 是 CVPR2024 收录的视频生成评测基准，用多维指标客观衡量文生视频模型的质量，帮研究者横向对比不同生成方案。
一套 Linux 系统性能排查工具集，能像 X 光一样透视进程、CPU 和 I/O 的真实运行状态，快速定位卡顿和异常热点。
Efficient Retrieval Augmentation and Generation Framework
开源 MLOps 平台，把数据、模型训练、流水线和在线服务串成一条自动化链路，方便在 K8s 和 CI/CD 环境里持续交付机器学习应用。
面向机器学习工程与研究的智能体，能对接 arXiv 和 Papers with Code 检索论文，生成代码与研究方案，并支持 OpenAI、Anthropic、Gemini、Ollama 等模型。
用 Python 对多目标跟踪器做基准评测，计算 CLEAR MOT 等标准指标，方便横向对比不同跟踪算法的效果。
一个可直接用于生产的 MLOps Python 包模板，集成 MLflow、scikit-learn、Pydantic、Pandera 和 uv，帮你快速搭起带实验追踪与数据校验的机器学习工程骨架。
给 LLM 应用接入 OpenTelemetry 埋点，统一采集 OpenAI、LangChain、LlamaIndex 等框架的调用链路，方便做可观测和排障。