评估 · 实验 · MLOps
共 116 个仓库 · Python
可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。
用 Python 代码定义、调度和监控数据工作流，把 ETL/ELT 管道写成 DAG，告别手写 cron 和脚本拼接。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。
用 Python 编排数据管道的工作流框架，带重试、调度和可观测性，让数据与 ML 流水线在生产环境稳定跑起来。
面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。
把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。
用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。
一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。
用 Python 编排数据管道和资产，把开发、生产到可观测性串起来，适合数据工程和 MLOps 场景。
面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。
面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。
给数据和模型做版本控制的工具，像 Git 管理代码一样管理数据集和机器学习实验，解决数据版本混乱、实验难复现的问题。
统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
开源企业级 Agent 平台，把智能体、工作流、RAG 知识库和模型管理整合在一起，方便企业搭建、部署和运维 AI 应用。
用声明式规则给数据加单元测试，校验数据质量、做数据剖析，让脏数据在进入下游前就被发现。
自动检测和修复真实数据集中标签错误、异常样本等质量问题，帮你在训练前把脏数据清理干净，提升模型效果。
面向 AI 开发者的实验追踪与模型管理平台，记录训练指标、超参数和数据集版本，支持从实验到生产的全流程协作。
Kedro 是一个面向生产环境的数据科学工具箱，用软件工程最佳实践帮你搭建可复现、易维护、模块化的数据工程与数据科学流水线。
面向 AI/ML 工作流的 Python 编排框架，用装饰器写 DAG，支持本地到 Kubernetes、多云部署，并带实验追踪和成本优化。
低代码 AutoML 平台，几行 Python 代码就能完成分类、回归、聚类和异常检测的建模与调参，4.0 版改用 sklearn 原生引擎并加了 React 控制台。
把训练好的模型快速封装成推理 API 和任务队列，支持 LLM 应用与多模型流水线，省去自己搭服务框架的麻烦。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。