评估 · 实验 · MLOps
共 81 个仓库 · 近 4 个月有推送 · Python
可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。
用 Python 代码定义、调度和监控数据工作流，把 ETL/ELT 管道写成 DAG，告别手写 cron 和脚本拼接。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。
用 Python 编排数据管道的工作流框架，带重试、调度和可观测性，让数据与 ML 流水线在生产环境稳定跑起来。
面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。
把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。
一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。
用 Python 编排数据管道和资产，把开发、生产到可观测性串起来，适合数据工程和 MLOps 场景。
给数据和模型做版本控制的工具，像 Git 管理代码一样管理数据集和机器学习实验，解决数据版本混乱、实验难复现的问题。
统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
开源企业级 Agent 平台，把智能体、工作流、RAG 知识库和模型管理整合在一起，方便企业搭建、部署和运维 AI 应用。
用声明式规则给数据加单元测试，校验数据质量、做数据剖析，让脏数据在进入下游前就被发现。
面向 AI 开发者的实验追踪与模型管理平台，记录训练指标、超参数和数据集版本，支持从实验到生产的全流程协作。
Kedro 是一个面向生产环境的数据科学工具箱，用软件工程最佳实践帮你搭建可复现、易维护、模块化的数据工程与数据科学流水线。
面向 AI/ML 工作流的 Python 编排框架，用装饰器写 DAG，支持本地到 Kubernetes、多云部署，并带实验追踪和成本优化。
低代码 AutoML 平台，几行 Python 代码就能完成分类、回归、聚类和异常检测的建模与调参，4.0 版改用 sklearn 原生引擎并加了 React 控制台。
把训练好的模型快速封装成推理 API 和任务队列，支持 LLM 应用与多模型流水线，省去自己搭服务框架的麻烦。
OpenCompass 是一个大模型评测平台，支持 OpenAI、Qwen、DeepSeek 等主流模型，覆盖知识、推理、代码、长上下文等 100+ 数据集，帮你系统化地跑分对比。
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
开源特征存储，统一管理机器学习特征的注册、存储与在线离线服务，解决训练和推理特征不一致的问题。
像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。
一站式 MLOps/LLMOps 平台，把实验跟踪、数据管理、流水线编排和模型服务整合在一起，帮团队把 AI 训练与部署流程自动化。