评估 · 实验 · MLOps
262 个仓库验证模型到底行不行，并把实验、部署与线上表现管起来。
一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。
给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。
一套 TypeScript 函数式编程框架，内置并发、依赖注入、错误处理和可观测性等能力，帮你在生产环境里写出类型安全、易维护的应用。
Zipkin 是一个分布式追踪系统，用于收集和查看微服务间的调用链路与耗时，帮助定位跨服务延迟和故障。
开源向量数据库，同时存储对象和向量，把向量检索和结构化过滤结合起来，具备云原生数据库的容错与扩展能力。
用 Python 编排数据管道和资产，把开发、生产到可观测性串起来，适合数据工程和 MLOps 场景。
面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。
面向 AI Agent 的实时分析与混合检索数据库，兼容 Iceberg、Hudi、Delta Lake 等湖仓格式，让 Agent 能低延迟查询海量数据。
面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。
给数据和模型做版本控制的工具，像 Git 管理代码一样管理数据集和机器学习实验，解决数据版本混乱、实验难复现的问题。
基于 Kubernetes 的云原生机器学习平台，把训练、流水线编排、模型服务和 Notebook 开发统一到容器化集群里，解决 MLOps 各环节割裂、难以规模化调度的问题。
用 JSON Schema 自动生成 React 表单，省去手写表单和校验逻辑，适合配置化、动态表单场景。
OpenMetadata 是开源的数据目录与元数据平台，统一管理数据发现、血缘、质量、契约和治理，为人和 AI 助手提供可信的数据上下文与业务语义。
DataTalks.Club 出品的免费 MLOps 实战课程，覆盖模型部署、监控和工作流编排，帮你把机器学习模型从实验推到生产环境。
用 eBPF 直接抓取 SSL/TLS 明文流量，无需中间人代理或安装自定义 CA 证书，支持 Linux 和 Android 的 x86_64、arm64、loong64 架构。
统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。
给 Prometheus 加上跨集群高可用和长期存储能力，把多个 Prometheus 实例的数据聚合成全局可查询的指标视图。
开源的 Zapier 替代品，用可视化方式把不同服务串成自动化工作流，可自托管，省去订阅费用。
面向大规模分布式系统的应用性能管理工具，通过分布式追踪和监控，帮你定位跨服务调用中的性能瓶颈。
开源企业级 Agent 平台，把智能体、工作流、RAG 知识库和模型管理整合在一起，方便企业搭建、部署和运维 AI 应用。
用声明式规则给数据加单元测试，校验数据质量、做数据剖析，让脏数据在进入下游前就被发现。
把上千个 API 封装成可编排的触发器和动作，用低代码方式快速搭建自动化工作流与事件驱动集成，开发者可免费使用。
自动检测和修复真实数据集中标签错误、异常样本等质量问题，帮你在训练前把脏数据清理干净，提升模型效果。
持续性能分析平台，能定位到具体代码行，帮你排查 CPU、内存等性能瓶颈，适合生产环境做可观测性监控。