评估 · 实验 · MLOps
共 240 个仓库 · 一年内有推送
轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。
基于 OpenTelemetry 的开源 APM，用 ClickHouse 存储 traces、metrics 和 logs，可自托管做应用性能监控与分布式追踪。
中文语言理解测评基准，提供数据集、基线模型、预训练模型和排行榜，用于统一评估中文 NLU 模型能力。
统一可扩展的分布式机器学习库，支持大规模训练、模型服务和联邦学习，还能跨云调度任意 AI 任务到 GPU 云或本地集群。
开源的机器学习模型与数据持续验证工具，覆盖从研究到生产的全流程测试，能生成 HTML 报告并检测数据漂移。
给 Claude Code 补上的可视化调试面板，能直观查看会话日志、工具调用、token 消耗、子代理和上下文窗口占用，方便排查 AI 编码代理的运行问题。
Datadog 官方监控代理，用 Go 编写，统一采集指标、日志、APM 链路追踪和 OpenTelemetry 数据，帮你在生产环境搭建可观测性。
基于 OpenTelemetry Collector 的可编程遥测数据管道，用声明式配置把指标、日志和链路统一采集、处理并转发到 Grafana、Prometheus、Loki 等后端。
轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。
Kiali 是 Istio 服务网格的可观测性控制台，用拓扑图展示服务间流量、健康状态和配置，帮运维快速定位网格里的异常。
给 Express 应用加一行中间件就能得到实时监控页面，查看 CPU、内存、响应时间和请求状态，类似 GitHub 状态页。
面向 RAG 研究的 Python 工具包，内置多种检索增强生成算法、数据集和评测基准，方便快速复现和对比实验。
基于 ASM 字节码增强的高性能 Java APM，以 Java Agent 方式无侵入采集方法耗时、JVM 和线程指标，帮你在生产环境低成本做性能监控与诊断。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
专为 AI Agent 打造的开源可观测性平台，提供链路追踪、评估和数据分析，帮开发者定位 Agent 运行中的问题并持续优化效果。
轻量可扩展的 Python 数据校验库，用声明式 schema 校验字典等数据结构，适合接口入参和配置文件的格式检查。
面向开发者的开源 LLMOps 平台，把提示词设计、版本管理、即时下发、团队协作和可观测性串成一条流水线，省去自己拼凑工具的成本。
在真实操作系统环境里评测多模态智能体的基准平台，支持开放式任务，覆盖 GUI 操作、命令行和代码生成等场景。
Inspect 是一个用 Python 编写的大语言模型评测框架，帮助研究者系统化地设计、运行和分析模型评估实验。
一个动态 AI Agent 自动化平台，能跨不同模型供应商编排指令管理和复杂任务执行，内置自适应记忆与插件系统。
面向后端的网络请求检查工具，能抓取并查看服务发出的 HTTP 调用，方便排查接口问题和调试线上行为。
面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。
面向性能敏感场景的超低延迟异步 C++17 日志与指标库，用异步写入避免日志拖慢主线程。
可视化编程环境，用来对 LLM 提示词做压力测试和效果对比，方便快速验证不同提示方案的表现。