评估 · 实验 · MLOps
共 32 个仓库 · TypeScript
开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。
基于 OpenTelemetry 的开源可观测性平台，把日志、指标和链路追踪集中到一处，提供 APM、分布式追踪和基础设施监控，帮团队快速定位线上问题。
一套构建生产级 LLM 智能体应用的 12 条工程原则，帮团队把原型打磨成能真正交付给客户的可靠系统。
用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。
开源可观测性平台，统一收集日志、指标、链路、RUM 和会话回放，单二进制部署，存储成本比 Datadog、Splunk、Elasticsearch 低约 140 倍。
Elasticsearch 的可视化分析平台，用仪表盘、图表和指标面板把日志与可观测性数据变成可交互的探索视图。
一套 TypeScript 函数式编程框架，内置并发、依赖注入、错误处理和可观测性等能力，帮你在生产环境里写出类型安全、易维护的应用。
用 JSON Schema 自动生成 React 表单，省去手写表单和校验逻辑，适合配置化、动态表单场景。
OpenMetadata 是开源的数据目录与元数据平台，统一管理数据发现、血缘、质量、契约和治理，为人和 AI 助手提供可信的数据上下文与业务语义。
开源全栈监控平台，集错误监控、会话回放、日志和分布式追踪于一体，适合自建可观测性体系。
一套可扩展的工作流开发框架，内置画布、表单、变量和物料，帮开发者更快搭建 AI 工作流平台。
给 AI Agent 运行框架加上可观测与策略执行层，记录每次运行轨迹，并实时拦截违规行为，提升运行时可靠性。
开源的一体化监控与可观测性平台，集告警、值班排班、事件响应和状态页于一身，帮团队快速发现并处理线上故障。
开源智能体技能构建器，用可视化工作流定义技能，可运行在 Claude Code、Cursor、Codex 等平台，并生成 API 或 Slack、飞书机器人。
一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。
开箱即用的状态页系统，自带监控与可观测能力，用 Docker 部署即可对外展示服务健康状态。
给 Claude Code 补上的可视化调试面板，能直观查看会话日志、工具调用、token 消耗、子代理和上下文窗口占用，方便排查 AI 编码代理的运行问题。
专为 AI Agent 打造的开源可观测性平台，提供链路追踪、评估和数据分析，帮开发者定位 Agent 运行中的问题并持续优化效果。
面向开发者的开源 LLMOps 平台，把提示词设计、版本管理、即时下发、团队协作和可观测性串成一条流水线，省去自己拼凑工具的成本。
可视化编程环境，用来对 LLM 提示词做压力测试和效果对比，方便快速验证不同提示方案的表现。
面向小型本地大模型的编码智能体测试框架，基于终端基准评估代码生成与工具调用能力，方便对比不同小模型的实际表现。
给 Claude Code、Codex、OpenCode 等编码代理提供可跨工具共享的本地项目记忆，并根据运行记录统计 token 消耗，全程本地文件读写、不联网。
MCP Router — development, support and security updates ended 2026-09-18. Historical source and final release for existing users.
TypeScript 优先的结构化日志与可观测性库，用宽事件和结构化错误替代翻日志碰运气，支持多种运行时。