一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。

面向 LLM 应用的数据驱动评估框架，提供多种指标，重点覆盖 RAG 与信息检索场景，帮助在开发中持续量化效果。

无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。

面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。

面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。

开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。

面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。

用 Python 给 LLM 生成的回答跑评测的 SDK，内置多种评测指标，方便在 LLMOps 流程里量化模型输出质量。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

开源的 ML 与 LLM 可观测性框架，用 100+ 指标评估、测试并监控表格数据到生成式 AI 的数据管道与模型表现。

帮你把随手写的提示词改写成结构清晰、效果更好的版本，还能对比测试不同提示词的效果，适合经常和 LLM 打交道的人。

FreshQA 是评估大模型回答时效性问题能力的基准数据集与代码，配套论文 FreshLLMs，用于测试模型在动态知识下的检索增强问答表现。

面向 AI Agent 全生命周期的优化平台，覆盖开发调试、效果评估到线上监控，帮团队把 Agent 从能跑打磨到稳定可用。

从零开始手把手教你构建 LLM 智能体的中文教程，覆盖 Agent 原理、RAG 等核心实践，适合入门与动手复现。

一套端到端的代码实战教程，教你从原型一步步搭出可上线的 GenAI Agent，覆盖 LangGraph、MCP 等主流技术栈与企业级部署。

面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。

一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。

把 PDF、Office 等复杂文档转成 LLM 可直接用的 Markdown/JSON，内置版面分析和 OCR，专为 RAG 与 Agent 工作流准备语料。

从零手写一个极简 Claude Code 式 agent harness，用 Bash 就能跑，适合想搞懂 AI 编程助手内部原理的人边看边练。

轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。

一个能自我进化的 Agent 操作系统，通过面试式准入、分阶段评估和预算约束的演化循环让编码 Agent 越用越强，支持 Claude Code、Codex CLI 等 14 种运行时。

用自然语言直接操控网页界面的 JavaScript 页面内 GUI 智能体，把浏览器自动化从写选择器变成说人话，适合做网页操作助手和自动化流程。

面向 LLM 应用的多智能体开发框架，支持多模态、语音与实时交互，让智能体的构建、运行和调试过程可见、可理解、可信。

CNCF 出品的分布式追踪平台，采集服务调用链路并做可视化分析，帮你在微服务和 LLM 应用里定位延迟与故障根因。

开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。

给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。

轻量级检索增强生成引擎，用图结构组织知识并支持增量更新，让 RAG 检索更快更省资源。

开源平台，用于构建和部署基于 GPT/LLM 的对话式 Agent，集成提示词编排、工具调用与多渠道发布，省去从零搭建对话机器人的重复工作。

用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。

开源的身份与访问管理（IAM）系统，带 Web 界面，支持 OAuth、OIDC、SAML、LDAP 等协议，同时可作为 LLM MCP 与 Agent 网关统一管理认证授权。

通义开源深度研究智能体，能自主规划多步检索、浏览网页并整合信息，产出带引用的研究报告，适合做调研问答和资料汇总。

企业级 AI 低代码平台，权限、多租户、工作流、报表、大屏、AI 知识库等通用能力开箱即用，AI 只需生成业务差异部分，一句话即可生成完整系统。

基于 OpenTelemetry 的开源可观测性平台，把日志、指标和链路追踪集中到一处，提供 APM、分布式追踪和基础设施监控，帮团队快速定位线上问题。

开源的生成式 BI 工具，通过开放上下文层把自然语言问题转成可信的 SQL、图表和看板，支持 BigQuery、Snowflake 等 20 多种数据源。

多智能体框架，让多个大模型智能体通过角色扮演和对话自主协作，用于研究智能体规模化规律并构建协作式 AI 系统。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。