一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。

用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。

轻量可定制的大模型评测框架，支持 LLM、VLM、AIGC 和 RAG 的效果评估与性能压测，帮团队快速跑通基准测试。

面向 LLM 应用的数据驱动评估框架，提供多种指标，重点覆盖 RAG 与信息检索场景，帮助在开发中持续量化效果。

无需人工标注标准答案就能评估 RAG 系统，通过自动生成问题和判断相关性来量化检索与生成质量。

面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。

MapEval 是一个统一的 SLAM 建图评估框架，用点云配准和 Wasserstein 距离等指标，稳健高效地给激光点云地图打分，方便做 SLAM 基准对比。

基于智能体的视频生成评测系统，用自动化方式给文生视频、图生视频等模型的生成质量打分，省去人工逐条评估的麻烦。

面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。

开源 AI 工程平台，覆盖智能体、大模型和传统机器学习，帮团队调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型与数据访问权限。

面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。

微软出品的推荐系统实践库，提供从数据准备、模型训练到部署上线的完整示例和最佳实践，帮算法工程师快速搭建推荐与排序模型。

把任意编码助手变成 Google Cloud 上的 AI Agent 专家，提供命令行工具和技能，覆盖 Agent 的创建、评估与部署全流程。

开源的 ML 与 LLM 可观测性框架，用 100+ 指标评估、测试并监控表格数据到生成式 AI 的数据管道与模型表现。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

一套用于评估目标检测算法的常用指标实现，支持计算 AP、mAP 和 PR 曲线，兼容 Pascal VOC 等标注格式。

面向 AI Agent 全生命周期的优化平台，覆盖开发调试、效果评估到线上监控，帮团队把 Agent 从能跑打磨到稳定可用。

面向 AI 研究者的开源实验环境，可在本地硬件到 GPU 集群之间无缝训练、评估和扩展大模型与扩散模型。

用 Python 给 LLM 生成的回答跑评测的 SDK，内置多种评测指标，方便在 LLMOps 流程里量化模型输出质量。

帮你把随手写的提示词改写成结构清晰、效果更好的版本，还能对比测试不同提示词的效果，适合经常和 LLM 打交道的人。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

在 Kubernetes 或 Docker 上部署无服务器函数，把容器打包成函数，按需自动扩缩容，省去管理底层基础设施的麻烦。

基于 Claude Code 的求职自动化框架，在本地评估职位、定制简历、撰写求职信并准备面试，数据自己掌控。

基于 PyTorch 的医学影像深度学习工具包，提供数据加载、预处理、网络结构和评估等组件，帮研究者快速搭建医疗影像 AI 流程。

用自然语言直接操控网页界面的 JavaScript 页面内 GUI 智能体，把浏览器自动化从写选择器变成说人话，适合做网页操作助手和自动化流程。

一套端到端的代码实战教程，教你从原型一步步搭出可上线的 GenAI Agent，覆盖 LangGraph、MCP 等主流技术栈与企业级部署。

面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。

一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。

Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。

单文件实现的深度强化学习算法集合，涵盖 PPO、DQN、SAC 等主流算法，代码简洁易读，适合做研究和快速实验。

一站式移动应用安全测试框架，支持 Android、iOS 和 Windows 应用的静态与动态分析，可自动完成渗透测试、恶意软件分析和安全评估。

无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。

基于 PyTorch 的度量学习库，提供对比损失、难例挖掘、采样器和检索指标，用来训练和评估相似度搜索所需的嵌入向量。

一个能自我进化的 Agent 操作系统，通过面试式准入、分阶段评估和预算约束的演化循环让编码 Agent 越用越强，支持 Claude Code、Codex CLI 等 14 种运行时。

从零开始手把手教你构建 LLM 智能体的中文教程，覆盖 Agent 原理、RAG 等核心实践，适合入门与动手复现。

Android 上的 V2Ray 客户端，支持 Xray 和 v2fly 内核，可配置 VMess、VLESS、Trojan 等协议实现科学上网。

用 Go 编写的代理平台，支持 VMess、Shadowsocks、SOCKS5 等协议，帮你在受限网络里搭建翻墙通道。

微软出品的 18 节入门课程，用 Jupyter Notebook 手把手教你搭建 AI Agent，覆盖 AutoGen、Semantic Kernel、Foundry 等主流框架与 Agentic RAG 实践。

从零手写一个极简 Claude Code 式 agent harness，用 Bash 就能跑，适合想搞懂 AI 编程助手内部原理的人边看边练。

用 Rust 写成的超快 Python 代码检查与格式化工具，能替代 Flake8、Black 等，大幅缩短 lint 和格式化耗时。