用于评测大语言模型及 LLM 系统的框架，同时提供开源基准测试注册表，方便对比不同模型和系统的表现。

持续更新的中文大模型能力评测榜单，已收录374个商用与开源模型，并提供超200万条缺陷库，方便研究者横向对比模型表现、定位问题并改进。

一个 Python 的 LLM 评测框架，提供开箱即用的评估指标，帮你在开发和上线前系统检验大模型输出质量。

用 Markdown 写一次 AI 编码助手的插件、技能和命令，再由生成器适配 Claude Code、Codex CLI、Cursor 等各家工具，省去重复维护。

Python SDK，用于监控 AI 智能体运行、追踪 LLM 调用成本并做基准评测，兼容 CrewAI、LangChain、AutoGen 等主流智能体框架。

把 GitHub issue 直接丢给大模型，自动定位代码并生成修复补丁，还能用于安全攻防和竞赛编程。

基于大模型的软件工程智能体，能自动完成编码、调试、重构等通用开发任务，把自然语言需求直接转成可执行代码改动。

一份面向 AI Agent 开发与大模型求职的系统指南，覆盖上下文工程、高级 RAG、MCP、Agentic RL 和 LangGraph 实战，并附 1.2 万+ 面试题。

开源计算机使用智能体，能像人一样操作图形界面完成桌面任务，靠多模态大模型、规划与记忆实现自动化操作。

用 LLM 智能体自动完成数据挖掘、模型训练等研发流程，让 AI 驱动数据驱动的 AI 开发。

用多环境任务系统评测大模型作为智能体的综合能力，覆盖操作系统、数据库、知识图谱等场景，方便横向对比不同模型的 agent 表现。

用 Python 快速编写、构建和评测 AI Agent 的框架，内置 TUI 命令行界面，并支持 MCP、ACP、A2A 等协议与 Agent Skills。

本地优先的 AI agent 运行框架，把循环、记忆和评测都写成可读的代码，方便你完全掌控自己的个人助理。

用游戏当测试场来评估 LLM/VLM 智能体的框架，提供可复现的游戏环境和评测流程，方便对比不同模型在交互决策上的表现。

微软推出的可扩展 Windows 操作系统平台，用于测试和基准评测多模态 AI 智能体在真实桌面环境中的表现。

用逼真的合成对话模拟来诊断和优化 LLM Agent 的框架，帮助开发者在真实上线前发现并修复 Agent 的薄弱环节。

基于智能体的视频生成评测系统，用自动化方式给文生视频、图生视频等模型的生成质量打分，省去人工逐条评估的麻烦。

一本覆盖 LLM Agent 全流程的实战手册，提供 60+ 代码骨架、教程、生态指南和评测工具，帮你从零搭建、部署并理解智能体系统。

用 Go 构建生产级智能体系统的框架，提供图工作流编排、工具调用、记忆、A2A 与 MCP 协议接入、评测和可观测性，省去从零搭基础设施。

面向 LLM 应用、RAG 和 Agent 工作流的可观测与评测平台，提供全链路追踪、自动评估和生产级监控看板，帮团队定位问题并持续优化效果。

用声明式配置对提示词、Agent 和 RAG 做自动化评测与红队渗透测试，支持多模型横向对比，可接入命令行和 CI/CD。

开源的 LLM 可观测性与评测平台，能追踪、调试和评估 RAG 与 Agent 应用，帮团队定位大模型链路中的问题。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

用真实 GitHub issue 评测语言模型能否自动修复代码缺陷的基准测试集，为代码智能体能力提供可复现的量化对比。

开源的 LLM Agent 评测与测试库，能自动扫描模型和智能体的安全、公平性、幻觉等风险，帮团队在上线前发现并修复问题。

把 Git 的版本控制能力搬到数据库上，支持分支、合并、克隆和 diff，适合需要追踪数据变更、给 AI Agent 做可回溯记忆存储的场景。

为 AI Agent 提供可持久化的长期记忆层，让智能体和应用能跨会话记住上下文，开箱即用、面向生产环境。

整理 2026 年机场（代理订阅）推荐清单，汇总低价、按量计费、不限时等各类 Clash/V2ray 节点服务，并附评测与避坑提示。

一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。

面向 LLM 应用的自动化评测工具，用合成测试集和多种指标量化 RAG 与生成效果，帮你在上线前发现质量问题。

面向 Agent 应用的 Python 可观测性 SDK，支持对 Agent、LLM 和工具调用做追踪、调试与评测，自带可自托管面板，用时间线和执行图看清多智能体系统的运行过程。

一行代码接入的 LLM 可观测性平台，能监控大模型调用、追踪成本与延迟，并支持评估和实验对比，方便排查线上问题。

用 TypeScript 快速搭建 AI 应用和智能体的现代框架，内置工作流、对话机器人和评测能力，省去自己拼装 LLM 调用链的麻烦。

开源计算机使用智能体基础设施，提供跨系统沙箱、驱动和基准测试，用于训练、评估和生成桌面操作数据。

开源的安卓手机 GUI 智能体，能自动操作手机界面完成任务，支持 AndroidWorld/AndroidLab 评测，并带分层反思和主动探索机制。

通义开源深度研究智能体，能自主规划多步检索、浏览网页并整合信息，产出带引用的研究报告，适合做调研问答和资料汇总。

面向 Kimi、GLM、DeepSeek、Qwen 等开放权重模型的编码 Agent，用 Rust 实现，让这些模型也能在终端里自主写代码、执行任务。

一个能自主写代码、改 bug、跑命令的 AI 开发代理，把大模型接入真实开发环境，让编码任务从对话直接落到执行。

给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。

把 AI 研究与工程技能打包成可复用模块，接入 Claude Code、Codex、Gemini 等编码代理后即可获得完整科研能力。