评估 · 实验 · MLOps
共 116 个仓库 · Python
从任意文本自动抽取实体与关系并生成知识图谱的 Python 工具，附带基准测试，方便用 LLM 构建和评测图谱抽取流程。
用逼真的合成对话模拟来诊断和优化 LLM Agent 的框架，帮助开发者在真实上线前发现并修复 Agent 的薄弱环节。
把 AI/ML 模型打包成可直接上线的推理服务，省去手写 Docker 和部署脚本的麻烦，一条命令就能跑起来。
自动扫描图像数据集，找出重复、模糊、曝光异常等质量问题，帮你在训练前把数据清洗干净。
向量数据库性能与性价比基准测试工具，支持多种向量库的统一压测和结果对比，方便选型时横向评估。
把电子表格变成 AI 流水线：在单元格里串联提示词和模型，实时对比 LLM 输出，多人协作迭代 AI 应用。
面向智能体和 LLM 应用的编排框架，把 RAG、工具调用和多步推理流程串起来，方便搭建和运维生成式 AI 应用。
面向多模态机器学习的数据平台，支持图像标注、数据筛选与清洗，帮助团队管理训练数据并提升数据质量。
OpenCUA 提供构建电脑操作智能体（CUA）的开放基础，包含数据集、基础模型和评测基准，让 GUI 自动化智能体有可复现的训练与评估方案。
在浏览器里跑安卓模拟器，为移动 GUI 智能体提供可验证、高并发的评测与在线强化学习训练环境。
几分钟内就能在本地或远程部署任意 AI 模型、智能体、数据库、RAG 和流水线，省去繁琐的环境配置和运维工作。
一站式评估 AI 数据、模型和应用质量的工具，能检测数据质量、幻觉等问题并生成质量报告，适合做数据清洗与模型上线前的质量把关。
一站式大模型压缩工具箱，支持 LLM、VLM 和视频生成模型的量化与剪枝，覆盖 AWQ、SmoothQuant 等算法，并提供压缩后的评测与部署流程。
把 OpenAI Deep Research 的深度推理和 Dify 的可视化工作流合到一起的垂直 AI Agent 构建平台，支持 RAG 与 A2A 委派。
面向 RAG 场景的 AI 搜索数据库，支持语义检索与语言模型集成，帮开发者把非结构化数据变成可检索的知识库。
把 bug、想法或工单一路推进到通过验证的 PR：自动写规格、按风险做跨模型评审、实时 QA，并把过程记录留在仓库里。
面向大模型的无服务器推理服务系统，通过多级检查点加载和 GPU 显存复用，实现低延迟、按需启动的 LLM 部署。
用 Cookiecutter 一键生成 FastAPI 项目骨架，内置机器学习、uv 依赖管理、GitHub Actions 和 Pytest，省去从零搭工程的时间。
把视觉语言模型变成通用多模态嵌入模型，配套 MMEB 系列基准，用于图文视频检索和 RAG 场景的表示学习评测。
面向 AI Agent 的文档解析评测基准，覆盖 OCR、PDF 解析和表格抽取，用统一指标对比不同模型与工具在真实文档上的解析效果。
基于 FastAPI 的机器学习模型服务骨架，帮你快速搭出可上生产环境的推理 API，省去从零写服务框架的功夫。
面向 LLM 应用的数据驱动评估框架，提供多种指标，重点覆盖 RAG 与信息检索场景，帮助在开发中持续量化效果。
面向表格数据的校验工具包，用简单易懂的方式检查数据质量并持续监控，帮你在数据进入分析或建模前发现异常。
用 Actor 模型搭建智能体系统的轻量框架，启动快、开销小，适合需要高并发和低延迟的多智能体编排场景。