评估 · 实验 · MLOps
共 116 个仓库 · Python
多线程网页爬虫，递归抓取整站并把每个页面转成 Markdown 文件，为 LLM RAG 准备干净的语料。
基于 Keras 的神经符号语言模型框架，把 LM 与符号推理、强化学习结合，支持上下文学习和测试时自适应。
OpenRCA 是 ICLR'25 提出的基准，用来评测大语言模型和 LLM Agent 能否在软件故障中定位根因，为根因分析能力提供统一测试标准。
OSWorld 2.0 是一个评测基准，专门衡量计算机操作智能体在长周期真实任务中的表现，帮研究者检验模型能否连续完成多步桌面操作。
统一训练、微调和评测世界动作模型（WAM）的框架，面向具身智能与机器人研究，支持 LoRA 微调并内置基准测试。
把视频流转化为整体 3D 空间智能的 ICML 2026 Oral 工作，配套基准用于评测视觉语言模型的空间理解能力。
基于 Python 的 Git 工作流工具，一次提交即可生成多个相互关联的 PR，并支持补丁版本追踪和 rebase 检测，让代码评审更高效。
把 LLM 应用从原型推进到生产环境的框架，集成了 LangChain、MLflow、OpenAI 和 Vertex AI，方便管理提示词与模型部署。
把训练好的 sklearn、XGBoost 等 ML 模型直接暴露成 LLM Agent 可调用的工具，省去自己写胶水代码，让 Agent 能调用传统模型做预测。
面向基础模型训练的多模态数据流水线，把数据清洗、筛选和质量评估串成可扩展流程，解决大规模图文数据难治理的问题。
一套用于压测向量搜索引擎的基准框架，可对比不同向量数据库的检索性能，帮你在选型时拿到实测数据。
T2I-CompBench 是评估文生图模型组合能力的基准，覆盖属性绑定、物体关系和数量等维度，帮研究者量化模型是否真的画对了提示词。
无需写代码就能浏览和校验表格数据的桌面应用，基于 Frictionless 框架，帮非技术用户快速发现数据质量问题。
用 Python 给 LLM 生成的回答跑评测的 SDK，内置多种评测指标，方便在 LLMOps 流程里量化模型输出质量。
对本地大模型服务做并发压力测试，自动跑多轮请求并生成性能报告，方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。
一套开箱即用的 PyTorch 深度学习项目模板，集成配置管理与实验追踪，支持多 GPU、多节点的大规模分布式训练。
面向多模态游戏智能体的标准化评测基准，提供可验证的评测流程，用来衡量智能体在游戏环境中的真实表现。
面向 ONNX 工作流的无代码命令行工具，能一键完成模型转换、基准测试和本地部署，省去手写脚本的麻烦。
轻量级 Web 面板，实时查看多块 GPU 的占用率、显存和温度等状态，方便跑深度学习训练时随时掌握显卡负载。
ChronoMagic-Bench 是 NeurIPS 2024 提出的文本到延时视频生成评测基准，用变形评估衡量扩散模型生成延时视频的质量。