评估 · 实验 · MLOps
共 240 个仓库 · 一年内有推送
把视频流转化为整体 3D 空间智能的 ICML 2026 Oral 工作，配套基准用于评测视觉语言模型的空间理解能力。
基于 Python 的 Git 工作流工具，一次提交即可生成多个相互关联的 PR，并支持补丁版本追踪和 rebase 检测，让代码评审更高效。
用流水线方式自动运行 Python 程序，顺带监控 GPU 状态，适合管理机器学习实验的批量跑批场景。
把 LLM 应用从原型推进到生产环境的框架，集成了 LangChain、MLflow、OpenAI 和 Vertex AI，方便管理提示词与模型部署。
把训练好的 sklearn、XGBoost 等 ML 模型直接暴露成 LLM Agent 可调用的工具，省去自己写胶水代码，让 Agent 能调用传统模型做预测。
面向基础模型训练的多模态数据流水线，把数据清洗、筛选和质量评估串成可扩展流程，解决大规模图文数据难治理的问题。
一套用于压测向量搜索引擎的基准框架，可对比不同向量数据库的检索性能，帮你在选型时拿到实测数据。
一站式 AI 治理与 LLM 评测平台，内置 EU AI Act、ISO 42001、NIST AI RMF 等 20 多个合规框架，帮团队做模型审计、风险评估和合规落地。
一个 OpenAPI 代理，按接口文档实时校验请求和响应，帮你在开发和测试阶段发现契约不一致的问题。
T2I-CompBench 是评估文生图模型组合能力的基准，覆盖属性绑定、物体关系和数量等维度，帮研究者量化模型是否真的画对了提示词。
轻量跨平台的 CPU/GPU 实时监控命令行工具，直接调用厂商 API 获取准确硬件数据，并用 ASCII 图表直观展示。
无需写代码就能浏览和校验表格数据的桌面应用，基于 Frictionless 框架，帮非技术用户快速发现数据质量问题。
对本地大模型服务做并发压力测试，自动跑多轮请求并生成性能报告，方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。
给 SaaS 产品快速嵌入 CSV/Excel 数据导入体验的开源组件，自带字段映射、数据校验和导入前复核，省去从零开发导入流程的几个月工作量。
基于智能体的视频生成评测系统，用自动化方式给文生视频、图生视频等模型的生成质量打分，省去人工逐条评估的麻烦。
一套开箱即用的 PyTorch 深度学习项目模板，集成配置管理与实验追踪，支持多 GPU、多节点的大规模分布式训练。
面向多模态游戏智能体的标准化评测基准，提供可验证的评测流程，用来衡量智能体在游戏环境中的真实表现。
面向 ONNX 工作流的无代码命令行工具，能一键完成模型转换、基准测试和本地部署，省去手写脚本的麻烦。
用 Rust 写的 NVIDIA GPU 终端监控面板，能实时查看显存占用和进程，比反复敲 nvidia-smi 更直观高效。
OpenS2V-Nexus 是面向主体到视频生成（S2V）的评测基准与百万级数据集，提供评估工具包，用来衡量模型在保持指定主体一致性上的生成效果。
监控机器学习模型上线后的数据漂移，并通过数据校验保障部署安全，自动生成 HTML 报告帮助定位特征分布变化。
用 Crystal 写的单二进制 HTTP 压测工具，面向 CI/CD 流水线，提供真实延迟统计、阈值校验和 JSON 输出，方便在流水线里卡性能回归。
ChronoMagic-Bench 是 NeurIPS 2024 提出的文本到延时视频生成评测基准，用变形评估衡量扩散模型生成延时视频的质量。
基于 AtroCore 平台构建的开源 PIM 系统，可灵活配置产品目录、内容与数据校验，适合 B2B 电商和 ERP 集成场景。