评估 · 实验 · MLOps
共 240 个仓库 · 一年内有推送
面向大模型的无服务器推理服务系统，通过多级检查点加载和 GPU 显存复用，实现低延迟、按需启动的 LLM 部署。
Meesho 开源的端到端机器学习基础设施栈，提供在线特征存储等组件，支撑印度规模下的实时与批量 ML 工作负载。
把视觉语言模型变成通用多模态嵌入模型，配套 MMEB 系列基准，用于图文视频检索和 RAG 场景的表示学习评测。
面向 AI Agent 的文档解析评测基准，覆盖 OCR、PDF 解析和表格抽取，用统一指标对比不同模型与工具在真实文档上的解析效果。
面向企业内部文档场景的 RAG 数据集与评测基准，提供标准化测试集和评估流程，用来衡量检索增强生成系统在企业知识库上的真实表现。
基于 FastAPI 的机器学习模型服务骨架，帮你快速搭出可上生产环境的推理 API，省去从零写服务框架的功夫。
一站式科研工作台插件，把 LaTeX 边写边编译、arXiv 文献管理、实验追踪、指标图表和 GPU 服务器 SSH 任务编排整合在一起，覆盖科研全周期。
把 CPU、GPU 等硬件传感器数据采集后推送到 Graphite、InfluxDB、Prometheus 等时序数据库，方便用 Grafana 做监控看板。
已归档的历史仓库，原用于向量检索与向量数据库的教程和工具集；团队现已转向自托管推理引擎 SIE，覆盖嵌入、重排、OCR 与文档处理。
跨平台命令行工具，用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟，覆盖 CUDA、Metal、OpenCL 等主流 API。
面向 LLM 应用的数据驱动评估框架，提供多种指标，重点覆盖 RAG 与信息检索场景，帮助在开发中持续量化效果。
面向表格数据的校验工具包，用简单易懂的方式检查数据质量并持续监控，帮你在数据进入分析或建模前发现异常。
Ruby 的数据结构校验与类型转换库，用声明式 schema 定义字段规则，自动完成类型强制转换和校验，适合在 API 或表单入口处保证数据质量。
用 Actor 模型搭建智能体系统的轻量框架，启动快、开销小，适合需要高并发和低延迟的多智能体编排场景。
面向 dbt 项目的数据校验工具，在 PR 评审阶段对比改动前后的数据差异，帮分析工程师提前发现模型变更带来的数据问题。
多线程网页爬虫，递归抓取整站并把每个页面转成 Markdown 文件，为 LLM RAG 准备干净的语料。
基于 Keras 的神经符号语言模型框架，把 LM 与符号推理、强化学习结合，支持上下文学习和测试时自适应。
OpenRCA 是 ICLR'25 提出的基准，用来评测大语言模型和 LLM Agent 能否在软件故障中定位根因，为根因分析能力提供统一测试标准。
面向 LLM 应用的统一网关，集中治理与保护各家大模型 API 调用，支持 MCP 协议接入。
在 Kubernetes 集群里自动发现 GPU 节点故障并执行修复，减少加速计算任务因硬件异常中断。
开源的 Agent 运行时，让团队在自己的基础设施上部署智能体，全程掌控运行环境与数据。
OSWorld 2.0 是一个评测基准，专门衡量计算机操作智能体在长周期真实任务中的表现，帮研究者检验模型能否连续完成多步桌面操作。
基于 OpenTelemetry 的 TypeScript LLM 应用可观测性工具，帮开发者追踪调用链、采集指标并监控模型运行状态。
统一训练、微调和评测世界动作模型（WAM）的框架，面向具身智能与机器人研究，支持 LoRA 微调并内置基准测试。