评估 · 实验 · MLOps
共 262 个仓库
基于 FastAPI 的机器学习模型服务骨架，帮你快速搭出可上生产环境的推理 API，省去从零写服务框架的功夫。
一站式科研工作台插件，把 LaTeX 边写边编译、arXiv 文献管理、实验追踪、指标图表和 GPU 服务器 SSH 任务编排整合在一起，覆盖科研全周期。
把 CPU、GPU 等硬件传感器数据采集后推送到 Graphite、InfluxDB、Prometheus 等时序数据库，方便用 Grafana 做监控看板。
已归档的历史仓库，原用于向量检索与向量数据库的教程和工具集；团队现已转向自托管推理引擎 SIE，覆盖嵌入、重排、OCR 与文档处理。
跨平台命令行工具，用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟，覆盖 CUDA、Metal、OpenCL 等主流 API。
面向 LLM 应用的数据驱动评估框架，提供多种指标，重点覆盖 RAG 与信息检索场景，帮助在开发中持续量化效果。
面向表格数据的校验工具包，用简单易懂的方式检查数据质量并持续监控，帮你在数据进入分析或建模前发现异常。
Ruby 的数据结构校验与类型转换库，用声明式 schema 定义字段规则，自动完成类型强制转换和校验，适合在 API 或表单入口处保证数据质量。
用 Actor 模型搭建智能体系统的轻量框架，启动快、开销小，适合需要高并发和低延迟的多智能体编排场景。
面向 dbt 项目的数据校验工具，在 PR 评审阶段对比改动前后的数据差异，帮分析工程师提前发现模型变更带来的数据问题。
多线程网页爬虫，递归抓取整站并把每个页面转成 Markdown 文件，为 LLM RAG 准备干净的语料。
基于 Keras 的神经符号语言模型框架，把 LM 与符号推理、强化学习结合，支持上下文学习和测试时自适应。
OpenRCA 是 ICLR'25 提出的基准，用来评测大语言模型和 LLM Agent 能否在软件故障中定位根因，为根因分析能力提供统一测试标准。
面向 LLM 应用的统一网关，集中治理与保护各家大模型 API 调用，支持 MCP 协议接入。
在 Kubernetes 集群里自动发现 GPU 节点故障并执行修复，减少加速计算任务因硬件异常中断。
开源的 Agent 运行时，让团队在自己的基础设施上部署智能体，全程掌控运行环境与数据。
OSWorld 2.0 是一个评测基准，专门衡量计算机操作智能体在长周期真实任务中的表现，帮研究者检验模型能否连续完成多步桌面操作。
基于 OpenTelemetry 的 TypeScript LLM 应用可观测性工具，帮开发者追踪调用链、采集指标并监控模型运行状态。
统一训练、微调和评测世界动作模型（WAM）的框架，面向具身智能与机器人研究，支持 LoRA 微调并内置基准测试。
把视频流转化为整体 3D 空间智能的 ICML 2026 Oral 工作，配套基准用于评测视觉语言模型的空间理解能力。
基于 Python 的 Git 工作流工具，一次提交即可生成多个相互关联的 PR，并支持补丁版本追踪和 rebase 检测，让代码评审更高效。
用流水线方式自动运行 Python 程序，顺带监控 GPU 状态，适合管理机器学习实验的批量跑批场景。
把 LLM 应用从原型推进到生产环境的框架，集成了 LangChain、MLflow、OpenAI 和 Vertex AI，方便管理提示词与模型部署。
把训练好的 sklearn、XGBoost 等 ML 模型直接暴露成 LLM Agent 可调用的工具，省去自己写胶水代码，让 Agent 能调用传统模型做预测。