把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

一站式 MLOps/LLMOps 平台，把实验跟踪、数据管理、流水线编排和模型服务整合在一起，帮团队把 AI 训练与部署流程自动化。

NannyML 是 Python 的模型上线后监控库，能在没有真实标签的情况下估计模型性能，并检测数据漂移，帮你在生产环境及时发现模型退化。

面向机器学习工程与研究的智能体，能对接 arXiv 和 Papers with Code 检索论文，生成代码与研究方案，并支持 OpenAI、Anthropic、Gemini、Ollama 等模型。

Model Deployment at Scale on Kubernetes 🦄️

基于 FastAPI 的机器学习模型服务骨架，帮你快速搭出可上生产环境的推理 API，省去从零写服务框架的功夫。

几分钟内在 Google Cloud Vertex AI 上搭好带 CI/CD 的 MLOps 流水线，省去手动拼接训练、部署和自动化环节的麻烦。

面向强化学习实验的 GPU 调度与训练编排系统，让多个 RL 实验共享 GPU 资源、减少排队等待，支持 LoRA 微调与 LLM 训练。

用 Python 把数据和 AI 算法快速封装成可上生产环境的 Web 应用，内置数据集成、可视化、任务调度和 MLOps 编排能力。

TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observability, evaluation, optimization, …

汇集全球科技公司公开的 SRE 实践资料，涵盖告警、混沌工程、事故响应、可观测性等主题，方便团队借鉴落地的运维与稳定性方案。

Ship AI Agents to Google Cloud in minutes, not months. Production-ready templates with built-in CI/CD, evaluation, and o…

Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with bi…

Serve, optimize and scale PyTorch models in production

RAG (Retrieval Augmented Generation) Framework for building modular, open source applications for production by TrueFoun…

用一句自然语言提示就能自动构建机器学习模型，多智能体协作完成数据理解、特征工程和训练调参，省去手工搭流程的麻烦。

Netflix 开源的工作流编排器，用 DAG 定义和调度批处理、ETL/ELT 数据管道，让大规模数据作业按依赖关系自动执行。

把现有数据基础设施直接变成特征存储的虚拟特征存储，省去迁移数据，统一管理特征定义与向量检索，服务机器学习训练和推理。

给 AI 驱动的云和 Kubernetes 运维加上安全护栏，防止自动化操作越权或误改生产环境，适合在 MLOps 和 DevOps 流程中做安全管控。

给 LLM 应用和 AI Agent 做评测与追踪的工具，能记录实验过程、量化效果并定位问题，方便持续迭代和上线监控。

实时监控 NVIDIA GPU 的 Web 仪表盘，用图表展示显存、利用率、温度等指标，方便运维和 MLOps 排查显卡状态。

一套从 Python 基础到生成式 AI 的数据科学实战教程，覆盖数据分析、深度学习、MLflow 与 Prefect 等 MLOps 工具链，适合系统学习并动手实践。

一门讲高效深度学习系统的课程材料，覆盖 CUDA 编程、分布式训练和推理优化，帮你搞懂怎么把模型训得更快、跑得更省。

自包含的本地 AI 服务，开发者可将其嵌入并随应用分发，为软件快速添加目标检测、生成式 AI 等能力，无需自建模型部署流程。

几分钟内就能在本地或远程部署任意 AI 模型、智能体、数据库、RAG 和流水线，省去繁琐的环境配置和运维工作。

给 LLM 应用提供记忆与信息检索能力的服务端，用 Rust 实现，帮你在对话中持久化上下文并做检索，省去自己搭记忆层。

一份 10 周、每天 30 分钟的 LLM 推理服务与优化学习路线，覆盖 vLLM、SGLang、量化、投机解码和基准测试，帮工程师系统入门推理加速。

一个能 7×24 小时自主跑深度学习实验的 AI 智能体，采用 Leader-Worker 架构和固定大小内存，零成本监控训练与调参，适合无人值守的自动化研究。

用 Cookiecutter 一键生成 FastAPI 项目骨架，内置机器学习、uv 依赖管理、GitHub Actions 和 Pytest，省去从零搭工程的时间。

面向大模型的无服务器推理服务系统，通过多级检查点加载和 GPU 显存复用，实现低延迟、按需启动的 LLM 部署。

把 XGBoost、LightGBM、scikit-learn、CatBoost 和 ONNX 模型一键编译成原生 C99 推理代码，省去 Python 运行时开销，推理速度最高提升 336 倍。

面向 XLA 设备（先支持 TPU，后续扩展 GPU）的大模型推理引擎，主打高吞吐和低显存占用，适合在 JAX 生态里跑 Llama、Gemma 等模型。

一个仅 2k 行代码的轻量级 LLM 推理系统，性能对标 vLLM，专为研究和学习推理引擎内部实现而设计。

一站式深度学习全栈库，把模型搭建、FastAPI 接口开发和模型部署串起来，还带 GradCAM 可解释性分析，省去自己拼装各环节的麻烦。

轻量级 Web 面板，实时查看多块 GPU 的占用率、显存和温度等状态，方便跑深度学习训练时随时掌握显卡负载。

一份精选的机器学习生产化开源工具清单，覆盖模型部署、监控、版本管理和规模化扩展，帮你快速找到 MLOps 各环节的趁手工具。

一份精选的 LLMOps 工具清单，帮开发者快速找到大模型应用开发、部署、监控和评估各环节的趁手工具。

汇总开源数据标注与打标签工具的清单，帮做机器学习的人快速找到合适的标注方案。

整理 Argo 生态的精选资源清单，涵盖 Argo CD、Workflows、Rollouts、Events 等子项目的工具与教程，方便做 GitOps 和持续交付时快速找参考。

一份数据工程学习路线图，把数据管道、数据仓库、数据库、云服务和 CI/CD 等知识点串成进阶路径，适合想系统入门或查漏补缺的工程师。