通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。

DataTalks.Club 出品的免费 MLOps 实战课程，覆盖模型部署、监控和工作流编排，帮你把机器学习模型从实验推到生产环境。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

一套从数据工程、模型训练到部署迭代的完整教程，帮你把机器学习项目做成可上线的生产级应用。

提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

一套为期四个月的免费机器学习工程课程，覆盖从模型训练到 Docker、FastAPI、Kubernetes 部署的完整链路，适合想补齐工程落地能力的算法同学。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。

高性能无锚框 YOLO 目标检测器，精度超过 YOLOv3~v5，支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

Amazon SageMaker 官方示例集，用 Jupyter Notebook 演示如何构建、训练和部署机器学习模型，适合上手 MLOps 全流程。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调（SFT/RL）、评测与部署，零代码也能上手。

把数据库和 AI 模型直接打通的全栈框架，让你在 MongoDB 等数据源上直接做推理、训练和部署自定义 AI 应用与智能体。

在 Kubernetes 上统一部署生成式与预测式 AI 模型的推理平台，支持多框架、可扩展的分布式推理服务。

在树莓派等边缘设备上跑深度学习推理的网关，把模型部署到 IoT 终端并通过 MQTT 上报结果，省去云端往返。

基于 TensorRT 的 YOLO 系列模型部署工具包，支持检测、分割、姿态估计和旋转框检测，帮你在 NVIDIA 显卡上把推理跑得更快更省事。

把 PyTorch 等导出的 ONNX 模型做图优化和算子融合，去掉冗余节点、简化计算图，方便部署和推理加速。

在 Kubernetes 上打包、部署、监控和管理大规模生产机器学习模型的 MLOps 框架，解决模型上线后服务化与运维难题。

面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。

用 C++ 把 YOLOv8 模型部署到 TensorRT 上做高性能推理，适合需要低延迟目标检测的工程落地场景。

把 OpenVINO 优化过的模型部署成可扩展推理服务的服务器，支持云端和边缘、Kubernetes 与 DAG 流水线，方便生产环境上线模型。

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。

自包含的本地 AI 服务，开发者可将其嵌入并随应用分发，为软件快速添加目标检测、生成式 AI 等能力，无需自建模型部署流程。

基于 Llama3 的中文后训练模型与配套工具，提供中文微调权重、训练脚本和部署方案，让开发者能直接跑起中文对话模型。

把 YOLOv8 的检测、分割、姿态模型导出为 ONNX 并用 TensorRT 加速推理，支持 Jetson 和 DeepStream 部署。

轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。

基于飞桨的高性能推理部署工具包，专门用来把大语言模型和多模态模型跑起来、服务化，支持 ERNIE 系列和 OpenAI 兼容接口。

面向文本嵌入、重排、CLIP、CLAP 和 ColPali 模型的高吞吐低延迟推理服务引擎，适合把向量化和重排模型部署成线上 API。

提供示例应用，演示如何把 TAO 训练的模型部署到 DeepStream 视频分析流水线，覆盖 YOLOv3、RetinaNet、DSSD 等模型。

一个轻量级 C++ AI 工具包，集成 100+ 模型，支持 MNN、ONNX Runtime 和 TensorRT 推理，覆盖目标检测、分割、Stable Diffusion、人脸融合等任务。

基于 PyTorch 的神经网络量化库，支持训练后量化和量化感知训练，方便把模型部署到 FPGA 等硬件上做加速。