面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。
在 Jetson 上跑 TensorRT 加速的视觉模型示例集，涵盖 MODNet 抠图、YOLOv3/v4 检测、SSD、MTCNN 人脸和 GoogLeNet，帮你快速部署边缘推理。
面向视频分析与端侧 VLM 的 C++ 边缘推理引擎，支持算能、瑞芯微 RKNN 和 x86 平台，自带可视化编排、实时 OSD、事件与可复现基准。
用 Rust 写的轻量级推理引擎，能直接跑 TensorFlow 和 ONNX 模型，无需额外依赖，适合在边缘设备或嵌入式场景部署神经网络。
在树莓派等边缘设备上跑深度学习推理的网关，把模型部署到 IoT 终端并通过 MQTT 上报结果，省去云端往返。
用 C++ 写的轻量级 ONNX 推理库，靠流式加载把内存压到极低，能在树莓派 Zero 2 或 298MB 内存里跑 Stable Diffusion XL 1.0，桌面端也能跑 Mistral 7B。
把 OpenVINO 优化过的模型部署成可扩展推理服务的服务器，支持云端和边缘、Kubernetes 与 DAG 流水线，方便生产环境上线模型。
在瑞芯微 NPU 上跑大模型的推理服务，类似 Ollama 的替代方案，通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。
面向单片机和微型计算机的轻量级深度学习库与推理框架，自带编译器，不绑定芯片厂商，可在 ESP32、Arduino 等边缘设备上跑模型。
在 RK3588 等瑞芯微芯片上快速装好并调用 NPU 的脚本工具，省去手动配置驱动和运行环境的麻烦，方便直接跑神经网络和 LLM 推理。
面向嵌入式设备的开源 AI 模型训练与部署工具，支持在 ESP32、Jetson、树莓派等硬件上完成图像分类、目标检测等任务的训练与推理。
基于 FastAI 和 PyTorch 的模型压缩工具，提供剪枝、蒸馏和量化，帮你在边缘设备上跑更小更快的神经网络。
面向 Hailo 边缘 AI 芯片的预训练模板应用流水线，基于 GStreamer 搭建，开箱即用，省去从零拼装视频推理链路的麻烦。
哈佛 CS249r 的机器学习系统教材，覆盖基础、扩展、智能体 AI 与具身 AI 四卷，系统讲解从云端到边缘的 ML 系统设计与工程实践。