跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
基于 Kokoro 模型和 ONNX Runtime 的轻量级语音合成方案,用 Python 就能在本地跑出高质量 TTS,省去复杂环境配置。
把 PaddleOCR 的模型转成 ONNX 推理,彻底摆脱 PaddlePaddle 框架依赖,轻量部署、推理速度很快,适合做通用 OCR、表格识别和车牌识别。
把 PaddlePaddle 训练好的模型导出成 ONNX 格式,方便用 ONNX Runtime 等推理引擎部署,覆盖分类、检测、OCR 等模型。
把微软 ONNX Runtime 封装成 Go 库,让 Go 程序能直接加载和推理 ONNX 模型,省去跨语言调用的麻烦。
把 ONNX 模型编译成纯 C 代码,方便在单片机和边缘设备上直接跑推理,不用带完整运行时。
预训练的企业级语音活动检测(VAD)模型,能精准切分音频中的说话段与静音段,支持 ONNX 和 PyTorch 部署,适合语音识别、语音指令等场景的前置处理。
基于 ONNX Runtime、OpenVINO、PaddlePaddle 等多家推理后端的 OCR 工具包,支持多语言识别,方便在不同硬件上快速部署文字检测与识别。
OBS 直播/录屏插件,用 ONNX Runtime 做实时人像背景分割,一键抠掉摄像头背景换成任意画面。
基于 MLIR 的可重定向机器学习编译器与运行时工具包,把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。
微软推出的本地 AI 推理运行时,基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型,支持 GPU 加速,不用联网也能用。
基于 ONNX Runtime 和 DirectX 12 的图像/视频 AI 超分工具,带图形界面,支持 N 卡、A 卡和 Intel 显卡,可降噪、去压缩伪影,适合修复动漫和漫画素材。
Sparsity-aware deep learning inference runtime for CPUs
用 Rust 封装 ONNX Runtime,让 ONNX 模型在 Rust 里跑推理和训练都很快,适合需要低延迟、无 Python 依赖的部署场景。
一个轻量级 C++ AI 工具包,集成 100+ 模型,支持 MNN、ONNX Runtime 和 TensorRT 推理,覆盖目标检测、分割、Stable Diffusion、人脸融合等任务。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具,支持 INT8/FP8/INT4 等低比特量化和稀疏化,帮大模型在低精度下保持精度并降低显存与推理成本。
面向 Windows 开发者的开源示例库,演示如何用本地模型和 API 给 Windows 应用加上 AI 能力,覆盖 ONNX Runtime、DirectML 和 NPU 加速。
轻量级裸露内容检测模型,可识别图片中的 NSFW 内容,支持 Keras 和 ONNX Runtime 推理,适合做内容审核和过滤。
在 CPU 上实时做人脸检测和面部关键点跟踪,附带 Unity 集成,适合做虚拟形象、动捕这类不需要 GPU 的场景。
在 Node.js/TypeScript 里通过 ONNX Runtime 本地跑 Laya 这个兼容 Jev 的开源 System-1 决策模型,做分类和推理,不用依赖云端。
基于 .NET 8 的 C# 视觉推理库,用 ONNX Runtime 或 TensorRT 跑 YOLO 模型,支持图像和实时视频的分类、检测、OBB、分割与姿态估计。
一款简单易用、高性能的 AI 部署框架,支持 ONNX Runtime、MNN、昇腾等多种推理后端,用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。
把 YOLOv5 模型部署到 TensorRT、LibTorch、ONNX Runtime、TVM、NCNN 等推理后端的运行时工具链,省去自己写适配代码。
把 XGBoost、LightGBM、scikit-learn、CatBoost 和 ONNX 模型一键编译成原生 C99 推理代码,省去 Python 运行时开销,推理速度最高提升 336 倍。
轻量级车牌文字识别 OCR 模型,支持 Keras、JAX 和 ONNX Runtime,可快速集成到车牌识别流水线中。
为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时,内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型,方便在视频后期流程里直接调用。
纯 C++ 实时单目多人 3D 全身重建,输出带手部 70 关节骨架的 BVH 动作捕捉数据,ONNX + ggml 推理无需 Python。
面向 NVIDIA GPU 的深度学习推理调优工具包,帮助把训练好的模型调优并部署到 TensorRT、ONNX Runtime 等推理后端上跑得更快。
用 Rust 封装 ONNX Runtime 跑 Ultralytics YOLO 推理,支持 CUDA、CoreML、OpenVINO 等 GPU 后端,还带命令行和 WebGPU/WASM,方便在本地或浏览器里做目标检测、分割、姿态估计。
把 YOLOX 目标检测封装成 ROS2 节点,支持 ONNX Runtime、OpenVINO、TensorRT、TFLite 等多种推理后端,方便机器人项目直接接入实时检测。
…eserve one result per input without invoking ONNX Runtime for zero-frame features. It also includes 3847: empty punctuation chunks return without tokenization or inferenc
ONNX Runtime GenAI 0.17.0 for Android arm64, built without telemetry, for flutter edge ai onnx . Its hook/build.dart fetches this zip at build time and checks its SHA-256
…top of [v1.30.0](https://github.com/microsoft/onnxruntime/releases/tag/v1.30.0), containing targeted model-validation and memory-safety fixes, improved Plugin EP data tra
ONNX Runtime 1.31.1 is a patch release that fixes an OpenVINO-enabled Python build regression and corrects WASM Debug external-data tests. These notes cover changes since
- onnxruntime is now an optional dependency instead of required. You now need to install ONNX Runtime explicitly: pip install onnxruntime for CPU pip install onnxruntime-
…ors raise dedicated exceptions instead of generic RuntimeError [ 1205] (https://github.com/onnx/sklearn-onnx/pull/1205)