跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
ONNX 是开放的机器学习模型交换格式标准,让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。
基于 ONNX Runtime、OpenVINO、PaddlePaddle 等多家推理后端的 OCR 工具包,支持多语言识别,方便在不同硬件上快速部署文字检测与识别。
预训练的企业级语音活动检测(VAD)模型,能精准切分音频中的说话段与静音段,支持 ONNX 和 PyTorch 部署,适合语音识别、语音指令等场景的前置处理。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
跨平台桌面标注工具,支持文本、图像、视频、点云和多模态数据,内置 AI 模型辅助预标注,可导出多种格式。
单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎,支持100多种语言,并按请求自动路由到合适的检查点。
用 Rust 写的高性能 PDF 解析库,能快速判断 PDF 是扫描件还是文本型并抽取文字,方便后续决定走 OCR 还是直接解析。
超轻量级中文 OCR 工具,总模型仅 4.7M,支持竖排文字识别,可在 ncnn、MNN、TNN 等推理后端运行,适合端侧和低资源场景部署。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
跨平台语音转文字听写应用,支持本地 Nvidia Parakeet/Whisper 模型和自带密钥的云端模型,主打隐私优先。
…eserve one result per input without invoking ONNX Runtime for zero-frame features. It also includes 3847: empty punctuation chunks return without tokenization or inferenc
ONNX Runtime GenAI 0.17.0 for Android arm64, built without telemetry, for flutter edge ai onnx . Its hook/build.dart fetches this zip at build time and checks its SHA-256
…top of [v1.30.0](https://github.com/microsoft/onnxruntime/releases/tag/v1.30.0), containing targeted model-validation and memory-safety fixes, improved Plugin EP data tra
ONNX Runtime 1.31.1 is a patch release that fixes an OpenVINO-enabled Python build regression and corrects WASM Debug external-data tests. These notes cover changes since
- onnxruntime is now an optional dependency instead of required. You now need to install ONNX Runtime explicitly: pip install onnxruntime for CPU pip install onnxruntime-
…ors raise dedicated exceptions instead of generic RuntimeError [ 1205] (https://github.com/onnx/sklearn-onnx/pull/1205)