面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南,用 TensorRT 加速图像识别等视觉任务,配套教程和预训练模型开箱即用。
ONNX 是开放的机器学习模型交换格式标准,让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。
用 Go 语言调用 OpenCV 做计算机视觉的封装库,支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块,省去写 C++ 胶水代码的麻烦。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎,通过量化与高效推理大幅提速并降低显存占用,适合本地部署转录。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
基于深度学习的中文语音识别系统,用 CNN+CTC 把中文语音转成文字,适合搭建本地语音转写服务。
本地跑实时语音转文字,带流式识别、说话人分离和翻译,还兼容 OpenAI/Deepgram 接口,适合自建低延迟转写服务。
把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用,让无显卡设备也能跑 CUDA 计算和推理任务。
ONNXim 是一个周期级多核 NPU 模拟器,能快速仿真 DNN 推理在 NPU 上的执行过程,帮助评估和优化硬件设计。