跨平台机器学习框架,提供可定制的视觉、音频等实时流媒体处理方案,方便在移动端和桌面端搭建低延迟推理管线。
面向文本嵌入、重排、CLIP、CLAP 和 ColPali 模型的高吞吐低延迟推理服务引擎,适合把向量化和重排模型部署成线上 API。
把 Keras、PyTorch、ONNX 训练好的神经网络模型自动转成 FPGA 可综合的 HLS 代码,方便在硬件上做低延迟推理。
面向 Blackwell 架构 GPU 的高速 LLM 推理引擎,支持 DeepSeek、Kimi、GLM 等模型,主打极致推理吞吐与低延迟。