搜索 · OSS Radar

「FP16」找到 5 个结果 · 9ms命中词：fp16只看有点评

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

vllm-project/vllm · 12.43

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

sgl-project/sglang · 12.11

基于 TensorRT FP16 加速的 PP-OCRv6 推理服务，在 OmnidocBench 上跑出 200+ img/s，提供 HTTP 和 gRPC 接口，适合高吞吐文档解析与 RAG 场景。

aiptimizer/TurboOCR · 10.19

给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。

huawei-csl/KVarN · 9.66

基于 C++ 和 TensorRT 的 RF-DETR 推理引擎，支持目标检测与实例分割，可在 NVIDIA GPU 和 Jetson 上以 FP32/FP16/INT8 量化部署。

infracv/rf-detr-cpp · 9.24

发布说明里提到「FP16」

来自 6 个版本