搜索 · OSS Radar

「Blackwell」找到 5 个结果 · 2ms命中词：blackwell只看有点评

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

vllm-project/vllm · 15.09

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

sgl-project/sglang · 14.56

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

NVIDIA/TensorRT-LLM · 13.78

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

flashinfer-ai/flashinfer · 13.15

面向语音 AI 的可扩展生成式框架，覆盖语音识别、语音合成、说话人分离与语音翻译，方便研究和开发人员训练部署语音模型。

NVIDIA-NeMo/Speech · 13.1

发布说明里提到「Blackwell」

来自 6 个版本