搜索 · OSS Radar

「Blackwell」找到 8 个结果 · 6ms命中词：blackwell只看有点评

vllm

vllm-project·Python

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

推理引擎+4

966890—

vllm-project/vllm · 14.78

sglang

sgl-project·Python

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

推理服务框架+4

386930—

sgl-project/sglang · 14.29

TensorRT-LLM

NVIDIA·Python

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4

150550—

NVIDIA/TensorRT-LLM · 11

tokenspeed

lightseekorg·Python

面向 Blackwell 架构 GPU 的高速 LLM 推理引擎，支持 DeepSeek、Kimi、GLM 等模型，主打极致推理吞吐与低延迟。

推理引擎+4

29150—

lightseekorg/tokenspeed · 10.5

openlake

openlake-project·Rust

面向大模型推理与 GPU 训练的高性能存储引擎，用 Rust 编写，通过 RDMA 等技术提升模型加载和服务吞吐。

存储引擎+4

30950—

openlake-project/openlake · 10.29

parallax

GradientHQ·Python

分布式模型服务框架，能把多台机器组成自建 AI 推理集群，用来跑 Llama、DeepSeek 等大模型。

分布式推理+4

14210—

GradientHQ/parallax · 9.88

vLLM-Moet

kacper-daftcode·Sass

在 RTX 5090 / RTX PRO 6000（sm_120）上跑 DeepSeek-V4.1-Flash 等前沿 MoE 大模型的 vLLM 适配方案，支持 GPU+CPU 混合推理和 2-bit 专家量化。

MoE推理+4

5720—

kacper-daftcode/vLLM-Moet · 9.52

Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

AEON-7·Python

基于 Qwen3.6-27B 做去审查与能力增强的 abliteration 模型，配合 NVFP4 量化和 DFlash 投机解码，在 DGX Spark 上优化长上下文草稿接受率，附多种 HF 变体与 Docker 部署。

去审查模型+4

4910—

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash · 9.16

发布说明里提到「Blackwell」

来自 6 个版本