搜索 · OSS Radar

「PagedAttention」找到 4 个结果 · 4ms命中词：pagedattentionpagedattention只看有点评

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

vllm-project/vllm · 20.29

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

GeeeekExplorer/nano-vllm · 14.88

用 C++ 和 CUDA 手写一个高性能 LLM 推理引擎的教学项目，是 vLLM 的精简版，涵盖 PagedAttention 和连续批处理等核心机制。

jmaczan/tiny-vllm · 13.17

从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。

psmarter/mini-infer · 11.7

发布说明里提到「PagedAttention」

来自 6 个版本