OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「注意力机制」找到 10 个结果 · 9ms命中词:注意力机制只看有点评
L
LLMs-from-scratch
rasbt·Jupyter Notebook

从零用 PyTorch 一步步实现类 ChatGPT 大语言模型,覆盖注意力机制、预训练、指令微调全流程,适合边跑代码边理解 LLM 内部原理。

大语言模型+4
1082400—
rasbt/LLMs-from-scratch · 12.5
E
External-Attention-pytorch
xmu-xiaoma666·Python

用 PyTorch 复现了注意力机制、MLP、重参数化和卷积等常见模块,方便对照论文理解原理并直接嵌入视觉任务模型。

注意力机制+4
121840—
xmu-xiaoma666/External-Attention-pytorch · 11.61
O
OpenMythos
kyegomez·Python

从公开研究文献出发,用第一性原理复现 Claude Mythos 架构的理论实现,供研究者拆解其注意力机制与模型设计思路。

模型架构复现+3
149210—
kyegomez/OpenMythos · 11.58
S
sglang
sgl-project·Python

高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。

推理服务框架+4
387520—
sgl-project/sglang · 10.74
P
pytorch-deep-learning
mrdbourke·Jupyter Notebook

配套 PyTorch 深度学习课程的开源教程与代码,从零基础讲到能独立训练模型,适合边看边动手练。

PyTorch+4
193960—
mrdbourke/pytorch-deep-learning · 10.32
V
vit-pytorch
lucidrains·Python

用 PyTorch 实现的 Vision Transformer(ViT),只需一个 Transformer 编码器就能在图像分类任务上达到 SOTA,代码简洁易读,适合快速复现和二次开发。

视觉Transformer+3
255680—
lucidrains/vit-pytorch · 10.32
F
flash-attention
Dao-AILab·Python

快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。

注意力机制+4
252760—
Dao-AILab/flash-attention · 10.2
F
flashinfer
flashinfer-ai·Cuda

面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。

推理加速+4
68990—
flashinfer-ai/flashinfer · 9.75
X
x-transformers
lucidrains·Python

一个简洁但完整的全注意力 Transformer 实现,集成了多篇论文中值得尝试的实验性特性,方便研究者快速试验各种注意力变体。

Transformer+4
59640—
lucidrains/x-transformers · 9.44
A
Awesome-LLM-Inference
xlite-dev·Python

整理大模型与多模态推理加速论文和配套代码的资源清单,涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向,方便快速定位和复现关键技术。

推理加速+4
55530—
xlite-dev/Awesome-LLM-Inference · 3.27

发布说明里提到「注意力机制」

来自 1 个版本
  • ymcui/Chinese-LLaMA-Alpaca-3v1.02024-04-30

    …也可通过PI、NTK、YaRN等方法对模型进行长上下文的扩展,以支持更长文本的处理 ⚡ 使用分组查询注意力机制 - Llama-3采用了Llama-2中大参数量版本应用的分组查询注意力(GQA)机制,能够进一步提升模型的效率 🗒 全新的指令模板 - Llama-3-Instruct采用了全新的指令模板,与Llama-2-chat不兼容,