OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「TPU推理」找到 9 个结果 · 8ms命中词:推理tpuinference只看有点评
K
kaggle-tpu-lab
ARahim3·Python

在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型,自研 JAX 推理引擎支持 262k 长上下文和前缀缓存,可接入 Claude Code 等编码代理。

TPU推理+4
7700—
ARahim3/kaggle-tpu-lab · 16.4
V
vllm
vllm-project·Python

面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。

推理引擎+4
967300—
vllm-project/vllm · 16.1
J
jax
jax-ml·Python

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。

自动微分+4
366080—
jax-ml/jax · 15.27
S
skypilot
skypilot-org·Python

把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。

多云调度+4
108210—
skypilot-org/skypilot · 14.19
O
onnxruntime
microsoft·C++

跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。

推理引擎+4
222840—
microsoft/onnxruntime · 13.47
M
ml-engineering
stas00·Python

一本面向大模型工程实践的开源手册,系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题,帮工程师把模型真正跑起来。

大模型工程+4
196950—
stas00/ml-engineering · 13.19
S
sonar
dphnAI·Python

面向大规模部署的 LLM 推理引擎,支持 CUDA、ROCm、TPU、Inferentia 等多种硬件后端,并提供 LoRA 与投机解码等加速能力。

推理引擎+4
19100—
dphnAI/sonar · 10.65
J
JetStream
AI-Hypercomputer·Python

面向 XLA 设备(先支持 TPU,后续扩展 GPU)的大模型推理引擎,主打高吞吐和低显存占用,适合在 JAX 生态里跑 Llama、Gemma 等模型。

推理引擎+4
4730—
AI-Hypercomputer/JetStream · 10
S
scaling-book
jax-ml·SCSS

一本博客风格的短教材,讲怎么在 TPU 上扩展大模型训练与推理,用 roofline 分析帮你算清算力、显存和通信的瓶颈。

TPU+4
15250—
jax-ml/scaling-book · 3.72