OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「批量推理」找到 4 个结果 · 6ms命中词:批量推理inference只看有点评
E
ERNIE
PaddlePaddle·Python

ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit,基于 PaddlePaddle,支持大语言模型和多模态模型的训练、微调与推理部署。

大模型+4
77400—
PaddlePaddle/ERNIE · 10.61
S
skypilot
skypilot-org·Python

把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。

多云调度+4
108220—
skypilot-org/skypilot · 10.26
T
TripoSR
VAST-AI-Research·Python

单张图片就能快速重建出 3D 物体模型的前馈生成模型,适合需要批量产出 3D 资产的场景。

3D重建+3
73610—
VAST-AI-Research/TripoSR · 10.19
M
mlx-vlm
Neywa-Labs·Python

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包,支持 LLaVA、Pixtral、Florence2 等多种 VLM,本地即可完成多模态任务。

视觉语言模型+4
58350—
Neywa-Labs/mlx-vlm · 9.91

发布说明里提到「批量推理」

来自 2 个版本
  • alibaba/MNN3.6.22026-10-29

    …验 :补充 Metal Attention / LinearAttention、多实例并发、视觉模型批量推理测试及多 LoRA 示例,完善异常数值检查和测试失败上报 iOS 集成 :补齐 framework 中的 LLM 引擎头文件,修复 Metal Tensor API 兼容性 文档与示例 :完善 C++ demo、PyMNN、LLM

  • PaddlePaddle/FastDeployv2.2.02025-09-08

    …I-Server completions接口prompt 字段支持传入token id列表,同时支持批量推理 - 新增function call解析功能,支持通过 tool-call-parse 解析function call结果 - 支持服务启动或请求中自定义chat template - 支持模型chat template.jinja