OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「流式推理」找到 5 个结果 · 7ms命中词:流式推理inference只看有点评
C
CosyVoice
QwenAudio·Python

多语言大语音生成模型,覆盖推理、训练到部署全流程,支持中英日粤语及跨语种合成,适合做语音克隆和对话机器人。

语音生成+4
243670—
QwenAudio/CosyVoice · 11.76
W
wav2letter
flashlight·C++

Facebook AI 开源的端到端语音识别训练工具包,用 C++ 实现,可基于 wav2letter 架构训练声学模型,省去传统 ASR 繁琐的特征工程流程。

语音识别+4
64450—
flashlight/wav2letter · 11.57
A
airllm
lyogavin·Jupyter Notebook

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。

大模型推理+4
421800—
lyogavin/airllm · 10.68
M
moonshine
moonshine-ai·C++

超低延迟的语音转文字、意图识别和语音合成工具,用来搭建语音助手和语音交互界面,响应快、适合实时对话场景。

语音识别+4
114750—
moonshine-ai/moonshine · 10.17
K
kimi-k3-in-c
FareedKhan-dev·C

用纯 C99 从零实现的 Kimi K3 推理引擎,单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型,不依赖 BLAS、框架或 GPU。

推理引擎+4
117860—
FareedKhan-dev/kimi-k3-in-c · 9.71

发布说明里提到「流式推理」

来自 3 个版本
  • modelscope/evalscopev1.12.02026-09-16

    …写被错误计为 WER=0 的问题;Seed-TTS-Eval 评测版本升级至 v1.1 。 - 修复流式推理输出的 TTFT/ITL 统计、多轮 warmup 交接,以及带 token usage 的 Agent Trace 导致 Predictions API 返回 500 的问题。 - 修复 few-shot 配置未在数据加载前校验、

  • OpenSPG/KAGv0.72025-04-17

    … 其次,我们对产品体验进行了全面优化:在推理阶段新增" 简易模式 "和" 深度推理 "双模式,并支持流式推理输出,显著缩短了用户等待时间;特别值得关注的是,为更好的促进KAG的规模化业务应用,同时也回应社区最为关切的知识构建成本高的问题,本次发布提供了" 轻量级构建 "模式,如图1中KAG-V0.7LC列所示,我们测试了7B模型做知识构建

  • OpenSPG/openspgv0.72025-04-17

    … 其次,我们对产品体验进行了全面优化:在推理阶段新增" 简易模式 "和" 深度推理 "双模式,并支持流式推理输出,显著缩短了用户等待时间;特别值得关注的是,为更好的促进KAG的规模化业务应用,同时也回应社区最为关切的知识构建成本高的问题,本次发布提供了" 轻量级构建 "模式,如图1中KAG-V0.7LC列所示,我们测试了7B模型做知识构建