搜索 · OSS Radar

「ggml」找到 10 个结果 · 11ms命中词：ggml只看有点评

llama.cpp

ggml-org·C++

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

推理引擎+4

1339320—

ggml-org/llama.cpp · 25.46

whisper.cpp

ggml-org·C++

OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。

语音识别+4

550710—

ggml-org/whisper.cpp · 19.03

llama.vim

ggml-org·Vim Script

在 Vim 编辑器里接入本地 LLM 做代码和文本补全的插件，基于 llama.cpp 实现，无需联网即可获得类 Copilot 的补全体验。

代码补全+3

21960—

ggml-org/llama.vim · 16.4

llama.vscode

ggml-org·TypeScript

在 VS Code 里接入本地 LLM 做代码和文本补全的扩展，让编辑器具备类似 Copilot 的补全能力，同时数据不必离开本机。

代码补全+3

15530—

ggml-org/llama.vscode · 16.11

audio.cpp

0xShug0·C++

纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。

音频推理引擎+4

41510—

0xShug0/audio.cpp · 10.55

LLMFarm

guinmoon·C

在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。

本地推理+4

20790—

guinmoon/LLMFarm · 10.27

paddler

intentee·Rust

面向 ggml 生态的开源 LLM/VLM 负载均衡与推理服务平台，用更少组件和简单部署在 CPU/GPU 上自托管大模型，可替代 llm-d 等方案。

负载均衡+4

16920—

intentee/paddler · 10.06

CrispASR

CrispStrobe·C++

基于 ggml 的 C++ 语音推理运行时，统一跑 Cohere Transcribe、Parakeet TDT、Voxtral、Canary 等多语言 ASR 与 TTS 模型，还带通用强制对齐。

语音识别+4

8050—

CrispStrobe/CrispASR · 9.73

SAM3DBody-cpp

AmmarkoV·C++

纯 C++ 实时单目多人 3D 全身重建，输出带手部 70 关节骨架的 BVH 动作捕捉数据，ONNX + ggml 推理无需 Python。

3D人体重建+4

7190—

AmmarkoV/SAM3DBody-cpp · 9.61

llamAmpere

JakeATX·C++

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。

推理引擎+4

3100—

JakeATX/llamAmpere · 8.77

发布说明里提到「ggml」

来自 6 个版本