模型工具链

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

把微软 ONNX Runtime 封装成 Go 库，让 Go 程序能直接加载和推理 ONNX 模型，省去跨语言调用的麻烦。

yzma

hybridgroup·Go

用纯 Go 直接调用 llama.cpp 做本地推理，支持 CUDA、Metal、ROCm 硬件加速，覆盖 Linux、macOS、Windows 和 WebAssembly，方便在 Go 应用里嵌入大模型。

oneclickvirt

oneclickvirt·Go

一站式虚拟化管理平台，用 Go 编写，统一管理 Proxmox VE、LXD/Incus（含 GPU）、Docker、Podman、KubeVirt 等多种虚拟化与容器运行时。

LLMKube

defilantech·Go

在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。