在 16–64 GB 内存的 Apple Silicon Mac 上,从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理,纯 Swift + MLX/Metal 实现,离线无需 Python。
用 Rust + CUDA 写的 SSD 流式推理引擎,让消费级 16GB 显卡也能跑 743B 级 MoE 大模型,自动测 PCIe 带宽并分配注意力与热专家。