把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。
用 Go 写的命令行 HTTP 客户端,把常用 API 请求保存成可复用配置,省去反复手写 curl 命令的麻烦。