汇总可私有化部署的中文大语言模型资源清单,覆盖小规模底座模型、垂直领域微调、数据集与教程,方便低成本选型落地。
…元素块及可选输入 scale, NCNN WEIGHT QUANT 默认开启;int4/int6 为权重量化,int8 CPU 路径采用动态逐行/逐块激活量化、int32 点积和逐块反量化累加。 - 新增 ncnnllm2table / ncnnllm2int ,支持 minmax、mseclip、AWQ、GPTQ,生成/消费 GEMM
…发式调度、int4 image1d buffer t 优化、原生 TopKV2 与 2/3-bit 权重量化;Metal 优化 Conv1x1 分支选择;CUDA 支持 Blackwell(sm 120)并优化 Eagle 推测解码;QNN 支持 Qwen3.5 与离线图多进程并行导出。 低比特量化与硬件适配增强 :CPU 与 GPU 全
…table 接管 Embed、MultiHeadAttention、RNN、LSTM、GRU 的静态权重量化 scale 生成,这些层可在无校准数据集时生成 table; ncnn2int8 改为要求并消费 table,流程更明确。(@Roundaboutt, 6688) - ncnn2int8 整理 RNN、LSTM、GRU、Embed