ncnn

编译版本，默认配置，android-ndk-r29，ohos-sdk-5.0.3，xcode 16.4，ubuntu-22.04，ubuntu-24.04，vs2015，vs2017，vs2019，vs2022，emscripten-3.1.28

重点概览

• 新增 HarmonyOS 预编译包发布流程，release 产物覆盖 CPU/Vulkan、静态/动态库，以及 armeabi-v7a、arm64-v8a、x86_64 三种架构。（#6746）
• Vulkan 后端新增 SDPA/FlashAttention、RotaryEmbed、GroupNorm、Reduction、Unfold、Softplus、Shrink 等算子，并引入持久化 pipeline cache、mmap 模型加载、host memory 权重驻留和逐层权重上传，明显面向大模型与长启动耗时优化。（@futz12, @CLV-Iclucia, #6514, #6702, #6537, #6531, #6534）
• x86 后端大规模补齐 bf16 storage 路径，覆盖 GEMM、Convolution、InnerProduct、Deconvolution、Pooling、Interp、归一化、激活、逐元素、量化/反量化等层，并增加 AVX512BF16 dispatch 和多项 micro-kernel 优化。（#6598, #6624, #6626, #6680）
• ARM 后端新增 ARM SDPA 实现，并为 ARMv8.4 BF16 优化 GEMM、Convolution im2col-GEMM、InnerProduct、MultiHeadAttention；同时补齐 ERF、ELU、GELU、SELU 的 NEON/fp16 SIMD 实现。（@Abandon-ht, @futz12, #6698, #6714, #6715, #6716, #6717, #6605）
• RISC-V RVV、MIPS MSA、LoongArch LSX/LASX 后端继续扩展，重点补齐 packed convolution/deconvolution、GEMM、量化/反量化、常见 unary/binary op、bf16/int8 和 4D Mat 支持。（#6662, #6740, #6636, #6658, #6695）
• pnnx 支持 .npy 真实输入、输出 FLOPS/memory OPS 统计，兼容 PyTorch 2.10/2.11，修复非对称 padding + conv 融合、Conv2d padding tuple 归一化、Erf 表达式落层等转换问题。（@MollySophia, @Yeuvoir, @crafcat7, #6700, #5836, #6592, #6701, #6694）
• 新增 benchncnn_llm 和算子级 perf 基础设施，benchmark 覆盖 LLM prefill/decode 与更多 CPU/GPU 算子性能回归。（#6711, #6570, #6632）

Vulkan / GPU

• 新增 Vulkan SDPA 层和 FlashAttention 路径，基础实现包含 2x2 unroll 和 local memory 优化，后续补齐统一 cross-attention shader、cooperative matrix 与非 cooperative matrix 两套 FlashAttention 实现，支持 mask、KV cache concat 和 chunk 化输出调度。（#6514, #6521, #6528, #6538）
• GEMM/SDPA cooperative matrix 和 subgroup 路径继续优化，加入 bf16/fp16 cooperative matrix、4x4 unroll、向量化加载、bank conflict 规避与 packed GEMM；后续限制 bf16 cooperative matrix 用法，避免不匹配的数据布局。（@futz12,

编译版本，默认配置，android-ndk-r29，xcode 16.4，ubuntu-22.04，ubuntu-24.04，vs2015，vs2017，vs2019，vs2022，emscripten-3.1.28

新增sdpa layer和pnnx torch.scaled_dot_product_attention的转换，支持gqa合并 新增rotaryembed layer sdpa支持kvcache multiheadattention支持kvcache layer可选实现support_vulkan_packing layer可选实现support_vulkan_any_packing vulkan支持bf16开关，支持旧显卡模拟转换bf16 rmsnorm vulkan优化(@futz12) selu vulkan优化(@futz12) vulkan eltwise统一elempack shader 简化vulkan cast 改善M较小时在N上切块的多线程调度 gemm x86 avx512采用N维度16切块优化 sdpa x86使用gemm和softmax优化(@futz12) arm neon数学函数优先使用fma指令优化(@Abandon-ht) unaryop tan rvv优化(@ihb2032 @lyd1992) 新增cmake NCNN_WINXP开关，不再主动定义_WIN32_WINNT宏 c-api新增ncnn_version_number()接口返回数值 c-api新增更多option setter getter接口 net加载模型接口新增wchar_t参数类型 新增float8和bfloat8转换函数(@chloeee99) 格式化glsl文件 删除shader注释和额外的空格 不再编译onnx2ncnn benchncnn内置模型param，运行时不再需要param文件 修复modelwriter访问空bias数据崩溃问题(@csukuangfj) 修复param解析时尝试对已读取数据再次读取的逻辑错误(@futz12) 修复softmax多线程尾部余数的错误，优化倒数计算(@futz12) 修复msvc编译器x86 lstm int8开启vnni指令集时计算错误 修复x86 lstm int8越界读写问题 修复加载模型param出错时的退出逻辑(@Cat-myq) 修复vulkan驱动返回无效subgroup size导致加载卡死的问题(@Cat-myq) 修复加载模型时CRLF行尾解析逻辑错误(@chennevwin) 修复sdpa单通道attnmask的处理逻辑 修复ncnn2int8对仅有反量化的输出int8 scales保存崩溃问题 modelwriter支持tile层 ncnn2mem支持新的数组和字符串类型 x86上引用传参simd寄存器类型，函数无法接受对齐类型传值 检查gpu显存分配失败错误，返回错误码(@Upliner) simplevk支持查找高通windows vulkan驱动文件(@strongtz) simplevk支持apple平台动态加载vulkan驱动 simplevk支持VK_DRIVER_FILES环境变量加载vulkan驱动 禁用windows amd rdna2驱动的cooperative matrix软件模拟功能以提升性能 glslang更新到20260109 适配新windows-sdk的更多arm处理器特性检查功能 更新pybind 3.0.1，修复python-3.14使用pyncnn崩溃问题 更新pnnx到torch-2.9，支持onnx external data，支持dynamo-exported onnx pnnx支持转换torch.shrink Tensor.unflatten torch.flatten pnnx转换torch.flatten到ncnn支持多动态维度 pnnx支持转换F.interpolate nearest-exact pnnx修复转换Tensor.expand到ncnn缺失的repeats pnnx支持转换onnx gelu groupnorm rmsnorm gridsample pnnx支持合并更多transformer attention变种 pnnx支持合并更多sdpa attention变种 pnnx支持合并更多rmsnorm变种 pnnx合并连续permute，删除无用的permute pnnx添加dee

编译版本，默认配置，android-ndk-r28c，xcode 15.2，ubuntu-22.04，ubuntu-24.04，vs2015，vs2017，vs2019，vs2022，emscripten-3.1.28

新增flip算子和pnnx torch.flip的转换 clip x86 avx512循环剩余优化 tanh和unaryop x86 avx512循环剩余优化(@lfalive) sigmoid x86 avx512循环剩余优化(@futz12) instancenorm x86优化(@futz12) groupnorm x86 sse2/avx/avx512优化 groupnorm arm neon优化(@mmyyy22) sigmoid和部分数学函数 loongarch lsx/lasx 优化(@AtomAlpaca) shufflechannel riscv rvv/zfh/zvfh/xtheadvector优化(@AtomAlpaca) layernorm riscv rvv/zfh/zvfh/xtheadvector优化(@Deepdive543443) layernorm vulkan优化(@futz12) 使用size_t类型改善超大尺寸tensor的支持 修复x86 convolution int8 在启用avx512vnni时崩溃 修复android asset datareader在新android系统和部分手机上崩溃的问题 初始化layer featmask为空 简化layernorm naive c实现 修复convdw int8 dequantize pack8 使用putenv和平台相关api修复llvm-mingw编译问题(@zhuzeitou) 使用combine_x用于sse/avx vector拼接 修复rnn/lstm/gru int8测试因rounding导致的差异 更新ruapu探测risc-v zfh zvfh xtheadvector和动态分发 删除已废弃的 Extractor::set_num_threads/set_vulkan_compute api 修复cmake时编译器支持avxvnniint16的探测 修复windows nt内核不存在GetLogicalProcessorInformationEx时的崩溃问题(@futz12) cmake find_package(ncnn)支持指定最低版本并输出ncnn版本号(@Willaaaaaaa) benchncnn跑GPU时跳过int8模型(@c8s-wk) 支持Windows XP目标平台编译和新增msvc/mingw/clang的windows-xp ci(@AtomAlpaca @Sugar-Baby) 修正ppocr中ctc decode后处理规则(@futz12) 改善benchncnn中printf对size_t类型格式化参数兼容(@whyb) 更新glslang 最大支持gpu数量到32(@tpoisonooo) 支持nvidia headless vulkan 检测vulkan扩展 VK_KHR_shader_integer_dot_product VK_KHR_shader_bfloat16 VK_KHR_shader_float_controls2 VK_NV_cooperative_vector VK_NV_cooperative_matrix2 VK_EXT_shader_float8 VK_KHR_vulkan_memory_model 支持任意 cooperative matrix MNK size查询 修复vulkan-sdk支持VK_KHR_acceleration_structure时的编译错误 1d/2d Mat和VkMat总是会分配对齐的size，调整cstep策略 删除全部layer中vkimagemat类型输入输出的forward实现 删除layer support_image_storage和option use_image_storage字段 删除全部layer中pack8 shader实现 支持无graphics queue的vulkan驱动 vulkan fp16 packed在pack1时也使用半精度存储 跳过vulkan 1d权重上传前的cpu-pack 修复当cpu支持avx512时vulkan上传pack16数据的错误 修复有关localsize非subgroupsize倍数的vulka

no new features from 20250428 fix blacklist for amd radv coopmat workaround for qcom adreno turnip