Mish 是一种自正则化、非单调的神经网络激活函数,论文发表于 BMVC 2020,官方仓库提供实现与实验代码,可直接替换 ReLU 等激活函数,用于图像分类、目标检测等任务。
…LU、GELU、SELU 增加 ARM SIMD 实现,并补充 fp16 asimdhp 版本,常见激活函数在 NEON/fp16 storage 路径上更快。(@futz12, 6605) - 优化 AArch64 exp ps 和 fp16 exp ps floor step,减少依赖 exp 的激活和 softmax 类计算开销。(
…ze vulkan absval 统一elempack shader vulkan sigmoid和激活函数统一elempack shader(@futz12) vulkan unaryop 统一elempack shader(@weikangqi) 支持vulkan int8 packing/quantize/dequantize/re