花呗套现被停用要多久才能恢复:微软推出提点神器动态ReLU,可能是最好的ReLU改进

兰溪之窗1个月前法制世界18
花呗套现被停用要多久才能恢复:微软推出提点神器动态ReLU,可能是最好的ReLU改进微软推出提点神器动态ReLU,可能是最好的ReLU改进作者 | Vincent 来源 | 晓飞的算法工程笔记 微软推出提点神器动态ReLU,可能是最好的ReLU改进微软推出提点神器动态ReLU,可能是最好的ReLU改进简介ReLU是深度学习中很重要的里程碑,简单但强大,能够极大地提升神经网络的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和 PReLU,而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到,如果能够根据输入特征来调整ReLU的参数可能会更好。微软推出提点神器动态ReLU,可能是最好的ReLU改进图1基于上面的想法,论文提出了动态ReLU(DY-ReLU)。如图1所示,DY-ReLU是一个分段函数,参数由超函数根据输入得到。超函数综合输入的各维度上下文来自适应激活函数,能够在带来少量额外计算的情况下,显著地提高网络的表达能力。另外,论文提供了三种形态的DY-ReLU,在空间位置和维度上有不同的共享机制。不同形态的DY-ReLU适用于不同的任务,论文也通过实验验证,DY-ReLU在关键点识别和图像分类上均有不错的提升。微软推出提点神器动态ReLU,可能是最好的ReLU改进Definition and Implementation of Dynamic ReLUDefinition定义原版的ReLU为,为输入向量,对于输入的维特征,激活值计算为。ReLU可统一表示为分段线性函数,论文基于这个分段函数扩展出动态ReLU,基于所有的输入自适应,:微软推出提点神器动态ReLU,可能是最好的ReLU改进因子为超函数的输出:微软推出提点神器动态ReLU,可能是最好的ReLU改进为函数数量,为维度数,激活参数不仅与相关,也与相关。Implementation of hyper function论文采用类似与SE模块的轻量级网络进行超函数的实现,对于大小为的输入,首先使用全局平均池化进行压缩,然后使用两个全连接层(中间包含ReLU)进行处理,最后接一个归一化层将结果约束在-1和1之间,归一化层使用,为Sigmoid函数。子网共输出个元素,分别对应和的残差,最终的输出为初始值和残差之和:微软推出提点神器动态ReLU,可能是最好的ReLU改进和为和的初始值,和是用来控制残差大小的标量。对于的情况,默认参数为,,即为原版ReLU,标量默认为,。Relation to Prior Work微软推出提点神器动态ReLU,可能是最好的ReLU改进表1 DY-ReLU的可能性很大,表1展示了DY-ReLU与原版ReLU以及其变种的关系。在学习到特定的参数后,DY-ReLU可等价于ReLU、LeakyReLU以及PReLU。而当K=1,偏置微软推出提点神器动态ReLU,可能是最好的ReLU改进时,则等价于SE模块。另外DY-ReLU也可以是一个动态且高效的Maxout算子,相当于将Maxout的K个卷积转换为K个动态的线性变化,然后同样地输出最大值。微软推出提点神器动态ReLU,可能是最好的ReLU改进Variations of Dynamic ReLU微软推出提点神器动态ReLU,可能是最好的ReLU改进论文提供了三种形态的DY-ReLU,在空间位置和维度上有不同的共享机制:DY-ReLU-A空间位置和维度均共享(spatial and channel-shared),计算如图2a所示,仅需输出个参数,计算最简单,表达能力也最弱。DY-ReLU-B仅空间位置共享(spatial-shared and channel-wise),计算如图2b所示,输出个参数。DY-ReLU-C空间位置和维度均不共享(spatial and channel-wise),每个维度的每个元素都有对应的激活函数。虽然表达能力很强,但需要输出的参数太多了,像前面那要直接用全连接层输出会带来过多的额外计算。为此论文进行了改进,计算如图2c所示,将空间位置分解到另一个attention分支,最后将维度参数乘以空间位置attention。attention的计算简单地使用卷积和归一化方法,归一化使用了带约束的softmax函数:微软推出提点神器动态ReLU,可能是最好的ReLU改进用于将attention平均,论文设为,为温度,训练前期设较大的值(10)用于防止attention过于稀疏。Experimental Results微软推出提点神器动态ReLU,可能是最好的ReLU改进图像分类对比实验微软推出提点神器动态ReLU,可能是最好的ReLU改进关键点识别对比实验微软推出提点神器动态ReLU,可能是最好的ReLU改进与ReLU在ImageNet上进行多方面对比微软推出提点神器动态ReLU,可能是最好的ReLU改进与其它激活函数进行实验对比微软推出提点神器动态ReLU,可能是最好的ReLU改进可视化DY-ReLU在不同block的输入输出以及斜率变化,可看出其动态性。微软推出提点神器动态ReLU,可能是最好的ReLU改进结论论文提出了动态ReLU,能够根据输入动态地调整对应的分段激活函数,与ReLU及其变种对比,仅需额外的少量计算即可带来大幅的性能提升,能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU,也是做动态ReLU,子网结构十分相似,但DY-ReLU由于的存在,可能性和效果比APReLU更大。论文: Dynamic ReLU论文地址:https://arxiv.org/abs/2003.10027论文代码:https://github.com/Islanna/DynamicReLU微软推出提点神器动态ReLU,可能是最好的ReLU改进微软推出提点神器动态ReLU,可能是最好的ReLU改进