计算机网络信息安全,上海婚庆,1888代金卡
9月17日消息,ReLU能够极大地提升神经网络的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和PReLU,而这些改进版和原版的最终参数都是固定的。所以微软研究者想到,如果能够根据输入特征来调整ReLU的参数可能会更好。基于此,微软在论文中提出了动态 ReLU(DY-ReLU)。论文提供了三种形态的DY-ReLU,在空间位置和维度上有不同的共享机制。不同形态的DY-ReLU适用于不同的任务,论文也通过实验验证,DY-ReLU在关键点识别和图像分类上均有不错的提升。
来源:机器之心本文地址:http://www.reviewcode.cn/yunjisuan/176723.html 转载请注明出处!