###SmallArticleTitle###
来源:www.cnblogs.com; 编辑:xjh; 2020-01-02
常用的激活函数有sigmoid、tanh、relu等等,前两者sigmoid/tanh比较常见于全连接层,后者ReLU常见于卷积层。
回顾一下前面讲的感知机,感知机在接收到各个输入,然后进行求和,再经过激活函数后输出。激活函数的作用是用来加入非线性因素,把卷积层输出结果做非线性映射。
在卷积神经网络中,激活函数一般使用ReLU(The Rectified Linear Unit,修正线性单元),它的特点是收敛快,求梯度简单。计算公式也很简单,max(0,T),即对于输入的负值,输出全为0,对于正值,则原样输出。关于梯度的概念请参阅:方向导数与梯度
下面看一下本案例的ReLU激活函数操作过程,下图是卷积层的输出结果:特征图feature map:
第一个值,取max(0,0.77),结果为0.77,如下图
第二个值,取max(0,-0.11),结果为0,如下图
以此类推,经过ReLU激活函数后,结果如下:
对所有的feature map执行ReLU激活函数操作,结果如下:
通过将前文所提到的卷积、激活函数、池化组合在一起,就变成下图:
通过加大网络的深度,增加更多的层,就得到了深度神经网络,如下图: