才子佳人博客

我的故事我讲述

图示卷积神经网络之激活函数RelU (Rectified Linear Units)
###SmallArticleTitle###
来源:www.cnblogs.com;  编辑:xjh;  2020-01-02

常用的激活函数有sigmoid、tanh、relu等等,前两者sigmoid/tanh比较常见于全连接层,后者ReLU常见于卷积层。

回顾一下前面讲的感知机,感知机在接收到各个输入,然后进行求和,再经过激活函数后输出。激活函数的作用是用来加入非线性因素,把卷积层输出结果做非线性映射。


在卷积神经网络中,激活函数一般使用ReLU(The Rectified Linear Unit,修正线性单元),它的特点是收敛快,求梯度简单。计算公式也很简单,max(0,T),即对于输入的负值,输出全为0,对于正值,则原样输出。关于梯度的概念请参阅:方向导数与梯度

下面看一下本案例的ReLU激活函数操作过程,下图是卷积层的输出结果:特征图feature map:


第一个值,取max(0,0.77),结果为0.77,如下图


第二个值,取max(0,-0.11),结果为0,如下图


以此类推,经过ReLU激活函数后,结果如下:


对所有的feature map执行ReLU激活函数操作,结果如下:



通过将前文所提到的卷积、激活函数、池化组合在一起,就变成下图:


通过加大网络的深度,增加更多的层,就得到了深度神经网络,如下图:






来源:
https://www.cnblogs.com/wj-1314/p/9754072.html

分类:网络日志 | 评论数:0 | 浏览数:92
相关文章
文章点击排行
本年度文章点击排行
发表评论:
  • 昵称: *
  • 邮箱: *
  • 网址:
  • 评论:(最多100字)
  • 验证码: