ReLu(Rectified Linear Units)激活函数
发布时间：2016-11-29 栏目：深度学习 评论：0 Comments
近似生物神经激活函数：Softplus&ReLu
2001年，神经科学家Dayan、Abott从生物学角度，模拟出了脑神经元接受信号更精确的激活模型，该模型如左图所示：
这个模型对比Sigmoid系主要变化有三点：①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性（重点，可以看到红框里前端状态完全没有激活）
Relu的优点：
- 缩小做和不做非监督预训练的代沟
ReLu的使用，使得网络可以自行引入稀疏性。
2. 更快的特征学习
用ReLU（f(x)=max(0,x)）作为激活函数的原因是：加速收敛、解决了梯度消失问题
留下评论
You must be logged in to post a comment.
