池化层
卷积神经网络中的卷积层是对图像的一个邻域进行卷积得到图像的邻域特征,亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征。
pooling确实起到了整合特征的作用,同时也保持了某种不变性(旋转、平移、伸缩等),常用的有mean-pooling,max-pooling和Stochastic-pooling三种。
average对背景保留更好,max对纹理提取更好。
池化层能够降低特征表示的维度,伴随来的副作用是局部特征信息的损失。池化单元具有平移不变性 (translation invariant),即使图像经历了一个小的平移之后,依然会产生相同的 (池化的) 特征。
Relu作为激活函数
$relu(x)=max(0,x)$
好处:
- 速度快:计算代价小。
- 减轻梯度消失,不像sigmoid消失严重。因此可以训练更深的网络。
- 稀疏性。大脑在工作时只有5%神经元激活,sigmoid是50%,而relu在小于0是不激活的,可以有一个更低的激活率。
全连接层
缺点:
- 参数太多,扩展性差。输入若为$10001000$,隐含层为100,则参数就有$(10001000+1)*100$。
- 没有利用像素间的位置信息。
- 网络层数限制。梯度下降法训练深度全连接神经网络过于困难,因为梯度难以传递超过三层。