单隐藏层神经网络

单隐藏层神经网络就是输入和输出中间有一个隐层，即输入层的输出是隐层的输入，隐层的输出和对应权重的乘积是输出层的输入，输出层的输出才是最终的输出。

原理一层隐层网络就是一层特征层次，每一个神经元可以类似看作一个特征属性。

二层分类网络介绍：

输入为n维空间下的X；

在n+1维的空间中的Z=0的超平面上生成m条超折线，进行m次折叠 (m为第一层ReLU神经元的数目)；

折叠后的图形进行线性相加组合(改变了各个折叠的角度和整体在Z轴上的位置)后和Z=0的超平面比较大小；

在n+1维空间中, 其图形在Z=0的超平面的投影就是原始n维空间中的二元分类分界线。1

构建步骤1、构建神经网络框架 ；

2、初始化各参数 ；

3、迭代优化 ；

4、计算损失 ；

5、反向传播 ；

6、更新参数。

简介及其描述输入层的输入 就是 N个样本的Hog特征维度(A) : 记做X0。

输入层的输出(隐层的输入) 就是X0和W0的乘积: 记做y0。

通过隐层的激励函数 tanh(),隐层的输出 为 tanh(y0) : 记做X1。

输出层的输入 就是 隐层的输出和对应权重的乘积,即X1*W1: 记做y1。

通过对输出层的输入进行挤压后即为输出层的输出 tanh(y1) : 记做Y。

总计下就是:

y0 = X0 * W0

X1 =tanh(y0)

y1 = X1 * W1

Y =tanh(y1)

损失函数公式不变。2

本词条内容贡献者为:

李斌 - 副教授 - 西南大学