栈式自编码

为了进一步提高利用遥感图像进行水体提取的准确率和自动化程度，提出一种基于栈式自编码(SAE)深度神经网络的水体提取方法。通过堆叠稀疏自编码器构建深度网络模型，使用逐层贪婪训练法依次训练每层网络，从像素层面无监督学习特征，避免传统神经网络等方法需进行人工特征分析与选取的问题。

介绍近年来，深度学习受到广泛关注，并逐渐成为互联网大数据和人工智能的一个热潮，深度神经网络采用模拟人脑的多层结构，对输入数据逐级进行从底层到高层的特征提取，最终形成适合模式分类的较理想特征。深度学习的发展为遥感图像分类提供了新思路。吕启等利用深度信念网络(DeepBelief Network，DBN)来进行遥感图像分类。本文采用深度学习中常用的栈式自编码(Stacked Autoencoder, SAE)无监督学习算法构建深度网络模型，利用经过预处理的遥感图像数据逐级无监督训练每层网络，并最终利用softmax分类器进行分类。

栈式自编码模型稀疏自编码自编码神经网络是一种无监督学习算法，其网络的输出值与输入值相同。传统的自编码神经网络共分为三层，分别为输入层、隐藏层和输出层，如果隐藏层神经元的节点数少于输入和输出层，则迫使自编码神经网络去学习输入数据的压缩表示。如果网络的输入是完全随机的，那个这一压缩表示会非常难学习，但是对于隐含着一些特定的结构的输入数据，比如某些输入特征是彼此相关的，那么这一算法就可以发现输入数据中的这些相关性，并学习出输入数据的低维表示，也即从原始输入中学习到的特征。下图是一个自编码神经网络的示例。

softmax分类器softmax 回归模型是 logistic 回归模型的一种拓展形式，可以用来解决多分类问题，是一种监督学习算法，本文采用softmax 回归构建分类器来对 SAE 学习到的特征进行分类。

SAE模型SAE 神经网络是一个由多层稀疏自编码器组成的神经网络，本文将多个稀疏自编码器与 softmax 分类器结合，构建一个包含多隐藏层与一个最终 softmax 分类器的 SAE 网络，其训练步骤如下1：

Step1 将原始数据作为 SAE 的输入，训练第一个隐藏层的网络参数，并用训练好的参数算出第一个隐藏层的输出；

Step2 把上一层网络的输出作为其下一层网络的输入，用同样的方法训练该层网络的参数；重复这一步骤，直到训练完最后一个隐藏层；

Step3 将 Step2 中的输出作为 softmax 分类器的输入，结合原始数据的标签来训练 softmax 分类器的网络参数；

Step4 计算整个网络(包括所有隐藏层和一个 softmax 分类器)的代价函数，以及该网络对每个参数的偏导函数值；

Step5 用 Step1，Step2 和 Step3 的网络参数作为整个深度网络的初始化参数值，然后用优化算法迭代求出代价函数最小值附近的参数值，并作为整个网络最后的最优参数值。

SAE 采用的是无监督学习特征的方式，而 softmax 是一种监督式的学习算法，二者结合构建的 SAE 模型结合了无监督与有监督的优点，能够对遥感图像进行有效的分类，进而得到所需要的水体信息。

本词条内容贡献者为:

王沛 - 副教授、副研究员 - 中国科学院工程热物理研究所