深度学习和SAR应用

来源：慧天地

原标题：深度学习和SAR应用-Deep Learning and SAR Application

介绍

虽然看起来现在深度学习的hype曲线有点收缩（在这个阶段，技术其实还没有成熟，产品也还不够完善，但是，市场已经炒得火热，人们对待它的期望已经很高。）神经网络和计算机视觉正在成为常态，在过去五年中，这些技术的许多应用已经出现在遥感领域。目标检测和土地覆盖分类似乎是遥感深度学习中研究和商业化程度最高的应用，但还有许多其他领域也受益，如数据融合，3D重建和图像配准。

   来自F-SAR的高分辨率（25cm）SAR数据，DLR机载系统。图片由德国航空航天中心DLR提供

在遥感中不断扩大深度学习的应用是由于几个趋势：

无处不在，易于使用的云计算基础设施，包括GPU；

易用的机器学习工具，如谷歌的Tensorflow，AWS SageMaker和许多其他开源框架；

 一个不断扩展的服务生态系统，用于创建标记的训练数据以及AWS上的SpaceNet等开放标记数据集。

近年来，深度学习，神经网络和计算机视觉也被更频繁地用于合成孔径雷达（SAR）数据。大多数领先的卫星地球观测公司，如Orbital Insight，Descartes Labs和Ursa，都在其分析工作流程中扩展了SAR数据的使用范围。从我所看到的，使用这些技术最有效的领域是：目标检测（自动目标识别），土地覆盖分类，变化检测等。最近似乎还有一些关于深度学习应用如何有益于干涉SAR分析的调查。然而，使用SAR数据进行深度学习存在一些挑战。除此之外，明显缺乏大型标记训练数据集，并且由于SAR数据具有斑点噪声并且比光学数据稍微不那么直观，因此对于人类建立特征集和模型来说可能是一个挑战。

本文将重点介绍一些可以从使用深度学习和从高分辨率SAR数据中受益的应用。

目标识别

使用CNN和MSTAR数据集进行自动目标识别

SAR深度学习应用的大部分研究和开发都是针对目标识别和土地覆盖分类。在SAR世界中，目标识别通常被称为自动目标识别（ATR）。ATR的研究在90年代起源于军事应用，但后来扩展到民用商业用例。文献中已经探索了一系列ATR问题，包括在已知地形和杂波中找到目标，以及根据视角和其他目标的遮挡识别可能具有截然不同的SAR响应的目标。通常，问题涉及在由杂波占主导地位的大型场景中找到相对较小的目标（车辆，船舶，电力基础设施，石油和天然气基础设施等）。

最近，卷积神经网络（CNN）的使用改善了用于各种目标的对象识别模型的性能。近年来出现了更多的民用和商用CNN使用示例，包括一个绘制电网地图的项目，区分船舶和冰山，以及一些研究确定浮动石油钻井平台。到目前为止，我所遇到的大部分工作都集中在雷达后向散射图像上，但许多论文都强调了将相位数据用于其他目标信息的潜力。

土地覆盖分类

使用CNN从Sentinel-1数据中分类海冰深度

虽然使用神经网络进行SAR数据分类并不新鲜，但自2015年引入完全卷积神经网络以来，土地覆盖分类的深度学习应用似乎已大大增加。已经有很多研究探索使用CNN对公共土地覆盖进行分类的可行性，如道路，建筑物，洪水，城市地区和农作物。深度学习也被用于一些有趣的非典型土地覆盖（或水覆盖）应用，如识别石油泄漏并对不同厚度的海冰进行分类。通常，深度学习的使用优于传统方法，但在时间和计算成本方面可能不会更有效。与所有监督学习技术一样，性能高度依赖于训练样本数据的质量。

变化检测

UAVSAR数据中的城市变化

高分辨率，高频次监测的SAR数据特别适合于变化监测应用，因为它能够透视云并捕获幅度的变化以及相位相干性。我惊讶地发现，已经有大量的研究在SAR数据中使用深度神经网络进行变化检测。与CNN占主导地位的目标识别不同，已经有多种神经网络方法用于解决识别SAR数据中的表面变化的问题。通常，这些方法要么依赖于对多组时间序列中的土地覆盖进行分类，然后比较分类后的结果，要么对多组时间数据之间的辐射度或相位差进行分类。

变形监测和InSAR

迄今为止，使用深度学习方法分析干涉图或支持InSAR处理方面，似乎没有太多研究。然而，有证据表明在这一领域，早期研究使用CNN 进行相位解缠工作，并在InSAR加工链中整合深度学习方法。在将深度学习方法应用于相位解缠方面，似乎还有一些更广泛的空间。

数据增强

利用GAN从SAR图像生成高质量可见图像

已经有一些研究将CNN和生成对抗网络（GAN）应用于SAR数据增强和数据融合中的应用。这是一个极有价值的研究领域，也有利于目标识别，可以使用CNN来估计和减少SAR数据中的斑点噪声。结果是通过单个前馈过程产生的“干净”SAR图像。还可以使用GAN来改善SAR数据的分辨率。

另外在一些文献中，有从Sentinel-1分辨率到TerraSAR-X分辨率的图像转换示例。 虽然这些方法似乎不能很好地保留特征结构，但它们是对SAR的超分辨率和样式转换带来了有趣的应用点。同时，也可以使用GAN通过去斑和着色使高分辨率SAR数据看起来更像光学图像，这有助于SAR图像的视觉解释。 现在有新的数据集可以帮助推进这类工作和其他需要SAR和光学数据融合的应用。

挑战

当回顾有关这些应用的文献时，一个共同的挑战是显而易见的：缺乏高质量的SAR训练数据，特别是在高分辨率下。与所有监督学习方法一样，模型和结果的性能高度依赖于训练数据输入。最常用的高质量训练数据集是MSTAR数据集，但这仅包含有限数量的军事特征。其他研究人员已经开始创建他们自己的注释训练数据集，但是由于高分辨率源数据的选择有限，因此建立自己的数据集的成本非常高，而且很少有具有开放许可证的人（例如UAVSAR））。有一些方法可以通过模拟来增强训练数据，但仍需要合理的数据集作为起点。