国际瞭望|增强分析的兴起：确定应用于地理空间情报的机器学习自动化水平

来源：慧天地

机器学习应用于遥感

自2012年Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton发布AlexNet[1]参加ImageNet大型视觉识别挑战赛以来，专注于深度学习的计算机视觉研究出现了爆炸式增长。在图像分类、目标检测和实例分割等计算机视觉任务方面有了显著的改进。这些计算机视觉任务的改进对地理空间情报（GEOINT）有着深远的影响。

近年来开展的几项数据科学竞赛，旨在将更多的计算机视觉研究和开发引向遥感应用。这些竞赛产生了新的分析技术，从一般的目标检测到特征分割和分类（见图1），将最先进的计算机视觉和地理空间问题结合起来。随着以遥感为重点的机器学习技术的成熟，地理信息技术从业者需要了解并参与研究社区，以帮助构建这些新技术的应用结构，应对地理空间问题。

图1. 可应用于遥感数据的不同类型的计算机视觉技术的可视化描述。

目前，很难将任务需求转换为机器学习评估指标，反之亦然。例如，在计算机视觉社区中，大多数结果是由特定于图像的度量来描述的，比如mAP、F1分数、精确度和回访率。或者，GEOINT从业者可能希望将机器学习功能合并到他或她的工作流中，但是不知道特定任务需要什么级别的性能（或增强的支持）。

2013年，汽车行业通过建立自动驾驶水平的分类系统，解决了自动驾驶汽车性能面临的这一挑战。这些级别的定义范围从0（没有自动化）到5（完全自动化）。本文，我们将探讨这个框架与GEOINT从业者的相似之处，并提出一个定义分析师增强级别的框架。我们希望这将使地理空间的最终用户和机器学习研究人员能够更好地相互了解，也许有助于指导这些算法在解决地理空间问题上的应用。

考虑到最近发生的自然灾害事件，在飓风发生之前、期间和之后，基本绘图要求的用例是相关的。我们将定义一个类似于美国汽车工程师学会（SAE）自动化水平的分类法[2]，以了解哪些能力接近就绪状态，哪些能力需要更直接的研究。

飓风灾害响应用例

灾害应对方案对地理空间分析人员和地理信息系统（GIS）专业人员提出了挑战。在灾难的筹备、响应和恢复阶段，分析人员和援助组织负责提供及时、动态和准确的地图解决方案，以支持援助职能，如提供关键物资和服务。然而，许多自然灾害的复杂性、易变性和纯粹的地理范围可能会限制手动地图注释技术的速度，在某些情况下还会限制其准确性。尽管诸如人道主义开放式街道地图团队（HOT）[3]等全球众包计划显著提高了动态地图数据生成和传播的速度和鲁棒性，但快速成熟的机器学习技术，特别是计算机视觉，有助于加快在大地理区域开发即时可用地图。

 2017年9月，飓风“厄玛”和“玛利亚”在加勒比海大部分地区造成了创纪录的经济和人道主义破坏。波多黎各等一些受灾最严重的地区，在一年多后仍在从风暴的影响中恢复。 [4]大量受灾地区以及风暴的速度，特别是飓风玛丽亚，将开放源码、手动绘图过程推到了极限。例如，Hot利用5300多名绘图志愿者在大约5周内为受“玛利亚”影响的地点制作了超过95万个建筑足迹标签和超过3万公里的道路标签。[5]这确实是一项了不起的壮举，但它提出了一个问题：机器学习如何加速这一地图生成过程？更具体地说，地图关键特性（图层）的贡献者标记了什么，哪些特性可以从自动化中受益？

在对“玛利亚”的早期响应中，最重要的地图特征可以说是建立足迹，因为它们代表了人们生活和工作的基本基础设施。由于现有的关于结构计数、位置和分类（即结构目的）的质量数据有限，第一响应者没有关于脆弱或偏远地区潜在人数的详细信息[6]，因此，响应者很难确定援助任务的优先级。例如，当当局决定从波多黎各的瓜加塔卡大坝的下游地区撤离时，由于大坝可能倒塌，官员们需要知道周围人口的数量。[7]计算和分类结构是一种近似人口大小的方法。从9月22日美国红十字会要求更新建筑足迹到10月25日发布“第一次通过”地图，HOT与其任务伙伴在波多黎各进行了12次单独的建筑标识活动。[8]

虽然现有波多黎各大部分地区的公路网图，但飓风玛丽亚的动态特性要求及时更新公路网。超过1500条道路被破坏、阻塞或被飓风冲走。因此，第一反应人员需要快速更新运输地图，以确定物资可以和应该被送往何处。[9]由于公路网受到广泛破坏，最初的测绘工作主要集中于确定哪些路线可以通行。[10]有效率的后勤和路线规划在反应阶段的头几天特别重要，因为波多黎各没有足够的援助物资，例如当地储存的发电机和水过滤系统。[11]分析师和地图志愿者要在五周的时间里完全更新了波多黎各道路网络的标签。

分析人员提供的第三个地图特征类别是关键基础设施兴趣点（POI）。由于玛丽亚登陆时整个波多黎各岛都停电了，一个重要的分类特征就是电力基础设施。岛上长期停电，以及包括生命损失在内的相关灾难性影响，突出了识别特定类型基础设施的复杂性。[12]波多黎各在玛丽亚发生几天后也经历了严重的通信挑战。更糟的是，官员和救援人员的卫星电话供应不足。分析人士还被要求识别通信基础设施，如微波塔，以帮助响应者和当地公用事业供应商。

 最后，确定医疗设施和基础设施非常重要，因为该地区一些最大的医院中心断电、洪水和受损。POI的识别对分析人员来说尤其具有挑战性，因为它要求他们同时识别特定的结构，对结构类型进行分类，然后确定损伤的存在和严重程度。[13]根据以往对2010年海地地震后遥感图像的研究，仅使用卫星图像或机载数据集无法准确地对结构和随后的破坏进行分类，因为受损的建筑物不一定能从头顶直接看到。[14]为了检测和验证建筑物的损坏，需要进行现场勘测和/或偏离角度的图像，以便充分收集显示建筑物损坏特征的图像，特别是倒塌或部分结构的图像。

与灾难响应场景（如飓风玛丽亚）相关的绘图任务的规模和多样性为新兴的机器学习技术提供了几个潜在功能。首先，也是最一般的情况下，机器学习可以通过在分配任务之前确定每个图像分配的复杂程度来帮助提供标签分配。更复杂的场景可以分

定义自动化分类系统

2014年1月，SAE发布了其第一版J3016：道路机动车辆驾驶自动化系统相关术语的分类和定义。该文件有助于统一语言，明确产品在设计中的预期能力。它描述了从无驾驶自动化（0级）到全驾驶自动化（5级）的六个自动化级别。随着自主驾驶能力的发展，这个分类法经过了两次修订，从12页增加到35页。

为地理空间问题构建类似的分类系统，将使得GEOINT社区从以技术为中心的定义转移到以用例为中心的定义。这将有助于社区更好地理解它对新技术的要求以及应该期望的性能类型。

下表是一个建议的分类法，用于在灾难响应场合的背景中基础制图的建筑物自动提取。它将两个同样困难的任务分离开来，分别对图像中的对象进行定位和对该图像中的对象进行精细的分级分类。

等级

描述

0级

机器学习不自动化。传统的桌面或基于web的GIS软件通常与标准的制图功能和工具一起使用。

1级

机器学习用于在一个区域的一个广泛的功能类中创建一个对象的一般计数。这应该在可以容忍大量计数错误的情况下使用。

2级

一个为人员提供建议的特定任务是自动的。例如，提供地理位置的边界框或多边形，或为特定功能（如住宅、办公室、警察局或医院）提供推荐标签。

3级

自动完成标记活动，并将完整的足迹和狭窄的特性标签发送到人工标记器，并为特定的特性提供推荐标签供人工评估。

4级

自动完成标记活动，并将完整的足迹和较窄的特征标签发送给人员，特定特征的推荐标签被自动化用于地理空间受限区域。

5级

整个标签活动是自动化的，完整的足迹和狭窄的功能标签是自动化，适用于整个全局。

目前的技术水平

在过去的两年中，开发了几个开放源代码数据集，旨在将机器学习应用于精确构建地图的挑战，从而推动最新技术的发展。spacenet buildings数据集在6个城市（亚特兰大、喀土穆、拉斯维加斯、巴黎、里约热内卢和上海）拥有超过800000个建筑足迹[15]，旨在提高从卫星图像中提取建筑足迹的性能。

2017年7月，美国情报组织的“情报高级研究项目活动”（IARPA）发布了其全球功能图（FMOW）数据集，其中包括超过100万个数字地球卫星图像片段，涵盖机场、警察局、医院、购物中心和单体住宅等63个类别，旨在提高已经确定的建筑物和结构的分类。[16]

 SpaceNet数据集支持创建1级或2级的自动化系统。FMOW数据集支持创建用于构建分类的第2级系统。要启用3级到5级，需要从这两个数据集训练另一个系统，或者，理想情况下，需要创建另一个数据集来启用3级到5级的系统评估，以创建区域的基本地图。

图2. Radiant Solutions公司提供的图片

结论

机器学习方面的创新通过提供自动化，使地图制图和分析以前所未有的速度、规模和效率继续惠及GEOINT社区。应用这项技术推动改进的任务成果仍然是社会关注的焦点。为此，了解特定任务所需的性能或增强支持水平仍然是GEOINT从业者面临的挑战和机遇。我们提出了一个类似于自主车辆驾驶六个级别的分类和定义，目的是帮助实现针对地理空间问题的先进机器学习算法的应用。提高社区对自动化水平的理解，以及在给定的场景中应用多少自动化，对于在诸如自然灾害响应等关键任务情况下获得优势至关重要。