无人机集群类脑导航系统综述

来源：中国指挥与控制学会

摘要

随着网格细胞、位置细胞及头朝向细胞等类脑认知导航细胞的作用被揭示、人工智能的快速发展以及群体智能感知定位机理的蓬勃发展，为研究无人机集群编队复杂飞行环境下的类脑编队协同导航技术提供了理论基础。针对无人机类脑集群编队导航技术的研究进展进行如下综述。

1) 论述无人机类脑编队导航系统的研究现状;

2) 分析无人机类脑感知定位机理及智能自适应建模方法的研究，包括基于深度强化学习的类脑导航模型; 

3) 提出目前类脑编队导航系统中面临的重难点及未来发展趋势。

引言

  无人机的飞行任务已逐步从单无人机自主飞行向多无人机集群编队自主飞行方向发展。在军事领域，多无人机集群编队协同飞行可以有效克服复杂战场飞行环境下仅依赖单架无人机执行任务能力有限、抗毁伤性不足等问题。在民用领域，多无人机密集集群编队协同飞行可应用于灾害救援、科学考察和航空飞行表演等多种应用领域，特别是采用多旋翼无人机按照预定的飞行航路实现密集集群编队飞行在民用航空飞行表演等领域得到成功应用。由于无人机具备功能分布化、体系生存率高、成本低、效率高等优势，必将在军事作战、救灾抢险、精密农业、线路巡检、测绘测量、安全监视等军民领域获得广泛应用，有着广阔的应用前景。 

  现有的无人机集群编队协同导航普遍基于GPS或差分GPS等卫星导航信号进行编队协同导航定位，这种导航定位方式对卫星导航信号以及地面主控站表现出较强的依赖性，当GPS信号受到干扰或者主控站信号丢失时，无人机集群导航性能将无法得到保障。此外，除GPS等卫星导航传感器外，虽然还能够在每架编队无人机上进一步装载惯性传感器、地磁、大气传感器、视觉、光流、UWB和WIFI等多种传感器以进一步提高无人机自身的感知定位精度与可靠性，但是面对集群编队多源传感器海量数据的处理，依靠现有的有中心节点式的无人机编队集群导航技术显然还无法满足对海量可用导航信息的甄别筛选以实现对海量感知定位信息的最优融合。近年来，类脑感知和认知机理的研究得到迅猛发展。神经科学家逐渐揭示了人体大脑中位置细胞、头朝向细胞、网格细胞之间的作用机理，并进一步阐明了人体大脑进行位置定位和方向感知的方式。此外，鸟群、蜂群、鱼群和蚁群等生物脑的感知定位机理研究也正处于蓬勃发展的阶段，为类脑处理的人工智能发展提供了新的思路和发展方向，类脑感知智能已成为近年来人工智能领域研究的热点，为无人机集群导航提供了新的思路和途径。

1 类脑集群导航系统的研究现状

1.1 无人机集群导航系统研究现状 

  美国等西方发达国家在基于类脑感知的人工智能编队无人机导航方面开展了很多探索性研究。2016年10月，美国国防部采用3架F/A－18战斗机发射了103架“山鹑”( Perdix) 微型固定翼无人机并组成集群，通过空中实验验证了无人机集群飞行的能力，研究者通过对鸟集群飞行时的脑机理研究出共享分布式大脑，通过相互协调行动，尽管在实际飞行过程中仍然依赖一台地面站作为数据中心，但是也表明了“山鹑”无人机已经初步具备了集群编队协同环境类脑感知定位能力; 2010年宾夕法尼亚大学完成20架四旋翼无人机的类脑编队控制; 2015年法国达索飞机制造公司实现神经元无人机与阵风战斗机、“猎鹰7X”商务机的有人机/无人机类脑协同编队飞行。

美军“蝉”微型无人机集群编队

美海军“低成本无人机集群技术项目”

  国内也高度重视人工智能与无人机导航相结合的研究，其中控制领域的类脑感知研究者较多，还未将类脑应用于导航领域。与国外相比，在技术实现上还存在一定差距。

1.2 类脑导航系统研究现状 

  类脑感知定位不是单纯地复制生物大脑，而是从原理及结构上寻找生物大脑的优势，从而对人工神经网络进行完善。在类脑导航细胞机理基础上，昆士兰大学开发了类脑机器人视觉导航算法，首次用低成本相机实现了城市级的车载导航与定位能力，相比传统视觉导航，具有恶略环境( 暗光强光、粉尘等) 适应性 强、无需精确导航计算模型等优势。波士顿大学提出一种仿大脑海马结构认知机理的面向目标导航模型，通过分析头朝向细胞、网格细胞、位置细胞以及前额叶皮层细胞各自的功能和联系，建立对应作用机理的分 级人工神经网络模型，实现了基于惯性/视觉的类脑认知导航。昆士兰科技大学提出了基于视觉/WIFI /气压计的类脑多源信息融合算法，具有不依赖精确导航建模能力。谷歌DeepMind人工智能研究团队验证了把神经网络模型用于空间导航和定位时，其隐节点的物理意义类似于大脑位置细胞、网格细胞、边界细胞等导航细胞，首次证明了类脑认知导航与大脑导航生理机制等价。哥伦比亚大学首次采用类脑芯片IBM TrueNorth实现了智能小车环境感知、空间导航认知、路径规划一体化硬件测试，具有硬件体积小、功耗小等优势。

1.3 国内外研究现状总结 

  上述国内外的研究工作动态为进一步深入开展基于类脑感知定位的无人机密集集群编队协同导航研究提供了可借鉴的参考。但从上述国内外的类脑集群编队协同自主导航技术研究成果来看，大部分研究是对于无人机协同集群编队中控制技术领域的探索，主要采用了惯性和 GPS 等导航技术实现集群编队协同导航和控制; 在类脑导航方面，国内外各研究者也正将类脑导航原理应用到无人机、车辆导航中，但针对基于类脑感知定位的无人机密集集群编队协同导航技术的研究还鲜有文献报道，关于深度学习、神经网络等人工智能方法的应用也主要集中于单架无人机导航领域。的内容，

2 类脑感知定位机理及智能自适应建模

2.1 类脑感知定位机理

  大自然中动物导航感知的例子比比皆是，像人们熟知的GPS系统一样，大脑定位系统也是通过自身的位姿信息、目标信息进行定位导航。生物脑中存在3种主要导航细胞位置细胞、头朝向细胞及网格细胞。其中，海马体中的位置细胞绘制所处地点的地图; 头朝向细胞指明方向( 将位置细胞和头朝向细胞合并为一个新细胞类型，位姿细胞) ; 大脑内嗅皮层中的网格细胞由位置细胞激活并通过标记被激活细胞的位置对环境进行重定位。此外，在内嗅皮层还存在边界细胞、条纹细胞、速度细胞等辅助导航定位的细胞。大脑通过感官从外界获取环境中的特征信息，其中位置细胞能够与海马体中其他细胞合作，将输入的特征信息与记忆的特征信息进行比对，如果信息匹配成功，与匹配位置对应的特定位置细胞就会被激活。

2.2 群体动物感知定位机理 

  自然界中，鸟群编队飞行的现象比较常见，其群聚行为包含自然社会、回避、探测以及防御掠夺等。鸟群经常以“V”、“J”或梯形的线性编队飞行，其中“J”形和 梯形编队是“V”形编队的变形，线性编队行为可以通过鸟群成员间的视觉信息交互提高导航能力。

  无人机编队飞行形式与生物群体社会性行为存在相似性，通过研究生物群体行为规律，为无人机编队飞行提供关键有效理论及技术思考，其中将生物集群编队理论与无人机集群相对协同导航的研究在不断推进。以鸽群为例，在导航方式方面，鸽子在旅程不同阶段会使用不同导航工具，前期依赖地磁场判断大致的方向，后期通过地标对实际方向进行修正，太阳高度也会影响鸽子导航。研究表明，鸽群编队系统与狼群等 陆地群体的模式区别甚大，在鸽群中，所有的鸽子包括头鸽及跟随鸽都存在层次等级，区别是头鸽的地位不容撼动，为群体的绝对领导者，跟随鸽只能服从上层，跟随鸽所受影响来自于头鸽及其上层鸽，而来自于上层鸽的影响实时性更高、效果更强。

  无人机编队集群类脑导航的研究者从鸽群层级行为得到了很多启发，表现为: 

1)鸽群编队系统区别于陆地群体的单一首领制度。原因是视野及通讯最高距离的限制，鸽子只能与临近上层的鸽子实时通讯并相对跟随。无人机编队类脑协同导航系统的研究受此启发，由于长机不能时刻在僚机的通讯及视野范围内，采用长机与僚机通讯、僚机与僚机通讯的方式实现编队飞行；

2)鸽群个体间不是任意两鸽均可通讯联系，而是具有森严制度。无人机编队类脑协同导航系统的研究受此启发，采用类似等级制度，可以增强集群通讯的可靠性，即使出现干扰甚至故障，仍可迅速实现集群系统重构，使系统不受影响; 而且各无人机个体的通讯空间可大幅度减少。

2.3 类脑导航智能自适应建模的发展现状 

  未来类脑导航的主要发展趋势之一是类脑认知，认知智能导航可以使智能导航系统进行理解与思考，在复杂环境下快速识别附近环境，自我判断最优路径。典型例子有谷歌 DeepMind 的最新研究，其中文献［8］说明了强化学习训练的深度神经网络在导航方面，仍不能与人脑的空间行为的熟练度相媲美的原因是缺乏内嗅皮层网格细胞的支撑，网格细胞可以提供一个多维度周期表示基础，其作用类似于编码空间，并且对于路径集成( 集成自运动) 及计划直接轨迹到目标( 基于矢量的导航) 有重要作用。实验证明，网格单元自发地出现在神经网络中，使智能体获得空间自导航能力，这与在哺乳动物中观察到的神经活动模式惊人的一致，也与网格细胞为空间提供高效代码的观点一致。

  研究者首先利用网格细胞的计算功能设计一种类脑深度强化学习单元，训练一个具有长短期记忆 ( LSTM) 架构的循环网络，使之出现类似于网格细胞的特征，以及其他内嗅皮层细胞特征。速度作为输入提供给该循环网络，该网络随时间的反向传播进行训练，允许网络动态地将当前输入信号与反映过去事件的活动模式组合。正如预期的那样，网络能在涉及觅食行为的环境中准确进行路径整合，其中25.2%的线性层单元类似于网格单元，在保守的场改组程序产生的零分布中表现出来显著的六边形活动模式，与啮齿动物网格细胞的经验结果一致。线性层还表现出类似于头部方向单元( 10.2%) ，边界单元( 8.7% ) 和少量位置单元以及这些表示的连接单元。为了确定这些表示的稳健性,文献［5－6］表明对网络进行了100次重新训练，每次都找到类似比例的网格状单元( 平均23%， s．d．2.8% ，具有显著网格特征的单元) 和其他空间调制单元。

  为了开发具有矢量导航潜力的智能体，文献［8］将上述“网格网络”整合到一个用深度强化学习训练的更大的架构中。和以前一样，网格网络是使用监督学习训练的，如图6所示，但为了更好地近似可用于导航哺乳动物的信息，它现在接收受随机噪声和视觉输入扰动的速度信号。发现智能体能在有挑战性的、不熟悉的、变化的环境中定位目标，具有类似于网格特征的智能体的性能超过了人类专家和其他对比个体，其基于矢量的导航所需的度量尺度来自于网络中的网格状单元。而且，网格细胞的特征使得智能体能够执行与哺乳动物类似的走捷径的行为。研究结果表明，网格状单元为个体提供了欧几里德空间度量和相关的向量运算，为精确导航提供了基础。因此，结果支持将网格单元视为基于矢量导航的关键的神经科学理论，证明后者可以与基于路径的策略相结合，以支持在具有挑战性的环境中进行导航。

有监督学习实验中的网络框架

  网格单元的循环层是具有128个隐层单元的LSTM，该循环层的输入为向量［v，sin(φ) ，cos(φ) ］，初始时刻的地面真实位置，活动c0和头朝向活动 h0 分别经过线性变换后得到 LSTM的初始单元状态和隐藏状态的初始化值 l0和m0。LSTM的输出是一个经过正则化的线性层，该线性层的输出gt是由线性变化得到的，并通过两个softmax函数计算出预测的头朝向单元活动zt和位置单元活动yt。研究表明线性层激活gt中含有网格状单元及头朝向状单元。

  传统的同步定位与建图(SLAM) 技术通常需要构建准确且完整的地图，从外部定义目标的性质和位置。相比之下，文献［8］中描述的深度强化学习方法能够从稀疏奖励中端到端地学习复杂的控制策略，以超过以往深度强化学习方法的自主能力直接引导个体到达目标甚至采用走捷径的方式，而这些若在SLAM系统中则需要手动编码。文献［9］中提出了一种解决城市级现实环境中任务的深度强化学习导航方法，并分析了一项新的信使任务，提出了一个多城市网络智能体架构，演示了该如何将神经网络迁移到新的环境。

目前有4点需要进一步研究: 

1) 如果神经网络的损失函数中不包括正则项，那么神经网络无法表现出网格细胞功能，这一发现给了我们一个全新的角度去思考正则项的作用;

2) 深度神经网络的黑盒特性阻碍了进一步分析网格细胞活动特性对路径整合的作用，由于无法在模型内进行原理分析、定性定量分析算法和编码策略，使得研究网格细胞成为有效的导航方案异常困难，这一点再次强调了研究神经网络的必要性以及神经科学家的重要性;

3) 还需要进一步分析深度学习系统的内部工作机理，研究辅助类脑之空间导航的通用计算原理;

4) 目前只涉及了单个智能体的类脑导航，编队类脑方面，只涉及到了与人工智能相关的导航，但离真正的类脑还是有一定距离。

3 类脑集群导航系统中面临的重难点

  国内外研究者对无人机集群类脑导航系统开展了大量分析研究，针对目前存在的关键问题和发展趋势，无人机编队集群类脑导航系统的难点及重点主要是:

1）在密集编队飞行应用环境下，导航系统误差传播特性的变化对不同时空下的模型自适应表达提出了新的要求，如何借鉴生物脑导航机理建立无人机类脑定位感知定位模型，以及对适应密集集群编队飞行环境的导航系统误差建模这一问题亟待解决。

2) 密集集群编队中的无人机飞行密度高，队形控制复杂，对相对导航定位精度和鲁棒性要求极高，因此需要解决密集集群飞行环境量测特征下基于类脑感知机理的相对导航信息融合方法。

3) 针对密集集群编队对高可靠导航测量信息的要求，为确保无人机密集集群编队导航系统对编队无人机飞行状态的可靠测量，必须解决在参考信息可用性变化的条件下，导航系统对故障信息的快速诊断和智能主动容错的问题。

4) 在仿真验证方面，实现从单机类脑到群体类脑的编队导航仿真，及从简单任务到复杂编队任务场景的验证。

4 结束语

  类脑编队导航是当前人工智能的研究热点，但是我们必须认识到，当前我们对于大脑内部功能的实现和大脑内部神经元细胞之间的信息传递机制等研究仍不够深入，因此，要完全弄清类脑导航机理我们还有很多的工作要做。我们需要在已有认知机理的基础上进行更深层次意义上的研究，并将相关成果应用于类脑导航、医学研究等意义重大。希望本文的综述能为其他研究者丰富无人机编队集群类脑导航理论及应用时提供参考价值。

参考文献

［1］ 王伟，宋延华，马浩等．旋转翼无人机系统［J］．控制工程，2015，22( 2) : 205－212． 

［2］ Woods J O，Christian J A． Lidar- based Ｒelative Navigation with Ｒespect to Non-cooperative Objects［J］． Acta Astronautica，2016，126: 298－311． 

［3］ Lee J Y，Kim H S，Choi K H，etal．Adaptive GPS/ INS Integration for Ｒelative Navigation［J］．GPSSolutions，2016，20 ( 1) : 63－75． 

［4］ 石鹏飞．无人机自主控制技术发展与挑战［J］．科技导报，2017(7) : 34－40． 

［5］ 牧彬，米征，盛凯等．BP神经网络 PID 控制器在无人机编队飞行中的应用［J］．测控技术，2017，36( 4) : 66－69． 

［6］ 陈孟元．鼠类脑细胞导航机理的移动机器人仿生SLAM 综述［J］． 智能系统学报，2018，13( 1) : 107 －117． 

［7］ 邱华鑫，段海滨，范彦铭．基于鸽群行为机制的多无人机自主编队［J］．控制理论与应用，2015，32 ( 10) : 1298－1304． 

［8］Banino A，Barry C，Uria B，etal．Vector- based Navigation using Grid-like Ｒepresentations in Artificial Agents［J］． Nature，2018，557( 7705) :429－433．

［9］Piotr Mirowski，Matthew Koichi，Grimes Mateusz Malinowski．DeepMind 双路径智能体结构，不用地图也能导航［J］．机器人产业，2018( 3) : 34－38．

［10］李升伟．人工智能模拟大脑导航密码［J］．世界科学，2018( 9) : 25－6

源自：无人机杂志（UNMANNED_VEHICLES）

投稿邮箱：liuyali@c2.org.cn

长按下方二维码    免费订阅

如何加入学会

注册学会会员：

近期活动：

2019第七届中国指挥控制大会暨第五届（北京）军博会于七月二十四日至二十六日在北京国家会议中心隆重召开，学术大咖云集，知名企业助阵，聚焦前沿科技，共享C2盛宴，期待您的参与，相约C2会场！

报名请点击公众号底部菜单栏
个人会员：

关注学会微信：中国指挥与控制学会（c2_china），回复“个人会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。通过学会审核后方可在线进行支付宝缴纳会费。

单位会员：

关注学会微信：中国指挥与控制学会（c2_china），回复“单位会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。通过学会审核后方可缴纳会费。

长按下方学会二维码，关注学会微信