【CICC原创】建模与仿真、实验和作战模拟-评估常见场境

关于“假设”问题的高效探索，对于确保美国军事力量的持续领先至关重要。完成这一使命需要人类的聪明才智、洞察力和创造力，以及对形式分析方法的精确应用。这些方法主要有：建模与仿真，实验和作战模拟。在这份白皮书中，我们简要回顾了每个项目的现状，指出了它们之间的基本关系，并确定了未来重点和社会各界投资的时机。我们的评估还包括对这三个学科的MITRE能力的讨论。

建模与仿真（M&S）在科学与工程中的应用非常广泛。有人认为[1]：

今天，我们正处于工程和科学计算机仿真的转折点。计算机仿真的应用在今天比人类历史上任何时候都更加普遍，影响也更大。所有科学和工程领域的发展都被计算机模拟所推动，甚至在某些情况下被计算机模拟所取代。如今，仿真已经具有了预测能力，它现在已经可以很好地补充传统的理论和实验/观察。如果没有仿真，许多关键技术将无法被理解，开发或利用。

一些评估机构估计，美国每年用于M&S的总开支为500亿美元，其中包括美国国防部（DoD）的90亿美元[2]。

M&S支持各军种和联合司令部的各种国防任务，包括概念探索、分析、采购、测试和评估、规划、条令和战术制定、作战和训练。

几十年来，国防界在围绕M&S建立利益共同体和实践共同体方面取得了很大进步：成立了OSD、联合办公室和服务办公室，负责M&S相关活动的管理和协调；制定并颁布了政策和标准；互操作国防模拟联合会已经司空见惯；知识管理库已经创建；研究资金通过全社区范围的参与而形成。

也有一些失误。基于仿真的采购（Simulation-Based Acquisition，SBA）和陆军采购需求与训练计划（Simulation and Modeling for Acquisition Requirements and Training，SMART）所带来的国防商业实践改革从未完全实现。美国陆军未来作战系统（FCS）的失败，作为SBA/SMART采购项目的一个典型例子而备受推崇[5]，导致一些领导层对M&S的价值提出质疑。过去十年中，对国防建模与仿真办公室（DMSO）（于1991年成立，并于2006年重新命名为建模与仿真协同办公室（MSCO））开展的OSD管理活动的支持和资助有所减少。

展望未来，国防M&S界面临的一些挑战包括：

•展示M＆S的投资回报率（ROI）。这项技术的实践者和倡导者认识到需要明确地向决策者说明其价值。总会计办公室（GAO）和其他机构对量化M＆S投资的成本效益进行的历史评估结果参差不齐[6，7]。最近的研究表明，在确定支持投资回报率计算的指标方面取得了显著进展[8]。

•新系统、新技术和新挑战的表示。特别是网络和网络效应、空间系统和反访问区域拒绝（A2AD）平台的表示。

•威胁系统的表示。国防部M＆S领域的一个持续挑战是根据我们现有的最佳情报数据更新我们的威胁模型。最近开发的ITASE框架可以为许多国防M＆S应用提供一个长期有用的解决方案。

•实时-虚拟-建设性集成。实时，虚拟和建设性（LVC）仿真元素的集成预示着一个可以最大限度地提高训练、实验和任务预演领域效率的机会。但是，这些元素集成不当或不足可能会产生有害影响。2013年12月，美国空军负责作战、计划和需求的助理副参谋长詹姆·琼斯少将在军种/行业培训、模拟和教育会议（I/ITSEC）上的主旨演讲中说：“我认为今天在座的任何人都不会说我们已经到了需要的地步。为了使我们对准备工作产生真正的影响，我们必须采取进一步措施，实现实时、虚拟和建设性资产的全面整合。”

•低开销事件支持。除了与角色扮演者相关的开销外，大多数培训和实验活动在技术支持人员中都有相当大的开销。此类技术的实现是国防部全面实现常驻地训练的主要障碍。

实验是科学方法的本质——提供其在国防领域应用的合理历史超出了本白皮书的范围。在现代，与国防实验相关的大多数概念、方法和活动都与《最佳实验实践守则》保持一致，该守则源自指挥与控制研究计划（CCRP），其重点关注网络中心战和军事改革[9]。该准则确定了在国防部内应用的三类实验：

•发现实验包括将新颖的系统、概念、组织结构、技术或其他元素引入可以观察和编录的环境中。

•假设检验实验是学者们通过试图篡改特定假设（特别是在陈述时）或发现其限制条件来提高知识的经典类型。

•再现已知真理的演示实验，类似于在高中进行的实验，在该实验中，学生遵循指导，以帮助他们自己证明化学定律和物理定律如基本理论所预测的那样起作用。

除了按用途区分实验外，我们还可以按规模和复杂性区分实验。 这样的实验范围可能包括：

图1实验活动空间（改编自[9]）

•集思广益活动-通过专门的环境进行创新思维，以获取有关特定主题的知识。

•桌面事件-每次评估一个主题一种情况。

•基于场景的演示和原型实验，并使用原型进行概念设计。

•独立的基于仿真的实验，运行时无需人工干预-使用不间断运行的仿真进行概念实验。

•独立的基于仿真的实验，人工介入（Human-in-the-Loop）-使用单一交互仿真进行概念实验。

•基于分布式仿真的实验-使用一套集成的交互仿真和C4I系统进行概念实验。

•作战环境中的大规模试验-在作战环境中使用一套大规模集成的交互式仿真和C4I系统进行概念试验。

从上面的列表中我们可以看出，实验与M＆S并不完全无关。在许多情况下，仿真为实验环境提供了基础。同样，许多此类实验也可以被视为作战模拟。

在《最佳实验实践守则》的后续部分中，Alberts和Hayes强调，实验应被视为持续过程的一部分，而不是“一次性”事件[10]。如上图1所示，实验活动应包括实验能力谱不同部分的实验——基于桌面实验的概念似乎很有前途，可以使用基于模拟的实验进行更详细的探索，或者可以使用在独立模拟中表现良好的概念在更复杂的分布式仿真实验中进一步评估。

尽管记录程序（Programs of Record）可以作为系统设计和开发的一部分进行实验，但整个国防部相关实验活动的优势在于采购前概念开发的支撑。

最近，国防科学委员会（DSB）呼吁[11]：“更多地使用实验来发现和分析潜在的新技术。这将取代目前部门对测试和评估以及发展里程碑的关注。”

了应对这一挑战，空军资助了与空军实验政策和实践相关的MITRE研究和空军研究委员会考察，并在空军装备司令部（AFMC）内设立了战略发展规划和实验办公室。美国空军已在17财年总统预算中拨款8700万美元用于实验。

当前国防实验面临的挑战包括先前为M&S所引用的挑战。此外，实验界可以从治理结构、知识管理流程以及适当指定和资源充足的“愿景”中心（如M&S社区已建立的中心）中获益。空军SDPE办公室朝这个方向迈出了积极一步。其他服务机构和联合社区应考虑采取类似的做法。

战争模拟的核心是探索人类决策的工具，特别是在信息不完整和不完善的环境中。Perla 将作战模拟定义为[12]：“……一种作战模型或仿真，其作战不涉及实际军事力量的活动，其事件序列影响并反过来由代表对方的玩家所作的决定所影响。”通常，作战模拟是战略重点。在作战模拟过程中，玩家可能会发现为了模拟的进行需要做出意料之外的决定。根据[13]的说法，作战模拟也有教育的成分。经验表明，玩家在参与作战模拟时互相学习。大多数玩家认为，在一场战争中进行的思想和信息交流是有专业价值的。一些常见的作战模拟类型有[14]：

•桌面练习。桌面练习是一种基于讨论的作战模拟，玩家坐在桌前相互交流，以解决游戏中的关键问题。虽然不是一个基于回合的游戏，但协导员通常会让玩家按照特定的顺序考虑问题，以确定特定决策或行动之间的关系。

•研讨会。研讨会包括主题专家（SME）聚集在一起讨论问题。研讨会有确定的、单个的重点，并且经常作为后续活动的输入。

•归纳游戏（注：这里的游戏指作战模拟或军事演习）。归纳游戏开始没有赛前概念。在归纳游戏中，通过对游戏数据的模式分析来识别概念。这种类型的游戏在概念开发过程的早期使用，并在活动期间使用开放式头脑风暴风格。

•演绎游戏。相比之下，演绎游戏从一般的游戏思想开始进行检验，然后在游戏过程中收集观察数据来支持或反驳最初的游戏假设。这种类型的游戏是在后来的概念开发过程中使用的，在概念得到更充分的开发之后。这在行动过程（COA）分析或执行前测试计划时使用。

•基于场景的游戏。这项技术为玩家提供了一个特定的场景，当玩家研究一个特定的战略问题时，该场景用于指导作战过程。基于场景的游戏，从现在的情况开始，可以用来“走向未来”。根据赞助商的要求，作战游戏可以基于特定的场景。

•可替代未来游戏。另一种未来军事演习是向参与者展示两种或更多可能的未来情景。参与者被要求确定关键指标，这些指标将表明该情景所代表的未来可能正在出现。与基于场景的游戏相比，可替代未来游戏会在未来开始，向后工作到现在。游戏结果通常包括从多个场景中确定唯一和通用的指标。在游戏结束的时候，玩家可能会被要求在游戏的基础上确定他们认为最合理的未来事件是什么。

•单边游戏。单方或单边游戏包含一个玩家单元，对手由一个呈现脚本场景注入的控制组提供。

•1 1/2边游戏。一个1 1/2边的游戏还包括一个玩家单元，对手由一个控制组提供，但是场景注入是在游戏执行过程中开发的，而不是预先编写的，迫使玩家为与游戏目标相关的特定决策而努力。

•双边游戏。与单边游戏相比，双边游戏包含两个独立的、相互竞争的玩家单元。双方的比赛规则从限制到完全自由。每个单元的玩家决定都会被裁决，结果会呈现给玩家，并用于通知后续的游戏。

•多边游戏。游戏可以由多个相互竞争的单元设计。这些游戏被称为多边游戏，或按实际数量（如“三边游戏”）。由于不同玩家单元之间可能发生的互动次数众多，多边游戏的行为规则可能比双边游戏复杂得多。

作战模拟在美国军队中有着丰富的历史。海军航空界在20世纪30年代有意和积极地使用作战模拟，这常常被认为是二战中途岛战役中日本航母部队战败的原因[15]。今天，军事演习界依然活跃。然而，最近对服务和联合作战的审查显示，作战社区内部缺乏协调，从作战中获得的见解与维和部的方案行动之间没有任何直接联系。因此，国防部领导层呼吁集中力量重振整个国防部的作战模拟[16]。

作为这一复兴过程的一部分，国防部创建了一个分类作战模拟库，并建立了一个国防作战模拟协调小组（DWAG）。DWAG将对整个国防部的作战模拟能力进行清点，特别是在各军种和作战司令部之间。它还将举办一系列定期举行的高级领导人作战模拟活动。

国防部领导层还要求军事学院和学校考虑将作战模拟课程纳入其课程体系。在今天的许多情况下，作战模拟课程是选修课。五角大楼要求在2017财年投入5500万美元用于军事演习，在未来五年的国防项目支出计划中投入超过5.25亿美元[17]。作战计划将重点关注三个时间范围：

•近期（目前-5年）：运营和物流

•中期（5-15年）：新的能力和问题运营理念，例如克服A2AD战略

•长期（超过15年）：技术趋势和未来挑战

我们注意到，与M&S、实验和作战模拟相关的基础技术、技能和方法存在大量的重叠。在MITRE，我们看到这些学科的研究人员和从业人员在语言和方法上有一些协同作用，但是仍然存在可以并且应该解决的脱节现象。我们在下面的这些学科中回顾了MITER的格局。本次讨论不是对MITRE的能力或其在M＆S，实验和作战模拟方面的过去或当前工作计划的全面调查。我们的目标只是说明正在进行的工作的广度，指出共同的领域，并强调一些值得注意的方法和未来重点。

4.1今天的M&S能力

首先来看M&S，我们发现它可以说是一项基本技术，是许多MITRE赞助商的固有任务。M＆S技术正在整个MITER中广泛开发和应用，遍及其在国防部，情报界和民政部门的赞助商，以及许多任务-系统设计和分析，实验，作战，培训，任务演练以及测试和评估。一些值得注意的应用领域包括：

•通信和网络MITRE赞助商的任务包括军事行动、人道主义行动、情报社区行动、民航行动和第一响应者行动。这些任务导致对通信和网络的依赖性越来越大，对复原能力的需求也越来越大。MITRE在设计、分析和实现各种通信环境（包括虚拟、有线、战术无线（MANET）、光学、蜂窝、商用无线（LTE、WiFi和WiMAX）和卫星通信）的网络方面拥有重要的专业知识。M＆S发挥关键作用的领域包括：抗干扰能力[18]、加密[19]和频谱管理[20]。

•指挥和控制。自1958年7月成立以来，MITRE一直是联邦航空和国防部指挥与控制（C2）体系结构和系统发展的杰出贡献者[21]。MITRE支持许多嵌入式指挥控制系统及其支持协议的设计和开发，支持C2作战概念的演变，以及M&S和C2之间的联系。

•情报，监视和侦察。MITRE开展了各种各样的ISR建模和分析活动，从用于双基地雷达，位置导航和计时（PNT）技术等的高精度现象学模型，到任务和战役级ISR效果的综合分析。

•航空。MITRE与联邦航空管理局（Federal Aviation Administration）合作，提供世界上最安全、最高效的航空航天系统，并满足国家空域不断变化的需求。M&S在这一领域的贡献包括：全系统航路[22]和终端区[23]交通流量分析、航空安全运行评估[24]、人工介入（Human-in-the-Loop）试验和空中交通管制培训[25]。

•基于仿真系统的系统工程。近30年来，MITRE在分布式仿真技术的发展中一直处于领先地位。由于其在国防部高级研究计划局综合战区（STOW）的领导地位[26]，以及随后整个社区都致力于开发可扩展和可靠的仿真互操作技术，MITRE在建立国防建模与仿真办公室（DMSO）方面发挥了关键作用，随后在高层体系结构（HLA）上“写了这本书”[27]。在当今许多最关键的个人，集体和指挥所训练和实验的系统上，通过系统工程的角色，MITRE始终处于高级分布式仿真架构的发展，标准化和应用以及仿真C4I互操作性的最前沿，[28，29] 以及领导层采取各种举措，以进一步推动实时虚拟构造（LVC）体系的应用。

•机构采用的M&S系统的应用。MITRE工程师和科学家在美国政府使用的许多标准建模平台的应用方面拥有专业知识，包括：JANUS、JCATS、JTLS、EADSIM、Eagle、Combat XXI、STORM、JSAF、SEAS、OneSAF。

•大规模和高性能的M&S。几十年来，MITRE研究人员一直在开发用于M＆S高性能应用的新方法。这项工作的著名例子包括：并行离散事件模拟的保守协议[30]、空中交通的优化并行离散仿真[31]、模拟和并行线性不等式[32]以及大规模无线网络的多范式模拟[33]。

•基于模型的系统工程。MITRE在MBSE标准的制定和发布中发挥了积极作用。

•复杂系统建模和分析。MITER声称拥有大量圣塔菲复杂系统研究所（Santa Fe Institute for Complex Systems）的毕业生，因此在广泛的领域中应用了复杂的系统建模和分析，包括：不对称战争[34]、疾病传播[32]、关键基础设施[35]和金融市场[36]。

•自主性。M&S在MITRE自动化领域的研究和实践中发挥着核心作用[37]。例如，MITRE“流星”进入2005年DARPA大挑战的传感和控制系统的模拟直接演变为实际的系统软件[38]。M&S也是毫米级机器人[39]和无人机（UAV）设计的基础[40]。

图2：实验范围的MITRE活动

•网络。先进的网络对手拥有越来越多的武器库，其中包括对全球供应链的攻击、内部颠覆、对基础设施的物理攻击、电子战攻击、社会工程和发展缓慢的网络攻击。越来越多的企业网络、战术网络、嵌入式系统、网络物理系统等正在融合和协调这些技术，以实现对广泛目标的影响。对手已经在我们的一些网络上建立了持久的嵌入式部队，而且他们先进的混合攻击行动很难被预防甚至察觉。网络领域的M&S挑战很多，特别是在评估网络效应的任务影响方面[41]。

•优化和元建模。MITER研究人员开发了许多支持技术，以支持非常大规模的实时决策支持框架，包括基于仿真的优化[42]，元模型[43]和网格计算框架[44]。

除了重要的M＆S活动基础外，MITER还拥有20多个不同的实验室和设施，可支持整个实验范围内的各种活动。其中一些在图2中有说明。

MITRE最突出的实验活动之一是其国家安全实验实验室（NSEL）。NSEL满足了运营现实环境的需求，在这种环境下，MITRE研究所赞助者可以对新的和创新的概念、技术、平台、系统以及战术、技术和程序（TTP）进行详细研究。NSEL提供了一个有效的、动态的实验，旨在使新的能力更接近操作社区。它使MITER和我们的合作伙伴能够使用真实的指挥与控制（C2）系统，模拟武器和传感器以及执行各种危机应对方案的真实军方和民用运营商进行模拟实验或SIMEX。这些SIMEX在NIPRNET、SIPNET、DREN、SDREN和虚拟专用网（VPNs）上的分布式环境中进行，它们解决了系统间的互操作性，并使用高级技术改进了操作和TTP的概念。

MITRE已将NSEL的发展从测试时间敏感的目标计划转变为解决与军事行动和国土安全相关的其他任务领域和场景。NSEL每年进行四到六次SIMEX，自2002年以来，它已经成为46场比赛的主场。每个SIMEX持续一周，但是准备过程通常需要数周至数月。

早期和敏捷能力测试（REACT）实验室，敏捷能力混搭环境（ACME）以及航空集成演示和实验（IDEA）实验室为MITER上其他值得注意的实验活动提供了支持。

MITRE与作战社区的联系可以说比与国防M＆S和实验社区的联系要少。然而， MITRE的国家安全分析小组（NSAG）支持了多种演习手段，包括由OUSD（P）组织，在当时的美国空军少将SANTEE领导下进行的一系列“太空演习”，以及最近在OUSD（I）主办下进行的ISR作战演习。

4.2对未来能力的投资

MITRE及其运营中心的战略规划是一个持续的过程，不在本白皮书的范围内。然而，我们注意到，在战略分析、多领域指挥与控制（C2）、指挥中心运作、恢复力、自主性和网络等方面的兴趣正在不断增长。在这些问题领域中，建模和仿真、实验和作战模拟的机遇和挑战众多；我们将在其他白皮书中研究具体的机遇。在本文中，我们注意到一些正在进行的计划，这些计划应支持M&S、实验和作战模拟，涵盖一系列新出现的感兴趣主题：

•MITRE的模拟实验与分析实验室（SEAL）将于2017年1月开放，它将为指挥和作战中心实验，沉浸式可视化以及交互式战略分析提供支持。

•在MITRE的独立研究与开发（IR＆D）计划中，其“C2的未来”创新领域预计将采用M＆S、实验和作战模拟来探索C2的未来概念和方法，特别是在支持多域作战、断开连接、间歇和低带宽环境方面。

•正在开发网络化实验、研究和虚拟化环境（NERVE），以提供MITRE实验和作战模拟设施之间的互连，并提供对权威的、成熟的C2系统和其他应用程序的访问。

图3：建模与仿真、实验和作战模拟

采用一个老生常谈的比喻，M&S、实验和作战游戏构成了“假设会怎样？” 凳子的三条腿？“这是确保美军未来成功的关键（图3）。国防部对这些方法及其支持技术的持续投资至关重要。

从前面章节的总结中可以明显看出（希望如此），建模与仿真、实验与作战模拟之间并没有确切的界限——建模与仿真可以用来支持实验或作战模拟；作战模拟可以被视为实验，反之亦然；如果“思维对立力量”的存在是战争游戏的关键特征，那么这种OPFOR也可能出现在一个实验中；尽管我们可能倾向于将战争和实验视为让人类参与者扮演重要角色，但人工介入的M&S应用也被广泛使用。

从非常基础的应用到高度复杂的应用，M＆S、实验和作战模拟广泛存在。在许多方面，这些技术从根本上是相互交织在一起的，在这一领域中存在重点应用和跨域解决方案的契机，并且意义重大。我们鼓励这些领域的研究人员和从业人员保持各自的追求，并努力建立一个包容性的利益共同体。

参考文献

[1] S. C. Glotzer, S. Kim, P. Cummings, A. Deshmukh, M. Head-Gordon, G. Karniadakis, L. Petzold, C. Sagui, and M. Shinozuka, International Assessment of Research and Development in Simulation-Based Engineering and Science. World Scientific, 2011.

[2]Modeling and Simulation in Hampton Roads, 2012.

www.odu.edu/content/dam/odu/offices/economic-forecastingproject/docs/2012-sor-modelsim.pdf.

[3] P. Sanders, “Simulation based acquisition,” Program Manager, vol. 26, no. 140, pp. 72–76, 1997.

[4] E. H. Page and W. H. Lunceford, “Architectural principles for the US army’s simulation and modeling for acquisition, requirements and training (SMART) initiative,” in Proceedings of the 33nd conference on Winter simulation, pp. 767–770, IEEE Computer Society, 2001.

[5] C. G. Pernin, E. Axelband, et al., “Lessons from the army’s future combat systems program,” tech. rep., DTIC Document, 2012.

[6] “Cost-effective development of simulations presents significant challenges,” Tech. Rep. NSAID-96-44, Government Accounting Office, November 1995.

[7] D. R. Worley, H. K. Simpson, F. L. Moses, M. Aylward, B. M, and D. Fish, “Utility of modeling and simulation in the department of defense:

Initial data collection,” Tech. Rep. IDA Document D-1825, Institute for Defense Analyses, November 1996.

[8] I. Oswalt, T. Cooley, W. Waite, E. Waite, S. Gordon, R. Severinghaus, J. Feinberg, and G. Lightner, “Calculating return on investment for us department of defense modeling and simulation,” tech. rep., DTIC Document, 2011.

[9] D. S. Alberts and R. E. Hayes, Codes of Best Practices for Experimentation. Command and Control Research Program publication series, 2002.

[10] D. S. Alberts and R. E. Hayes, Campaigns of Experimentation: Pathways to Innovation and Transformation. Command and Control Research Program publication series, 2005.

[11] “Technology and innovation enablers for superiority in 2030,” tech. rep., Defense Science Board, 2013.

[12] P. P. Perla, The art of wargaming: A guide for professionals and hobbyists. Naval Institute Press, 1990.

[13] Strategic Wargaming Series Handbook. United States Army War College, 2015.

[14] War Gamers’ Handbook. United States Naval War College.

[15] A Brief History of Naval Wargames, 2013.

https://news.usni.org/2013/09/24/briefhistory-naval-wargames.

[16]Revitalizing Wargaming is Necessary to Be Prepared for Future Wars,2015.http://warontherocks.com/2015/12/revitalizing-wargaming-is-necessaryto-be-prepared-for-future-wars/.

[17] The Return of Wargaming: How DoD Aims to Re-Imagine Warfare, 2015. https://www.govtechworks.com/thereturn-of-wargaming-how-dod-aims-tore-imagine-warfare/#gs.6EzNn=s.

[18] S. Parikh and R. C. Durst, “Disruption tolerant networking for marine corps CONDOR,” in Proceedings of the Military Communications Conference, 2005.

[19] G. Nakamoto, H. L, and R. J, “Scalable HAPIE discovery using a DNS-like referral model,” in Proceedings of the Military Communications Conference, 2005.

[20] J. A. Stine, “Spectrum management: The killer aoolication of ad hoc and mesh networking,” in Proceedings of the IEEE Workshop on Dynamic Spectrum Access Networks (DySPAN), 2005.

[21] D. D and D. A, Architects of Advantage: The MITRE Corporation since 1958. Community Communications, 1998.

[22] W. A. Baden, D. J. Bodoh, W. A. G, and K. P. C, “SystemwideModeler: A fast-time simulation of the NAS,” in Proceedings of the Integrated Communications, Navigation and Surveillance Conference (ICNS), 2011.

[23] P. C. Kuzminski, “An improved runwaySimulator: simulation for runway system capacity estimation,” in Integrated Communications, Navigation and Surveillance Conference (ICNS), 2013, pp. 1–11, IEEE, 2013.

[24] C. Bolczak and J. Forman, “Aviation security: Nextgen flight risk profile,” in Integrated Communications Navigation and Surveillance Conference (ICNS), 2010, pp. N2–1, IEEE, 2010.

[25] P. MacWilliams and D. Porter, “An assessment of a controller aid for merging and sequencing traffic on performance-based arrival routes,” MITRE Technical Paper, MITRE Corp., McLean, VA, USA, 2007.

[26] S. Rak, M. Salisbury, and R. MacDonald, “Hla/rti data distribution management in the synthetic theater of war,” in Proceedings of the Fall 1997 DIS Workshop on Simulation Standards (97F-SIW-119), SISO, 1997.

[27] F. Kuhl, R. Weatherly, and J. Dahmann, Creating computer simulation systems: an introduction to the high level architecture. Prentice Hall PTR, 1999.

[28] E. H. Page, B. S. Canova, and J. A. Tufarolo, “A case study of verification, validation, and accreditation for advanced distributed simulation,” ACM Transactions on Modeling and Computer

Simulation (TOMACS), vol. 7, no. 3, pp. 393– 424, 1997.

[29] J. Harrington, L. Hinton, and M. Wright, “Joint training,” in Modeling and simulation support for system of systems engineering applications (L. B. Rainey and A. Tolk, eds.), ch. 15, pp. 393–414, John Wiley & Sons, 2015.

[30] L. M. Sokol, D. P. Briscoe, and A. P. Wieland, “Ntw: A strategy for scheduling discrete simulation events for concurrent execution.,” in SCS Multiconference on Distributed Simulation, pp. 34–44, 1988.

[31] F. Wieland, “The detailed policy assessment tool (dpat),” in Proceedings of the 1997 Spring INFORMS Conference, 1999.

[32] P. T. Wang, W. P. Niedringhaus, and M. T. McMahon, “A generic linear inequalities solver (lis) with an application for automated air traffic control,” American Journal of Computational and Applied Mathematics, vol. 3, no. 4, pp. 195– 206, 2013.

[33] D. W. Bauer Jr and E. H. Page, “Optimistic parallel discrete event simulation of the event-based transmission line matrix method,” in 2007 Winter Simulation Conference, pp. 676–684, IEEE, 2007.

[34] N. Johnson, S. Carran, J. Botner, K. Fontaine, N. Laxague, P. Nuetzel, J. Turnley, and B. Tivnan, “Pattern in escalations in insurgent and terrorist activity,” Science, vol. 333, no. 6038, pp. 81–84, 2011.

[35] S. L. Rosen, D. Slater, E. Beeker, S. Guharay, and G. Jacyna, “Critical infrastructure network analysis enabled by simulation metamodeling,” in 2015 Winter Simulation Conference (WSC), pp. 2436–2447, IEEE, 2015.

[36] N. Johnson, G. Zhao, E. Hunsader, J. Meng, A. Ravindar, S. Carran, and B. Tivnan, “Financial black swans driven by ultrafast machine ecology,” Available at SSRN 2003874, 2012.

[37] A. Lacher, R. Grabowski, and S. Cook, “Autonomy, trust, and transportation,” in 2014 AAAI Spring Symposium Series, 2014.

[38] R. Grabowski, R. Weatherly, R. Bolling, D. Seidel, M. Shadid, and A. Jones, “Mitre meteor: An off-road autonomous vehicle for darpa’s grand challenge,” Journal of Field Robotics, vol. 23, no. 9, pp. 811–835, 2006.

[39] R. Grabowski, L. E. Navarro-Serment, and P. K. Khosla, “An army of small robots,” Scientific American, vol. 289, no. 5, pp. 62–67, 2003.

[40] S. Easter, J. Turman, D. Sheffler, M. Balazs, and J. Rotner, “Using advanced manufacturing to produce unmanned aerial vehicles: a feasibility study,” in SPIE Defense, Security, and Sensing, pp. 874204–874204, International Society for Optics and Photonics, 2013.

[41] S. Noel, J. Ludwig, P. Jain, D. Johnson, R. K. Thomas, J. McFarland, B. King, S. Webster, and B. Tello, “Analyzing mission impacts of cyber actions (amica),” in NATO IST-128 Workshop on Cyber Attack Detection, Forensics and Attribution for Assessment of Mission Impact, Istanbul, Turkey, 2015.

[42] S. L. Rosen, C. M. Harmonosky, and M. T. Traband, “Optimization of systems with multiple performance measures via simulation: Survey and recommendations,” Computers & Industrial Engineering, vol. 54, no. 2, pp. 327–339, 2008.

[43] S. L. Rosen and S. K. Guharay, “A case study examining the impact of factor screening for neural network metamodels,” in Proceedings of the 2013 Winter Simulation Conference: Simulation: Making Decisions in a Complex World, pp. 486–496, IEEE Press, 2013.

[44] E. H. Page, L. Litwin, M. T. McMahon, B. Wickham, M. Shadid, and E. Chang, “Goal-directed grid-enabled computing for legacy simulations,” in Cluster, Cloud and Grid Computing (CCGrid), 2012 12th IEEE/ACM International Symposium on, pp. 873–879, IEEE, 2012.