DARPA启动计划帮助人类在人工智能出现意外行为时保持对自主系统的控制能力

    资料来源：美国国防高级研究计划局（DARPA）网站编译：电科小智没有对系统和环境的态势感知，人类团队成员可能就无法适应，从而导致安全性降低并威胁到任务成功。

    设计人机界面（HMI）极为必要性，其目的是使人类能够保持对高度自动化和自主系统的态势感知，以便在不可预见的情况下做出反应。

    2021年5月21日，美国国防高级研究计划局（DARPA）宣布将开展优雅可扩展性增强设计（EDGE）计划，计划旨在创建一套集成到系统设计过程中的人机界面（HMI）设计工具，并通过对这些工具进行优先排序和定向，以量化、支持、测试态势感知，而不是以牺牲态势感知为代价的认知负荷。

    EDGE计划将有助于创建人机界面系统，使操作员不仅可以监控自主系统，还可以调整其使用以满足意外情况的需要。

    一、项目背景“无论是在驾驶车辆、驾驶飞机，还是开展在部署地点的危险街道上巡逻等任务时，越来越先进的自动化和人工智能技术带来的主要好处是减少了人类的工作量并提高了安全性。

    但当出现技术故障，机器无法按照设计运行时，人机团队中的人类合作伙伴可能会很快不知所措，并试图在关键时刻了解自己的环境，尤其是当人类操作员已习惯并依赖机器功能时。

    没有对系统和环境的态势感知，人类团队成员可能就无法适应，从而导致安全性降低并威胁到任务成功。

    这一现实在近几年的现代喷气式客机坠毁事件中得以体现，造成了数百人死亡，原因是先进的自动化系统在飞行中出现故障，飞行员无法及时评估情况并作出适当反应。

    这些例子强调了设计人机界面（HMI）的必要性，目的是使人类能够保持对高度自动化和自主系统的态势感知，以便在不可预见的情况下做出反应。

    ”国防部高级研究计划局国防科学办公室EDGE项目经理巴特·拉塞尔表示，“随着高度自动化的机器和支持人工智能的系统变得越来越复杂，人机界面的发展趋势是尽可能减少人类的认知工作量。

    不幸的是，做到这一点最简单的方法是限制信息传输。

    减少工作量很重要，因为超负荷的人不能做出正确的决定。

    但是，限制信息会侵蚀态势感知，使得人工智能无法按设计运行时，操作员很难知道如何适应。

    当前的人工智能系统往往很脆弱，它们不能很好地处理意外情况，而战争是由意外情况定义的。

    ”二、项目内容EDGE设计工具将重点支持自主系统操作员的能力，他们不一定是数据科学家或人工智能专家，但工具将帮助其充分了解系统的抽象功能，以便在遇到非正常情况时能够适应并采取应对措施。

    该工具的设计人员将能够利用EDGE设计工具来创建人机界面，帮助操作员了解人工智能系统的过程及其工作模式；系统及系统外壳的状态（即它处于“舒适区”，或接近其速度、范围等的边缘）以及环境背景等因素——该因素往往是最意想不到的。

    EDGE人机界面设计工具组件将包括量化态势感知需求的模型，以实现软件工程师和人机界面设计师之间的协同设计，此外还包括可使设计加速实现并成熟的组合式设计方法，以及用于早期设计中进行实际测试和验证的人机试验界面。

    EDGE特别关注OODA循环中的观察、定位、决策，而不是行为环节，即不是关注按下按钮的速度有多快，也不是关注驾驶舱的人体工程学，而是关注其对即将到来信息的感知程度，其是否有助于操作人员充分了解系统流程、状态和机器的性能范围，以及其在非正常条件下仍能完成任务的环境。

    本文转自：中国新一代人工智能C2如何加入学会注册学会会员：个人会员：关注学会微信：中国指挥与控制学会（c2_china），回复“个人会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。

    通过学会审核后方可在线进行支付宝缴纳会费。

    单位会员：关注学会微信：中国指挥与控制学会（c2_china），回复“单位会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。

    通过学会审核后方可缴纳会费。

    长按下方学会二维码，关注学会微信