【深度】中科院自动化所徐德研究员等：机器人操作技能模型综述

秦方博, 徐德. 机器人操作技能模型综述. 自动化学报, 2019, 45(8): 1401-1418.

机器人技能学习是人工智能与机器人学的交叉领域，目的是使机器人通过与环境和用户的交互得到经验数据，基于经验数据自主获取和优化技能，并应用于以后的相关任务中。传统的机器人技能是硬编码的，依赖于专家的编程调试，只能用于固定的任务。相比之下，技能学习可以使机器人的任务部署更加灵活快捷和用户友好，而且可以让机器人具有自我优化的能力。

技能学习的类型主要包括示教学习（learning from demonstration），强化学习(reinforcement learning)，以及二者的结合。以下两个视频分别给出了机器人基于示教学习和强化学习获取操作技能的例子。

非对称双手协调操作技能与示教学习（瑞士洛桑联邦理工学院）

机器人单手操作技能与强化学习（美国加州大学伯克利分校）

在现实的工业与科研应用中，机器人操作技能模型的应用非常广泛，如下图中的子图（a-c）分别展示了装配、开门和手术的操作技能。凡是需要完成操作任务的场合，都需要相应的技能。工业机器人面临更高的工艺指标和更复杂的工艺流程，协作机器人面临着与人交互协作所需的安全性和灵活性要求，服务机器人面临人类生活环境中物体非结构化、排列不规则和动态变化程度高的难题，手术机器人自主完成完整的技能具有很大的难度，但是使机器人学习局部的手术技能并在监督下自主执行该局部技能，具有很好的前景。

技能模型是技能学习的基础和前提，决定了技能效果的上限。技能学习方法主要用于学习和优化技能模型的参数。如果没有好的技能模型，再好的学习算法也无法实现好的技能效果。换言之，设计具有紧凑性、综合性、稳定性、安全性、可学习性和复杂性的机器人操作技能模型，是使机器人获取、学习和优化这些技能的关键。

机器人系统从下到上的层级分别是机器人本体、感知与控制模块、技能模型与技能学习。机器人本体与物理环境直接交互，具有一系列执行器与传感器。感知与控制模块是机器人本体与技能模型之间的中介层，传感器对物理环境的原始观测信号，经过感知模块被加工为感兴趣的状态变量，技能模型所产生的运动指令，经过控制模块来产生机器人本体的运动。技能模型进行决策、规划和预测的高层信息处理，其输入输出往往与机器人本体不直接联系。特殊地，策略模型中的端到端模型可以实现传感器原始信号到底层驱动信号的直接映射，即将感知与控制模块也包含在技能模型中。技能模型被认为是在一定范围内通用的，一定的参数配置可将技能模型实例化为具体的技能。

《机器人操作技能模型综述》首先介绍了机器人操作技能模型的定义、意义与基本性质，并对基于流程、运动、策略和效果预测四种模式的技能模型分别进行阐述，最后对机器人操作技能模型的未来发展趋势做出了如下展望：

1) 高效学习：日常生活中的很多技能，人类只需要观察一次演示过程，甚至根据一段技能流程描述的语句，即可获取该技能。而机器人需要从若干次演示中才能获取一个较为简单的技能，例如学习刨削蔬菜需要18次示教。谷歌的研究者利用14个机械臂耗时2个月收集了超过800,000次物体抓取技能的大量数据，并利用这些数据训练模型，使结果执行抓取的成功率达到82.5%。

2) 模型解释：机器人技能模型如果具有可解释性，则可以让人类更好地理解机器人的行动，确保机器人的行动是安全而合理的，当机器人运行出现问题时，人类可以基于技能模型寻找内部原因。相反，如果技能模型是“黑箱式”的，例如，深度神经网络策略模型有92,000个参数，没有有显式的物理意义，所以人类无法理解机器人学到了什么，也无法预知机器人技能是否是安全的，只能通过来实验来验证，这种验证工作在实际应用中往往是不可行的。以行为树为代表的流程模型具有一定的可解释性，可以被人类直观理解，运动模型也可以通过轨迹生成来直观展示出技能效果。以神经网络为代表的策略模型，虽然具有很强的表达能力和通用性，但是无法被用户直观理解，也难以通过数学分析来评估该模型。

3) 统一框架：人工智能中的视觉、语音等任务，往往具有统一的任务框架，不依赖于具体的硬件平台，“众人拾柴火焰高”，典型例子是视觉任务中具有若干的大型公共数据集如ImageNet，使世界各地研究者具有了统一的数据资源和评价指标，解决同一个核心问题并互相对比竞争，显著促进了视觉技术的进步。机器人技能学习任务，面临着机器人平台和任务指标的差异性问题，研究者不仅要考虑技能模型设计，还要考虑场景设计、数据收集、感知与控制模块开发的问题，从而对相关研究的规模和速度带来一定限制。

4) 云机器人：互联网技术在最近十年内得到了爆发式增长，对机器人领域也产生了积极影响。云技术为机器人提供了互联网的数据和计算资源，可以支持和提高机器人的技能执行，而不是仅仅依赖于机器人自身有限的计算能力和存储容量。云技术可以提供大数据、云计算、集体机器人学习和人力计算，从而实现机器人共享大量的图像、轨迹、地图、控制策略数据资源，并在执行技能时将一部分复杂计算在云端执行，而且人工参与可实现众包数据分析与标注。平行机器人的概念于2015年被首次提出：“平行机器人是物理机器人、软件机器人、仿真系统、物联网、数据库、广义的人工智能技术等相结合而成的机器人控制与管理系统。”其中物理机器人在物理、网络空间中执行具体的任务技能，而软体机器人在网络、交互社会空间中执行搜索、推理、决策、优化等知识自动化的任务。

5) 类脑智能：类脑智能是以计算建模为手段，受脑神经和人类认知行为机制启发，并通过软硬件协同实现的机器智能。人脑能够使人类在新的环境和新的任务中自动获取技能，并在复杂的动态的环境中执行技能并展现出长时间稳定和低功耗的优点，人类甚至能在自身受到损伤时仍然保持技能的鲁棒性。近年来通过多学科交叉实验研究，在脑区、神经蔟、神经元等不同尺度下研究人脑的工作机制，可以对机器人技能建模具有更多的启发。机器人所展现的技能水平仍然与人类相差甚远，在流程层面，人类可以掌握外科手术、烹饪食物等具有很大不确定性和复杂流程的技能，在物理运动层面，人类既可以精细地操作缝衣针，也可以用足够的准确度和适当的力量击打乒乓球。如何使机器人操作技能更接近人类水平，将是一个具有极大挑战的长期目标。

秦方博, 中国科学院自动化研究所助理研究员. 主要研究方向为机器人视觉感知，机器人技能学习，精密装配机器人，深度学习。

E-mail: qinfangbo2013@ia.ac.cn

徐德，中国科学院自动化研究所研究员。主要研究方向为机器人视觉测量, 视觉控制, 智能控制, 视觉定位, 显微视觉, 微装配. 本文通信作者。

E-mail: de.xu@ia.ac.cn