【深度】基于深度学习初始位姿估计的机器人摄影测量视点规划

大尺度复杂对象的数字化模型通常难以获得，采用光学扫描仪、激光雷达等方式成本昂贵、工作量大、操作过程复杂。而在航空航天、机器工程、汽车交通、生物医学等众多领域，对象的真实三维形貌对于制造装配的引导、数字化建模与设计优化等方面具有重要实际作用。基于纯视觉的三维数据获取满足便携性和大尺度等需求，同时对于促进视觉与其它领域的交叉融合具有重要意义。

机器人摄影测量系统组成包括：机器人本体、视觉末端、计算机及控制器等。视觉系统固定安装在机器人末端执行器，机器人作为执行机构，搭载单目相机达到指定位置, 并以优化的视角和路径获取被测对象图像序列，然后按照摄影测量理论进行三维重建。机器人摄影测量优势在于替代人工拍摄、保证拍摄视点接近理论设计值、自动化程度高。

机器人摄影测量系统示意

机器人扫描与位姿估计

在计算机视觉领域，利用深度学习技术从图像中识别目标物体、恢复三维形貌、估计6D位姿等技术蓬勃发展。人脸识别已经成功应用于门禁、在线支付、身份验证等方面，提高了生活质量。从单幅图像中估计物体的位姿包含了目标识别与位姿计算，由于单幅图像没有深度信息，如果能从单幅图像直接估计位姿将减小姿态测量的成本和操作空间。

深度学习多目标识别

飞机6D位姿估计

在机器人摄影测量系统中，机器人依赖于离线编程，现场标定、视点规划及轨迹规划需离线完成，受限于实际工作状态，即使完成了测量轨迹的规划也不能保证实际运行的准确性。得益于单目摄影测量技术和单目位姿估计技术，提出融合了深度学习位姿估计的机器人摄影测量系统最优拍摄视点和最优扫描路径的方法。技术路线如图所示。

融合位姿估计的机器人摄影测量技术路线

利用YOLO+PNP的位姿估计网络，实现从单幅图像进行目标物体的初始位姿估计。初始位姿估计替代了传统现场标定过程，对被测对象摆放状态没有任何限制。同时，位姿估计替代了摄影测量中相机拍摄视角依赖公共特征中转、本质矩阵鲁棒估计消耗大等过程，提升了摄影测量的效率。基于三角面片模型，提出一种单目相机2D-3D映射的被测对象可见性矩阵估计方法，对面片的可见性进行标记，根据深度原则和唯一性原则判断该拍摄视角下面片的可见性；建立线性规划模型优化最优拍摄视角，提出最大可重建概率的熵权法对每个拍摄视角的可重建性进行加权；建立TSP模型对获得的优化视角进行最优路径规划，获得机器人扫描的最优路径。为验证算法有效性和精度，本文利用英国诺丁汉大学制造测量实验室的3D打印件进行姿态估计和摄影重建。实现过程和结果如图所示。

图中显示了三种被测对象的重建过程。包括原始对象示意，6D位姿估计的可视化结果，训练过程，轨迹规划结果，摄影重建模型

目前，深度学习技术在计算机视觉领域应用广阔，但是在工业领域仍需积极探索。视觉测量等多学科交叉融合促进了传统机械自动化向智能化转变升级。本文方法促进了机器人摄影测量系统现场测量的智能性、灵活性和自动化程度，对工业摄影测量具有重要的推进意义。

（欢迎您点击左下角的“阅读原文”，了解更多文章内容！）