让“不可见”可见！利用无线电波，MIT团队让机器视觉穿透墙壁和黑暗，不会侵犯隐私

大数据文摘

大数据文摘出品

编译：林苗、Aileen

我们知道，机器视觉的识别能力非常令人惊艳，它具有识别个体、人脸以及其他物体的超人类能力。

尽管在动作识别方面的绩效还比不上人类，但机器视觉已经能够识别各种不同类型的动作。

然而，机器视觉也是有一定的局限性的。当个体、人脸、物体被部分遮挡时，机器视觉的作用就很有限了。

就像人类一样，光线大幅度变暗的时候，机器的视觉会有一瞬间的“失明”。

但是，有一部分电磁频谱却并不会受到这种遮挡的限制。比如，无线电波并不会因为现在是白天还是黑夜而发生改变。无线电波能轻易地穿透墙壁，并能被人体传播和反射。

事实上，研究人员已经探索发现了各种方法，来利用Wi-Fi无线电信号来查看门后的东西。

当然，这些无线电视觉系统也是有缺点的。比如，分辨率很低、图像嘈杂、反射过多不集中，这些问题使得人们很难通过无线电视觉系统去理解正在发生的事情。

从这个角度来说，无线电图像和可见光图像具有互补的优缺点。因此，我们可能可以利用其中一种方法的优势，来克服另一种方法的缺点。

在可见光图像与无线电波图像之间建立关联

MIT的Tianhong Li团队已经找到了一种方法，能够用可见光图像来训练无线电视觉系统，帮助识别人类动作。这种新型的无线电视觉系统能够在可见光成像失败的情况下，看到个体的状况。

论文链接：

http://arxiv.org/abs/1909.09300

Li及其团队表示：“我们引入了一个神经网络模型，可以在光线不足的条件下，穿透墙壁或者遮挡物，检测到人类的工作。”

Li团队的方法有一个非常巧妙的小窍门。他们的基本思想就是利用可见光和无线电波，同时记录同一场景的视频图像。机器视觉系统已经能够从可见光图像中识别人类的行为。因此，下一步就是要在可见光图像与同一场景下的无线电波图像之间，建立关联。

在这个学习过程中，最困难的地方在于要对人类的运动进行识别，把人与周围环境区分开来。因此，Li及其团队引入了一个中间步骤，让机器产生一个简笔画模型，来还原人在场景中的动作，并输入到神经网络中。

Li及其团队表示，“通过将输入图像转换为基于棍状骨架的中介表征，我们的模型可以利用基于视觉和基于无线电频率的数据集进行训练，并能让这两种方法互惠互利，达到共赢的效果。”

通过这种方式，机器视觉系统既能利用可见光来识别动作，也能利用无线电波识别在黑暗中、或者在遮挡物后的相同的动作。

研究人员表示：“在可见光和看不见人（黑暗或被遮挡）这两种场景中，我们的模型能够达到同等级别的识别准确性。”

不会侵犯到个人隐私

这是一项非常有潜力、非常有趣的工作，尤其是在可见光成像失败的场景中，如光线过暗或者关门之后。

这项工作也还是有一些其他的应用问题，其中之一就是在可见光成像的场景中，人们本来就是能被看到的，而利用无线电来识别黑暗中或被遮挡的物体就涉及到隐私问题了。

不过不用紧张，无线电系统尚未达到可以识别人脸的分辨率。在不识别面孔的情况下，对人的动作进行识别，并不会引起对隐私被侵犯的恐惧。

Li及其团队认为：“我们可以将这种动作识别方法引入家庭生活，将其整合到智能家居系统中。”

比如，可以监控老年人的居所，以防万一发生摔倒之类的意外时，可以提醒采取适当的措施；而且，这种应用并不会对隐私造成太大风险。