【观点】张军平：爱犯错的智能体 – 视觉篇(五)：火星人脸的阴影

人类对外星文明的寻找和痴迷自古就有记载。所以，每每看到拍摄于外星球的照片，必然会情绪激动，试图从中获取存在外星人的蛛丝马迹。

图1(a)是一张1986年美国“海盗1号”火星探测器在火星“西多尼亚”地区拍摄的照片。如果直接对图做分析，即使用到上文讲过的先验知识，也不太容易发现什么信息。

不过，图像处理工作者多少懂点PS，会对图像先做些处理。首先，这张图像比较偏暗，先得让图像变亮点，得到图1(b)。其次，早期火星探测器拍摄的照片易受设备或其它电磁干扰影响，会在图像上产生一些白点和黑点，即图像届俗称的“盐”和“胡椒”组成的椒盐噪声，如图1(b)。这类噪声由于处在图像像素亮度的两个极端，比较容易通过图像处理技术消解，得到图1(c)。而图1(c)的亮度过于集中在灰色区域，需要用相应的技术将图像亮度的变化或动态范围扩大，以便于人类更方便感知其中的差异，于是有了广为流传的图1(d)。

（a）

（b）

（c）

（d）

图1 火星人脸的图像处理过程

图1(d)是曾经很著名的“火星人脸”。据小道消息，当年前苏联的一群“科学家”们从美国宇航局公开的网站上拿到一组火星照片，对原始图片进行类似上述的处理后便得到了这张照片。大家非常激动，因为图上有一张看似立体的人脸，眼睛、鼻子、嘴巴都非常逼真。可是按拍摄的距离和目标比例来估计，显然不可能是人力可为之，更何况有记载的人类文明从未有人去过火星。他们便推测这可能是外星人留下的遗迹。尽管美国宇航局一直强调，这只是光学和图像后处理的视觉错觉。但在当时，这种强调被认为是刻意掩盖外星文明的阴谋论。

从那时开始，媒体对火星人的幻想一直持续不断，前前后后拍过的经典电影不少。有与火星人发生战争的《火星人玩转地球》和《世界之战》，也有幻想和平相处的，如2000年拍摄的、围绕火星人脸和火星文明展开的《火星任务》。

为了能“走近科学”，答疑解惑，美国宇航局后来又做了几次火星探索。1998和2001年对火星人脸位置进行了再次侦测。从发回的照片看，“火星人脸”只是一座普通的山丘，如图2(a)-(c)所示。但由于当时火星正值多云天气，照片效果不佳，大众并不认可其结论。2015年7月，欧洲宇航局“火星快车”探测器飞越火星“人脸”上空时，拍下几幅高清晰照片。其拍摄的3D成像照片清楚地呈现了火星人脸的地形，如图2(d)所示。它表明在其他角度观察“火星人脸”时，并没有任何人脸的特征在上面，只是自然界腐蚀的结果而已。

图2  不同年代、不同角度下的火星人脸

通过这些努力，多少打消了大家对火星人的幻想。2015年的电影《火星救援》更是把火星描绘成荒无人烟的沙漠。主人公马克因意外不得不独自火星上生存，在绝对的孤独中只能靠刺激感官的摇滚和迪斯科音乐来振作精神。比如，他在改装战神四号准备逃离火星时，听着与披头士齐名的、ABBA乐队1974年成名曲“Waterloo”(滑铁卢)。

不过，上个月底(2018年7月30日)在火星南极发现了巨大的地下湖，又让人对火星生命产生了新的希望和联想。

然而，不管有没有火星人，“火星人脸”的视觉错觉来源于两个因素，一是人对人脸的先验知识，另一个是阴影帮助人们建立的立体视觉。

阴影是日常生活最常见的。太阳升起来，照在桑干河上，河边的景物便有了影子。                            

图3 阴影的形成与分类[1]

一般来说，阴影有四类，如图3所示。光照在物体上，被物体完全遮挡在地面形成的阴影称为全影(Cast Shadow)；由于光源大小差异在全影以外形成的阴影称为半影(Penumbra)；物体表面因光源变化而导致光的强弱变化，未被遮挡部分称为阴影(Shading)，而被遮挡部分称为附着阴影(Attached Shadow)。另外，如果把阴影的类型作为课堂习题，学生回答不上来拿不到满分的时候，说不定还会增加一个心理阴影。

阴影对人的认知、人工智能的发展有着不可忽视的影响，利弊共存。

首先，人对阴影的认知，并非与生俱来的。1到2岁的小孩发现脚下连着个影子时，并不会马上明白这只是光学现象，反而可能会因为甩不掉而产生短暂的恐惧感。成语中的“杯弓蛇影”也反映了影子对心理认知的影响。那么，未来的机器人能赋予这种“心理阴影”的认知能力吗？

其次，阴影的存在为人类识别目标的大小、远近、运动方向和数量等提供了参考，好的、坏的都有。它对许多人工智能的实际应用也造成了不小的障碍。

举例来说，今年3月的首例无人驾驶车撞人致死事件就与之有一定关系，如图4所示。从美国优步(Uber)公司公开的事故报告来看，当时优步无人车上的驾驶员把激光雷达测距仪关掉了，结果使得无人驾驶只能仅依赖摄像头获取的图像来实现自主驾驶。由于夜幕对驾驶周边环境形成的巨大阴影，推车的受害者在出现前被完全掩蔽在黑暗中。分析的结果表明，虽然视频中人被检测出来了，但低于阈值。不过，报告没有提及在阴影中人是否被检测出了。这些多少说明，阴影的存在，使得智能驾驶系统在判断目标是否为人时的确定性显著降低了。

由于确定性的降低，在等被害者从阴影中走出后，系统没能输出紧急刹车的指令，最终导致了惨剧的发生。这次事故也直接影响到了整个无人/智能驾驶行业的研究。

 图4:  优步无人驾驶事故中的4帧图片

阴影对目标的跟踪和计数的干扰也很严重。如图5(a)中，如果不能将车辆和其阴影分离，智能驾驶就无法精确定位车辆、车形和测距[2]。再如图5(b)的计数问题，如果缺乏好的阴影抑制或去除算法，则会影响对羊群的准确计数，进而可能影响某些人或智能机器人的“睡眠”。

 (a) 未进行阴影抑制的车辆检测[2]

 (b)  阴影与羊群计数

 图5 

但是，目前的阴影分离和去除仍没有特别好的人工智能和计算机视觉算法[3]。有学者将阴影和实际图像看成是两个独立变量，利用独立分量分析(Independent Component Analysis)的技术来过滤和分离阴影。也有学者希望借颜色恒常知觉(Retinex)来设计算法去除阴影[4,5]。最近的深度学习技术，有考虑采用深度卷积网的[6]，也可以考虑采用“图像+编辑”的思路、通过生成式对抗网络或自编码网络来去除阴影。然而，由于阴影的多样性，要构造阴影去除的终极算法并不容易。更何况，这项研究在人工智能和计算机视觉领域本就属于小众研究。

 另外，去除阴影也并非都是好的，因为阴影会帮助人们形成立体视觉，以及对观测目标距离的正确判断。在这种情况下，过滤或消除阴影可能导致危险的后果，尤其在智能驾驶中。比如图6中，阴影的位置可以让人对目标的空间位置产生明显不同的判断。如果没有阴影，就很难猜测纸到底是W形状还是M形状了[1]。

图6  笔的阴影对折纸结构的帮助 [1]

值得指出的是，阴影如此有用，可将全部阴影类型均用于绘画艺术的却并不多。在绘画中，用得最广泛的是材料本身形成的阴影。而能反映物体运动和时间变化的全影(Cast shadow)则较少被使用。Jacobson和Werner曾分析了大量古代的绘画作品，发现有两幅表现这些变化的作品[7]。一幅是作者Giorgio de Chirico画的“正午的教堂”。作者用长长的阴影配合明亮、正午的天空来形成永恒(timelessness)的感觉。一幅是作者Masaceio画的“耶酥门徒犹大的故事”。他将犹大走路时形成的阴影画成透明的，通过覆盖在路边信徒的身上来表达圣经中曾经描述过的神迹：犹大经过的地方，路边虔诚信徒的顽疾会不治而愈。

图7 正午的教堂(左) 和犹大用影子治愈信徒的故事(右)[7]

尽管全影能提供目标的运动信息，Jacobson和Werner认为这一信息很难在绘图中被表现出来，因而全影在绘画中是可有可无的(expendable)[7]。

类似地，在人工智能和计算机视觉领域，基于静态阴影的研究相对多些，但基于阴影的变化来估计目标的距离、形状、运动速度等的文章则少了很多。考虑到他能提供的丰富辅助信息，相信未来会有更多的学者会把动态阴影的分析加入到人工智能的研究中。

阴影对自然界的生物也很重要。以昆虫为例，昆虫的背壳往往比其腹部要黑得多。当其停在某处时，暗的背壳靠近光， 形成的阴影可以有效的掩盖其腹部体征。按格式塔统一论，昆虫就变成一个整体，其立体感消失，变得完全不像一个固体的、三维的“东西”, 从而达到伪装的效果 [8]。

  这一特性实际上也可以为军事领域的间谍和窃听昆虫所利用。尤其在不久的将来，随着人工智能研究的快速发展，未来仿生机器人的体积将会更加微型化时。

 那么，要发现这类仿生机器人，一个直接的办法就是设法还原甚至放大其原有的立体感。一个最简单的办法就是利用光线来主动重建阴影。本人常受蚊虫困扰，不堪之余就会用强光手电筒来寻找隐藏在床角、椅凳下的蚊子，屡试不爽。原因也简单，强光能破坏蚊子的“阴影”，还原其立体结构，甚至可以放大蚊子的尺寸。成功消灭蚊子的时候，偶尔也会想想，如果能将其重建阴影的过程自动化，说不定就能用于未来人工智能战争下的反窃听。这种方法的好处是不用增加昂贵且复杂的设备、简单易行，随后的微小目标识别只需用常规的目标检测技术即可实现。

不难看出，阴影对人类的认知和人工智能都有着很重要的作用，但要利用好它却并非易事。除了阴影外，还有什么简单因素，也会让爱犯错的智能体继续犯错呢？

参考文献：

1. P. Mamassian, D. C. Knill and D. Kersten. The perception of cast shadows. Trends in Cognitive Sciences, vol. 2, no. 8, 287-295, 1998.

2. A. Prati, I. Mikic, C. Grana and M. M. Trivedi. Shadow Detection Algorithms for Traffic Flow Analysis: A Comparative Study. in Proc. 4th IEEE Int. Conf. Intelligent Transportation Systems, Oakland, CA, Aug. 2001.

3. A. Sanin, C. Sanderson and B. C. Lovell. Shadow detection: A survey and comparative evaluation of recent methods. Pattern Recognition, vol. 45, issue 4, pages 1684-1695, 2012.

4. G. D. Finlayson, S. D. Hordley, and M.S. Drew. Removing shadows from images using Retinex. IS& TISID Tenth Color Image Conference. 2002.

5. E. H. Land. The Retinex theory of color vision. Scientific American, pages, 108-129, 1977.

6. S. H. Khan, M. Bennamoun, F. Sohel, and R. Togneri. Automatic shadow detection and removal from a single image. IEEE TPAMI, vol. 38, no. 3, 431-456, 2016.

7. J. Jacobson, and S. Werner. Why cast shadows are expendable: Insensitivity of human observers and the inherent ambiguity of cast shadows in pictorial art. Perception, vol. 33, pages. 1369-1383, 2004.

8. R. R. Behrens.  On Max Wertheimer and Pablo Picasso: Gestalt Theory, Cubism and Camouflage. Gestalt Theory: Journal of the GTA, vol. 20, no. 2, 109-118, 1998.