前沿|《哈利波特》活了！华盛顿大学神奇魔法，让照片中的人走出来 

来源：机器人大讲堂

原标题：前沿|《哈利波特》活了！华盛顿大学神奇魔法，让照片中的人走出来 | CVPR 2019

在系列电影《哈利波特》中，经常可以看到这样的场景，形形色色的人可以自由地从现实世界走进画中，也能从画中走出来。现在，华盛顿大学的计算机科学家们将这种魔法般的场景带到了现实中。

这个算法名为“照片唤醒”，可以从二维照片或艺术作品中提取出人物，让他们动起来，跑到画框之外。人们还可以使用增强现实工具观看生成的3D动画。研究人员将在6月19日举行的CVPR 2019上展示这个成果。本研究论文的预印本去年12月在ArXiv上发布，引起了媒体的广泛关注。

“这是计算机视觉中一个非常困难的根本问题，”论文共同作者、威斯康星大学的Paul G.Allen和计算机科学与工程学院副教授Ira Kemelmacher-Shlizerman说。 “其中的一大挑战是输入数据只来自一个摄像头，因此画中人物的一部分是看不见的。我们的研究将这个开放性问题上取得的技术进步与艺术创意的可视化结合起来。”

以前，研究人员认为只用一张照片制作一个人的动画是不可能实现的。

“以前的一些研究试图从多个视角创建一个3D角色，”艾伦学院教授，论文共同作者Brian Curless说。 “但仍然无法让人物活生生地动起来，无法让他们跑出一个场景之外，无法将AR带入其中。这次只用一张照片就能得到一些令人眼前一亮的结果，这真的是个惊喜。”

下面来看一段介绍视频：

研究人员表示，照片唤醒技术的可以应用在多个领域。比如可以为游戏玩家以新的方式打造和自己非常相似的3D形象。艺术馆中的游客可以与馆中的绘画作品展开前所未有的互动——比如坐下来，与蒙娜丽莎喝杯茶，或者让孩子们的画作中的人走出来。论文中给出了几个例子，比如金州勇士队的库里就从照片中的篮球场上跑了出来。

球场上的斯蒂芬·库里跑向照片外

为了使这种“魔法”成为现实，研究人员首先识别照片中的人物，并制作身体轮廓的面具。从那里，然后将3D模型与受试者的身体部位进行匹配。接下来的一步由算法完成：为了使模型的轮廓和形变情况看起来和照片中的人更加相似，会将3D的人模型再投射回2D平面上。

“我们很难精确地操控3D模型，”共同作者艾伦学院的博士生Chung-Yi Weng说道。 “也许能够实现粗略地控制，但是当为角色设置动画时，任何偏差和错误都会表现的很显眼。所以我们必须找到一种完美的处理方法，这在2D环境中更容易实现。”

画家马蒂斯的作品“伊卡洛斯”（1944）

"照片唤醒"服务会存储每个像素的3D信息：包括距离摄像头或艺术家的距离，以及人的关节的连接形式和细节。在对模板进行3D调节，成功匹配真人的姿势和形状之后，算法就会在纹理背景上粘贴。算法还通过来自图像和3D模板的信息生成人的背部模型。然后利用工具将前后两侧接合在一起，形成一个能够转身活动的3D模型。

在3D形象生成完毕之后，需要由算法来设置并填充背景，确保背景中不留下空白区域部分。算法会借用图像中其他部分的信息填充模型后方的空白背景部分。

“照片唤醒”服务还允许用户使用AR工具以三维方式观看动画

目前，对于人物面向前方的艺术作品，本服务生成3D模型时最为得心应手，可以为真实人物的艺术作品和照片生成动画形象，对于一些身体被手臂遮挡的照片也可以处理，但目前还不能很好地处理双腿交叉等复杂姿势，以及身体大部分被遮挡的照片。

论文第一作者翁仲义（Chung-Yi Weng）表示，这是一种与照片实现3D互动的新方式，目前还远远算不上万能，但这可能是朝这个方向迈进的第一步。