行人重识别也称行人再识别(本文简称ReID),是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术,被广泛认为是一个图像检索的子问题,其目标是给定一个监控行人图像,检索跨设备下的该行人图像。行人重识别技术在刑事侦查、智慧超市和多目标跟踪等领域都有广泛的应用。
罗浩, 姜伟, 范星, 张思朋. 基于深度学习的行人重识别研究进展. 自动化学报, 2019, 45(11): 2032-2049.
在监控视频中,由于相机分辨率和拍摄角度的缘故,通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下,ReID就成为了一个非常重要的技术。ReID有一个非常重要的特性就是跨摄像头,而不同的摄像头拍摄的行人图像可能有较大的姿态、背景、视角、分辨率、光照以及尺度等变化。
图1 行人重识别难点示例
行人重识别系统包括行人检测和行人重识别,目前行人重识别被当做一个单独的课题研究。传统的方法依赖手工设计的特征,不能适应数据量很大的复杂环境。近年来随着深度学习的发展,大量基于深度学习的行人重识别方法被提出。基于深度学习的行人重识别技术大致可以分为以下几类:
1)基于表征学习的ReID方法;
2)基于度量学习的ReID方法;
3)基于局部特征的ReID方法;
4)基于视频序列的ReID方法;
5)基于GAN的ReID方法。
图2 行人重识别系统示意图
基于深度学习的行人重识别主要的研究内容是如何让网络学习到更加鲁棒的行人特征和如何增加网络训练的数据。从特征学习的角度,又分为两个主要的流派:如何设计更加合理的损失函数以及如何设计更加丰富的局部特征。然而除了网络设计方面的改进,训练数据的数量与质量同样能够影响网络的泛化能力。基于GAN的方法通常生成高质量的行人图片,在数据增广、跨域检索、风格迁移等问题上都取得了很大的突破。
图3 GAN 网络生成行人图片示例
基于深度学习的行人重识别算法未来研究方向?随着深度学习的快速发展,近几年行人重识别的发展也非常迅速。在最流行的数据集Mar-ket1501、CUHK03、DukeMTMC-ReID 上,最高的一选(rank-1) 准确率都达到了90% ~95 %。虽然这个准确度离人脸识别还有一定距离,但是已经有了超越人类水平的趋势。不过行人重识别技术要从学术研究走向成熟应用,依然还有一些需要解决的问题。关于未来的研究方向,我们认为可以从以下几个方面进行考虑:
1)构建更加适应真实环境的高质量标准数据库;
2)半监督、无监督和迁移学习的方法;
3)构造更加强大的特征;
4)丰富场景下的行人重识别
5)深度网络的可解释性
6)行人重识别与行人检测、行人跟踪的结合。
行人重识别是计算机视觉领域的一个热门研究课题,而深度学习的发展极大地促进了该领域的研究。近几年的顶级会议ICCV、CVPR 和ECCV 上,每年都有十篇以上的行人重识别研究发表,并且绝大部分都是基于深度学习的工作。本文总结了近年来基于深度学习的行人重识别方法,从表征学习、度量学习、局部特征、视频序列和GAN 网络为切入点,进行了详细的讨论,并展望了该领域未来可能的研究方向。
作者简介
罗浩,浙江大学控制科学与工程学院智能系统与控制研究所博士研究生。2015 年获得浙江大学控制科学与工程学士学位。主要研究方向为行人重识别、多目标跟踪、深度学习、计算机视觉方向。
E-mail: haoluocsc@zju.edu.cn
姜伟,浙江大学控制科学与工程学院智能系统与控制研究所副教授。2005 年获得日本东京工业大学博士学位。主要研究方向为机器视觉、计算机图形学、机器学习,本文通信作者。
E-mail: jiangwei zju@zju.edu.cn
范星,浙江大学控制科学与工程学院博士研究生。2015 年获得浙江大学控制科学与工程学士学位。主要研究方向为行人重识别。
E-mail: xfanplus@zju.edu.cn
张思朋,2016 年获得浙江大学控制科学与工程硕士学位。主要研究方向为计算机视觉和行人重识别。
E-mail: zhangsipeng@zju.edu.cn
来源:AAS自动化学报
【喜报】2019年度国家科学技术奖揭晓,学会会员喜获四项二等奖
【重磅】2020年度国家自然科学基金项目申请与结题有关事项发布
地址:北京市海淀区中关村东路95号
邮编:100190
电话:010-82544542(综合)
010-62522472(会员)
010-62522248(学术活动)
010-62624980(财务)
传真:010-62522248
邮箱:caa@ia.ac.cn
官方微信公众号(英文)
名称:CAA OFFICIAL
微信号:caaofficial
会员微信公众号
名称:CAA会员服务
微信号:caa-member
点击“阅读原文”查看论文原文