一种用于城市工况下的智能汽车多目标跟踪方法

• 摘要：

  本发明公开了一种用于城市工况下的智能汽车多目标跟踪方法,将所拍到的车辆周围视频帧经复合特征提取网络提取特征信息后,将特征分别输入检测分支与重识别分支.将检测分支的检测结果与重识别分支结果输入至跟踪模块,完成跟踪.其中复合特征提取网(RFEN,Recombination feature extraction network)由下采样模块、基础卷积模块、层模块、上采样模块构成,其中,下采样模块和基础卷积模块构成了复合特征提取网的输入模块,层模块和上采样模块均为多个,彼此交互处理.本发明设计的复合特征提取网络模型,相较于现有的Resnet、Dla‑34、HreNet、GoogLeNet等,充分提取了目标信息,提高了跟踪算法的推理能力和抗干扰能力.既保留了检测与跟踪并行的跟踪策略的高速度优势,又大幅度提高了跟踪的精度.

• 专利类型：

  发明专利

• 申请/专利号：

  CN202010657177.4

• 申请日期：

  2020.07.09

• 公开/公告号：

  CN111951300A

• 公开/公告日：

  2020-11-17

• 发明人：

  陈龙 朱程铮 蔡英凤 王海 李祎承 陈小波 孙晓强 刘擎超

• 申请人：

  江苏大学

• 主分类号：

  G06T7/246(2017.01),G,G06,G06T,G06T7

• 分类号：

  G06T7/246(2017.01),G,G06,G06T,G06T7,G06T7/246

• 主权项：

  1.一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,将车辆周围视频帧经复合特征提取网络提取特征信息后,将特征信息分别输入检测分支模块与重识别分支模块进行处理,将检测分支模块的检测结果与重识别分支模块的结果输入至跟踪模块,完成多目标跟踪. 2.根据权利要求1所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述多层特征提取网络的设计方法包括如下: S1:设计基础卷积层:基础卷积层包括一个卷积层conv2d; 其中,卷积层Conv2d的卷积核尺寸默认为3*3; S2:设计直连接选择模块:直连接选择模块包括一个选择器,一个直连接层,一个基础卷积模块、一个批量归一化层; 其中,基础卷积模块的卷积核尺寸为3*3,填充为1,步长为2; S3:设计基础结构模块:基础结构模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块; 其中,两个基础卷积层的输出通道数均等于输入通道数; S4:设计上采样模块:上采样模块由输入至输出依次包括可变形卷积核、批量归一化层、Relu激活层、反卷积核、批量归一化层、Relu激活层; 其中,可变形卷积核的卷积核尺寸为3*3,步长为1,填充为1,输出通道数等于输入通道数;反卷积核的卷积核尺寸为4*4,步长为2,填充为2; 其中,所有的上采样模块的输出通道数均指反卷积核的输出通道数; S5:设计下采样模块:下采样模块包括两个基础卷积层、两个批量归一化层、两个Relu激活层和一个直连接选择模块; 其中,第二个基础卷积层的输出通道数等于输入通道数; 其中,所有的下采样模块的输出通道均为第一个基础卷积层的输出通道; S6:设计层模块与结构体:层模块包括一个下采样模块与多个结构体,并且下采样模块与多个结构体之间为串行组合;其中,结构体由两个基础结构模块串行构成; S7:设计复合特征提取网:复合特征提取网包括下采样模块、基础卷积模块、若干层模块、若干上采样模块. 3.根据权利要求2所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述S7中设计复合特征提取网的具体设计如下: 首先,构建输入模块,输入模块由一个下采样模块与一个基础卷积模块串行构成,其中,下采样模块,其输出通道数为16,基础卷积模块,输出通道数为64; 之后,构建一个含有3个结构体的层模块1;其中,下采样模块的输出通道数为64; 之后,构建一个含有4个结构体的层模块2;其中,下采样模块的输出通道数为128; 之后,构建一个含有6个结构体的层模块3;其中,下采样模块的输出通道数为256; 之后,构建一个含有3个结构体的层模块4;其中,下采样模块的输出通道数为512; 之后,在层模块1后,另插入一个上采样模块1,其输出通道数为32; 之后,在层模块2后,另插入一个上采样模块2,其输出通道数为64; 之后,在层模块3后,另插入一个上采样模块3,其输出通道数为128; 之后,在层模块4后,另插入一个上采样模块4,其输出通道数为256; 之后,将上采样模块4与层模块3的输出相加并输入上采样模块5,其输出通道数为128; 之后,将上采样模块5与层模块2的输出相加并输入上采样模块6,其输出通道数为64; 之后,将上采样模块6与层模块1的输出相加并输入上采样模块7,其输出通道数为32; 之后,将上采样模块3与层模块2的输出相加并输入上采样模块8,其输出通道数为64; 之后,将上采样模块8与层模块1的输出相加并输入上采样模块9,其输出通道数为32; 之后,将上采样模块2与层模块1的输出相加并输入上采样模块10,其输出通道数为32; 最终,将上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出相加并输出. 4.根据权利要求3所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述将车辆周围视频帧经复合特征提取网络提取特征信息的具体方法包括如下: 设在t时刻,视频输入图像帧为I,I∈R3*H*W,H、W、3分别为输入矩阵的高、宽、通道数,将I输入复合特征提取网,通过以下计算获得图像的特征,具体地: 对于直连接选择模块,根据计算公式1获得直连接选择模块的信号输出值: 其中,L表示为输入值,L∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数;L'表示该模块的输出值,L'∈RC'*H'*W',C'为输出矩阵的通道数,dcc()表示为直连接选择模块的计算,bn()为批量归一化计算,conv()表示二维卷积计算; 对于下采样模块,根据公式2计算出下采样模块的信号输出值: D'＝ds(D)＝relu(bn(conv2(relu(bn(conv1(D)))))+dcc(D)) 公式2 其中,D为输入值,D∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数.D'表示该模块的输出值,Y'∈RC'*H'*W',输出通道值为C',ds()表示为下采样模块的计算,elu()表示relu激活函数,bn()为批量归一化计算,conv()表示二维卷积计算,其中conv1()表示为第一个卷积层的卷积计算,conv2()表示为第二个卷积层的卷积计算,dcc()为直连接选择模块的计算; 对于基础结构模块,根据公式3计算出基础结构模块的信号输出值: B'＝bs(B)＝relu(bn(conv2(relu(bn(conv1(B)))))+dcc(B)) 公式3 其中,B为输入值,B∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数.B'表示该模块的输出值,B'∈RC'*H'*W',H'＝H,W'＝W,输出通道值为C',()表示为基础结构模块的计算; 对于上采样模块,根据公式4计算出上采样模块的信号输出值: U'＝ups(U)＝relu(bn(convt(relu(bn(DCN(U)))))) 公式4 其中,U为输入值,U∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数,U'表示该模块的输出值,U'∈RC′*H′*W′,H'＝2*H,W'＝2*W,输出通道值为C',ups()表示为上采样模块的计算,DCN()表示变形卷积,convt()表示反卷积计算; 对于层模块,根据计算公式5计算出层模块的信号输出值: 其中,La为输入值,La∈RC*H*W,H、W、C分别为输入矩阵的高、宽、通道数,La'表示该模块的输出值,La'∈RC'*H'*W',输出通道值为C',LA()表示为层模块的计算,s()为基础结构模块的计算,表示进行了n次基础结构模块的迭代计算; 对于输入模块,根据公式6计算出输入模块的信号输出值: I'＝conv(ds(I)) 公式6 其中,I为输入图像,表示该模块的输出值,I'∈R64*H'*W',输出通道值为64; 层模块1的输出为La1＝LA(I'),层模块2的输出为La2＝LA(La1),层模块3的输出为La3＝LA(La2),层模块4的输出为La4＝LA(La3);其中, 上采样模块1的输出值为up1＝ups(La1),上采样模块2的输出值为up2＝ups(La2),上采样模块3的输出值为up3＝ups(La3),上采样模块4的输出值为up4＝ups(La4);其中, 得到上采样模块5的输出值up5＝ups(up4+La3),上采样模块6的输出值up6＝ups(up5+La2),上采样模块7的输出值up7＝ups(up6+La1);其中, 得到上采样模块8的输出值up8＝ups(up3+La2),上采样模块9的输出值up9＝ups(up8+La1);其中, 得到上采样模块10的输出值up10＝ups(up2+La1);其中, 最终,由公式T＝(up7+up9+up10+up1)可得复合特征提取网的输出特征; 其中,T为多层特征提取网的输出特征值,up7、up9、up10、up1分别为上采样模块7、上采样模块9、上采样模块10、上采样模块1的输出值, 5.根据权利要求1所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述检测分支模块的设计方法包括如下: 所述检测分支模块由中心点判断分支、尺寸判定分支并行组成; 其中中心点判断分支包括基础卷积模块1、一个批量归一化层、一个Relu激活层、两组基础结构模块、基础卷积模块2串行构成;其中基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为1; 其中,尺寸判定分支依次由基础卷积模块1、批量归一化层、Relu激活层、基础卷积模块2串行构成;其中,基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为2. 6.根据权利要求5所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述重识别分支模块的设计方法包括如下: 重识别分支由一个基础卷积模块1、一个批量归一化层、一个Relu激活层、一个基础卷积模块2串行构成;其基础卷积模块1的输出通道数为256,基础卷积模块2的卷积核尺寸为1*1,输出通道为256. 7.根据权利要求6所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述将特征信息分别输入检测分支模块与重识别分支模块进行处理,生成分支信号的方法包括如下: 将复合特征提取网的输出特征T复制成三份,得到T1＝T2＝T3＝T,将T1、T2、T3分别输入中心点判断分支、尺寸判定分支、重识别分支得到各分支的信号; 对于中心点判断分支,根据计算公式7计算出中心点判断分支的信号输出值: hp＝dp(T1)＝conv2(bs(bs(relu(bn(conv1(T1)))))) 公式7 其中,T1为输入值,hp表示该分支的输出值,dp()表示为中心点判断分支的计算,conv1()表示第一个基础卷积模块的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算,bs()表示基础结构模块的计算,conv2()表示第二个基础卷积模块的卷积计算; 对于尺寸判定分支,根据公式8计算出尺寸判定分支的信号输出值: box＝wh(T2)＝conv2(relu(bn(conv1(T2)))) 公式8 其中,T2为输入值,box表示该分支的输出值,wh()表示为尺寸判定分支的计算,conv1()表示基础卷积模块1的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算,conv2()表示基础卷积模块2的卷积计算; 对于重识别分支,根据公式9计算出重识别分支的信号输出值: id＝reid(T3)＝conv2(relu(bn(conv1(T3)))) 公式9 其中,T3为输入值,id表示该分支的输出值,reid()表示为重识别分支的计算,conv1()表示基础卷积模块1的卷积计算,relu()表示relu激活函数,bn()为批量归一化计算,conv2()表示基础卷积模块2的卷积计算. 8.根据权利要求7所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,还包括根据分支信号生成检测信号的方法,具体如下: 将中心点分支输出信号hp进行sigmoid激活,得到激活值hp',即hp'＝sigmoid(hp),其中,sigmoid()表示sigmoid激活函数,通过k项最大值算法(topk),得到hp'的前k个最大值topk_value、最大值所对应的索引topk_index;将最大值所对应的索引topk_index除以hp的第4维度的值即可得到中心点位于图片中的y轴坐标Y＝{y1,y2…yn},n表示有n个物体;最大值所对应的索引topk_index除以hp的第4维度的值所得的余数即为中心点位于图片中的x轴坐标X＝{x1,x2…xn};将y轴坐标Y＝{y1,y2…yn}进行维度变换,尺寸变为(1,k,1);x轴坐标X＝{x1,x2…xn}进行维度变换,尺寸变为(1,k,1); 将尺寸判定分支信号box按索引topk_index进行维度的交换与聚合得到box',将其进行维度变换,尺寸变为(1,k,2),由以下公式,可得物体边界框的左上角(xl,yl)与右下角的坐标(xr,yr): 将边界框进行第1维度聚合,可得边界框集合bbox; 最终,将边界框集合bbox与重识别分支信号按第4维度进行堆叠,即可得检测信号dec. 9.根据权利要求8所述的一种用于城市工况下的智能汽车多目标跟踪方法,其特征在于,所述跟踪模块具体设计如下: 读取在上一帧中未被关联的检测信号dec_loss,将上一帧的检测信号dec'与未被关联的检测信号dec_loss按第4维度进行堆叠,得到新的前序检测信号dec'; 将检测信号dec与前序检测信号dec'进行马氏距离计算: 可得前序检测信号dec'与当前检测信号dec的物体相似度,由此组成匹配矩阵,其中,S为协方差矩阵,由计算公式可得: 其中,表示dec的平均值;表示dec'的平均值,k表示两个检测信号第4维度的最大值. 随后使用匈牙利算法,设定匹配权值的阈值为0.7,完成跟踪的关联;当匹配权值小于0.7时,不进行关联.