一种基于孪生网络的智能汽车单目标跟踪方法

• 摘要：

  本发明公开了一种基于孪生网络的智能汽车单目标跟踪方法,将模板与待检测图像经由Mish‑channel‑dark网络构成的孪生网络提取后,得到其各自对应的特征信息,随后将特征信息输入至相似判断分支与质量评估分支,最后通过互相关计算确定相似度,并完成模板更新.其中Mish‑channel‑dark网络由mish卷积模块、m‑Residual模块、通道注意力模块以及结构体构成.本发明提高了跟踪算法的推理能力和抗干扰能力,加入了通道注意力(channel attention)模块,显著提高网络的跟踪精度,降低了目标消失再出现时检索对象的时间,有效的提高了网络的实用性.本发明设计的孪生网络性能较好,在部署时仅需较低配置即可达到较高的速度.

• 专利类型：

  发明专利

• 申请/专利号：

  CN202010459367.5

• 申请日期：

  2020.05.27

• 公开/公告号：

  CN111753667A

• 公开/公告日：

  2020-10-09

• 发明人：

  陈龙 朱程铮 蔡英凤 王海 李祎承 孙晓强 陈晓波

• 申请人：

  江苏大学

• 主分类号：

  G06K9/00(2006.01),G,G06,G06K,G06K9

• 分类号：

  G06K9/00(2006.01),G06N3/04(2006.01),G06N3/08(2006.01),G,G06,G06K,G06N,G06K9,G06N3,G06K9/00,G06N3/04,G06N3/08

• 主权项：

  1.一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,包括如下: S1:设计mish卷积模块mish-convolutional; S2:设计m-Residual模块; S3:设计通道注意力模块; S4:设计结构体; S5:设计Mish-channel-dark部分与特征信号的多次提取; S6:设置网络输入与特征的提取; S7:进行相似性判断 S8:更新模板以及目标跟踪. 2.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S1的实现包括如下: mish卷积模块mish-convolutional包括一个卷积层(conv2d)、批量归一化(BN)层、mish激活层序列. 3.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S2的实现包括如下: 所述m-Residual模块包括2个mish卷积模块与一个直连接层; 其中,一个mish卷积模块内部的卷积层的尺寸为1*1,另一个mish卷积模块内部的卷积层的尺寸为为3*3. 4.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S3的实现包括如下: 先构建一个由全局最大池化和一个全局平均池化组成的并联运算模块,随后构建一个MLP模块; 其中,MLP模块由两个1*1*128的卷积层和一个Mish激活层构成,且卷积层1与卷积层2的参数共享. 5.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S4的实现包括如下: 所述结构体包括2个mish卷积模块、1个m-Residual模块、一个通道注意力模块串行; 其中,2个mish卷积模块尺寸分别为1*1与3*3. 6.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S5的实现包括如下: S5.1:构建一个3*3的mish卷积模块,其输出通道数为32,卷积核的步长为1,再次串行构建一个3*3的mish卷积模块,输出通道数变为64,卷积核的步长变为2; S5.2:串行构建一个结构体,其中1*1的mish卷积模块的输出通道为32,3*3的mish卷积模块的输出通道数为64;随后,将得到的特征信号输入一个3*3的mish卷积模块,该卷积核的步长为2,输出通道数为128; S5.3:构建2个串行的结构相同的结构体,其中1*1的mish卷积模块的输出通道数为64,3*3的mish卷积模块的输出通道数为128,第2个结构体的通道注意力模块为特征提取层,随后构建一个3*3的mish卷积模块,其步长为2,输出通道为256; S5.4:构建8个串行的结构相同的结构体;其中1*1的mish卷积模块的输出通道数为128,3*3的mish卷积模块的输出通道数为256,第8个结构体的通道注意力模块为特征提取层,随后构建一个3*3的mish卷积模块,其步长为2,输出通道为512; S5.5:构建8个串行的结构相同的结构体;其中1*1的mish卷积模块的输出通道数为256,3*3的mish卷积模块的输出通道数为512,第8个结构体的通道注意力模块为特征提取层,随后构建一个3*3的mish卷积模块,其步长为2,输出通道为1024; S5.6:构建4个串行的结构相同的结构体,其中1*1的mish卷积模块的输出通道数为512,3*3的mish卷积模块的输出通道数为1024;第4个结构体的通道注意力模块为特征提取层. 7.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S6的实现包括如下: 选定模板Z,将其尺寸缩放为(127*127*3).将输入帧分为n个待检测图像X1X2…Xn;随后将待检测图像Xi(i＝1,2…n)缩放为(255*255*3)的尺寸;将模板Z与待检测图像Xi(i＝1,2…n)送入由Mish-channel-dark组成的孪生网络中,这两个网络共享权重; 其中对于模块Mish-convolutional,有计算公式: MCom*m(n)＝mish(bn(conv2d(n)))＝bn(conv2d(n))*tanh(ln(1+ebn(conv2d(n)))) 其中n为输入值,bn为批量归一化计算,conv2d为二维卷积计算,下标m*m为该模块的卷积尺寸; 对于模块m-Residual,有计算公式: MRe(u)＝MCo3*3(MCo1*1(u))+u 其中u为输入值 对于模块channel-attention,有计算公式: Mc(T)＝σ(MLP(AvgPool(T))+MLP(MaxPool(T))) 其中T为层输入特征值,σ为mish激活函数; 当模板Z通过Mish-channel-dark网络后,可以得到模板特征信号L(Z)＝(LZ1,LZ2,LZ3),同理当检测图Xi(i＝1,2…n)经Mish-channel-dark网络后,得到特征信号 8.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S7的实现包括如下: 将模板特征信号L(Z)复制为L1(Z)、L2(Z),将检测图的特征信号L(Xi)复制为L1(Xi)、L2(Xi); 将L1(Z)、L1(Xi)送入相似性判断分支,由公式: EW(Xi)＝EW(L1(Z),L1(Xi))＝||L1(Z)-L1(Xi)||1 得到各检测图所对应的相似度值,由此可组为一个n维相似向量: EW＝(EW(X1),EW(X1)…EW(X1)); 将L2(Z)、L2(X)输入质量评估分支,由PAS评分公式: 可得其相似质量评估分数;其中,l,r,t,d的计算公式如下: 其中(lZ,tZ)为模板Z的左上角坐标,(rZ,bZ)为模板Z的右下角坐标.(lX,tX)为待检测图的左上角坐标,(rX,bX)为各待检测图的右下角坐标; 得到各检测图的PAS权重向量: P＝(PAS(X1),PAS(X2)…PAS(Xn)) 最后将质量评估分支的PAS权重向量与相似判断分支的结果EW进行互相关运算,由公式: 得出各检测图所对应的最终相似度值R＝(R(pe1),R(pe2)…R(pen)). 9.根据权利要求1所述的一种基于孪生网络的智能汽车单目标跟踪方法,其特征在于,所述S8的实现包括如下: 将各检测图所对应的最终相似度值进行softmax运算,计算公式为: G＝softmax(R) R为最终相似度值;输出Gi＝1所对应的索引向量,该所对应的检测图即是模板所对应的物体;随后将模板更新为该检测图,而当Gi＝0(i＝1,2…n)时,可视为没有对应模板的检测图,则保持原模板.