(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210233646.9 (22)申请日 2022.03.10 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 廖建新　杨瑞　王玉龙　赵海秀　 李炜　王晶　 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/54(2022.01) (54)发明名称 一种融合多属性和局部特征的车辆重识别 系统和方法 (57)摘要 一种融合多属性和局部特征的车辆重识别 系统， 包括通用特征提取模块、 全局特征模块、 属 性识别模块和面向方向的DropBlock模块； 一种 融合多属性和局部特征的车辆重识别方法， 包括 操作步骤： (1)将图像库中的车辆图像输入到车 辆重识别系统， 得到图像库中的车辆图像的重识 别特征； (2)将待查询车辆图像输入到车辆重识 别系统， 得到待查询车辆图像的重识别特征； (3) 根据所得到的重识别特征， 从图像库中找出与待 查询车辆图像相似度最大的车辆图像； 本发明方 法能够获取更多细节特征， 有效的提升了车辆重 识别的效果。 权利要求书3页 说明书6页 附图3页 CN 114677557 A 2022.06.28 CN 114677557 A 1.一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 所述系统包括如下模 块： 通用特征提取模块： 该模块的功能是对设定尺寸的车辆 图像进行通用特征提取； 该模 块的具体结构是： 采用修改后的Resnet ‑50网路作为通用特征提取模块的网络结构； 车辆图 像首先经过64通道7*7的卷积核， 步长为2 的卷积运算， 得到64个通道112*112尺寸的特征 图； 然后经过3*3大小， 步长为2的最大池化， 得到56*56大小的特征图， 接下来是三个stage 组合层， 这三个stage组合层和原始的ResNet ‑50残差网络相同； 所述的三个stage组合层， 第一个stage组合层包含3个bottleneck层， 第 二个stage组合层包含4个bottleneck层， 第 三个stage组合层包含6个bottleneck层； 每个bottleneck瓶颈层都包括三个卷积核大小分 别为1*1， 3*3， 1*1的卷积层， 对处理图像进行卷积操作； 所述的这前三个stage 组合层中， 都 会将特征图尺寸减半， 通道数加倍； 但是第四个stage组合层和原始的ResNet ‑50残差网络 中不同， 第四个stage组合层没有降采样即没有将特征图尺寸减半； 最终得到1024通道， 尺 寸为14*14特 征图作为后续模块的输入； 全局特征模块： 该模块的功能是根据所述的通用特征提取模块所提取到的全局特征， 对车辆全局信息进 行全局特征提取； 该模块的具体结构是： 由全局平均池化层、 批量归一化 层BN和全连接层依次联结而成； 该模块把 从所述的通用特征提取模块得到的102 4通道尺寸 为14*14特征图作为输入， 首先经过全局平均池化层得到102 4*1的特征向量， 该特征向量即 为车辆图像的全局特征fg； 再将fg进行批量归一化层BN处理得到1024*1的特征向量， 最后 接上一个1024*N的全连接层， N 为车辆类别数目； 属性识别模块： 该模块的功能是对车辆的属性信息进行识别， 包括车辆方向、 品牌、 车 型和车辆颜色， 根据车辆方向信息生 成对应的掩模Mask， 提取车辆的属性特征； 该模块的具 体结构是： 由一个Bottleneck层分别联结四个属性分支而成， 其中每个属性分支由全局平 均池化层和全连接层依次联结而成； 该模块把从所述的通用特征提取模块得到的102 4通道 尺寸为14*14特征图作为输入， 经过一个Bottleneck层后得到1024通道的14*14的特征图， 然后把该特征图输入到所述的四个属性分支； 车辆方向属性分支经过全局平均池化层得到 1024*1的特征向量， 该特征向量即为车辆方向属性特征向量Fatto， 然后将该特征向量接一 个1024*M1的全 连接层， 其中M1为车辆方向属性的数目； 品牌属性分支经过全局平均池化层 得到1024*1的特征向量， 该特征向量即为品牌属性特征向量Fattm， 然后将该特征向量接一 个1024*M2的全 连接层， 其中M2 为品牌属性的数目； 车型属性分支经过全局平均池化层得到 1024*1的特征向量， 该特征向量即为车型属性特征向量Fattt， 然后将该特征向量接一个 1024*M3的全连接层， 其中M3为车型属性的数目； 车辆颜色属性分支经过全局平均池化层得 到1024*1的特征向量， 该特征向量即为车辆颜色属性特征向量Fattc， 然后将该特征向量接 一个1024* M4的全连接层， 其中M4 为车辆颜色属性的数目； 面向方向的DropBlock模块： 该模块的功能是结合车辆方向信息， 进行掩模Mask操作， 提取车辆的面向方向DropBlock的特征； 该模块的具体结构是： 由Bottleneck层、 全局平均 池化层、 批量归一化BN层和全连接层依次联结而成； 该模块把从所述的通用特征提取模块 得到的1024通道尺寸为14*14特征图作为输入， 先经过一个Bottleneck层后 得到1024通道 的14*14的特征图； 然后将所述的属性识别模块生成的14*14大小的掩模Mask矩阵， 与前面 得到的特征图进 行掩模操作， 然后经过全局平均池化层， 得到102 4*1的特征向量， 该特征向权　利　要　求　书 1/3 页 2 CN 114677557 A 2量即为面向方向的DropBlock的特征向量fl， 将该特征向量进行批量归一化BN层处理得到 1024*1的特 征向量， 最后接上一个1024*N的全连接层， N 为车辆类别数目。 2.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 根据设定的训练集， 对于所述的通用特征提取模块、 全局特征模块和面向方向的Dr opBlock 模块， 采用交叉熵损失函数和TripletLoss损失函数进行训练； 对于所述的属性识别模块， 采用交叉熵损失函数进行训练。 3.根据权利要求2所述的一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 对系统的各个模块按照向后传播算法进行训练， 在每一次训练过程中， 先 由所述的全局特 征模块、 面 向方向的DropBlock模块和属性识别模块分别产生系统中各个网络参数的更新 量， 然后将所述的各个网络参数的更新 量累加起 来进行一次更新。 4.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 所述的车辆方向信息是指把车辆方向进行离散处理后的信息， 具体为： 将车辆头部方向作 为笛卡尔坐标系中x轴的正方向和第一个方向， 以45 °为间隔分为八个方向。 5.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 所述的根据车辆方向信息生成对应掩模Mask的具体内容是： 先生成设定尺寸大小的全为1 的矩阵， 以该矩阵的中心作为原 点， 根据车辆方向做一条过原 点的直线， 然后将该直线随机 上下平移 ‑3到+3个单位， 将该直线 经过的所述矩阵位置的值 都置为0， 最后得到的01矩阵即 为掩模Mask矩阵； 所述的设定尺寸是指所述的面向方向的DropBlock模块中bottleneck层 之后所得到的特 征图的尺寸。 6.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 所述的进行掩模Mask操作的具体内容是： 将所述的面向方向的DropBlock模块中 bottleneck层之后所得到的特征图与所述的掩模Mask矩阵进行掩模操作， 即将所述的掩模 Mask矩阵中为 1的点对应的特征图位置的数据保留， 将所述的掩模Mask矩阵中为0的点对应 的特征图位置的数据置为0 。 7.根据权利要求2所述的一种融合多属性和局部特征的车辆重识别系统， 其特征在于： 所述的设定训练集是指： 是对所收集的车辆图像数据进行预处理后的数据集； 所述的预处 理的内容是： 将车辆图像大小处理成224*224大小， 对车辆图像的三个通道都做归一化处 理， 将车辆图片处理成多个Batch批次， 每个Batch中需要包含正例、 负例和锚框； 每个Batch 中包含n个车辆类别， 每个车辆类别包含k个样本图像； 所述的n和k值根据实验设备和网络 设定； 对于同一类车辆图像， 图像之间互为 正例， 不同类的车辆图像互为负例。 8.一种融合多属性和局部特征的车辆重识别方法， 其特征在于： 所述方法包括如下操 作步骤： (1)将图像库中的车辆图像输入到车辆重识别系统， 得到 图像库中的车辆图像的重识 别特征即： 全局特 征、 属性特 征和面向方向Drop Block的特征； (2)将待查询车辆图像输入到车辆重识别系统， 得到待查询车辆图像的重识别特征即： 全局特征、 属性特 征和面向方向Drop Block的特征； (3)根据所得到的重识别特征， 从所述的图像库中找出与待查询车辆图像相似度最大 的设定数目的车辆图像。 9.根据权利要求8所述的一种融合多属性和局部特征的车辆重识别