(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210395851.5 (22)申请日 2022.04.14 (71)申请人 浙江中烟工业有限责任公司 地址 310008 浙江省杭州市上城区中山 南 路77号 (72)发明人 高扬华　陆海良　王毅君　郁钢　 (74)专利代理 机构 北京维澳专利代理有限公司 11252 专利代理师 常小溪 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/13(2022.01) G06V 10/42(2022.01) G06V 10/25(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种融合自注意力机制的遥感图像的车辆 目标识别方法 (57)摘要 本发明提供一种融合自注意力机制的遥感 图像的车辆目标识别方法， 包括： 获取遥感图像， 并基于卷积神经网络对原始的图片提取特征， 构 成一个自下而上的金字塔结构， 输出具有多尺度 的特征图； 设置自注意力机制， 以构建自注意力 机制循环神经网络， 根据所述遥感图像中车辆的 特点重新定义锚点的大小和长宽比， 并添加角度 参数， 得到符合遥感图像车辆形状的旋转边界 框； 在感兴趣池化阶段增加和车辆长宽比相匹配 的池化层大小； 经过自注意力机制循环神经网络 重新计算原有候选区域的置信度。 本发明能解决 现有遥感图像中的车辆检测存在精确性低， 易造 成漏检误检的问题， 能提高遥感图像的车辆检测 的精确性。 权利要求书2页 说明书6页 附图2页 CN 114913504 A 2022.08.16 CN 114913504 A 1.一种融合自注意力机制的遥感图像的车辆目标识别方法， 其特 征在于， 包括： 获取遥感图像， 并基于卷积神经网络对原始 的图片提取特征， 构成一个自下而上的金 字塔结构， 输出 具有多尺度的特 征图； 设置自注意力机制， 以构建自注意力机制循环神经网络， 根据所述遥感图像中车辆的 特点重新定义锚点的大小和长宽比， 并添加角度参数， 得到符合遥感 图像车辆形状的旋转 边界框； 在感兴趣区域池化阶段， 添加新的池化大小， 生成多个不同比例、 大小的候选框， 得到 每个输出特征图位置的候选框列表， 计算得到每个特征图上对应于所述遥感图像的候选 框； 对每个所述候选框的四个预测的边界框提取出置信度、 坐标和角度， 作为向量输入所 述自注意力机制循环神经网络， 并通过自注意力机制和 回归器输出每个边界框新的置信 度， 以确定位置结果。 2.根据权利要求1所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 所述基于卷积神经网络对原始的图片提取特征， 构成一个自下而 上的金字塔结构， 包 括： 选取ResNets的conv  2、 conv 3、 conv 4和conv 5模块的最后输出的四个不同分辨率的 特征图作为自下而上的网络； 对于自上而下网络的构建， 每一层的特征图的输入包括对应的自下而上网络中对应特 征层经过1 ×1卷积后的输出和上层网络对应大小的上采样后的输出， 通过自上而 下网络的 最下面的3层作为特 征提取网络的输出。 3.根据权利要求2所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 所述特 征层过程表示 为： 其中， Ck表示自下而上网络的第k层特征图， Pk表 示第k层经过融合过的特征图， f1×1和f3×3表示1×1和3×3的卷积层， Up表示上采样， 2i表示 上采样的大小。 4.根据权利要求3所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 相邻上层上采样大小的i初始值为1， 层数增加一层， 上采样2i的i加一， 层数k+1的值 不超过5， 通过这个过程， 得到多 级跨层特 征融合的金字塔网络 。 5.根据权利要求4所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 所述根据所述遥感 图像中车辆的特点重新定义锚点的大小和长宽比， 并添加角度参 数， 包括： 通过K‑Means聚类算法确定旋转锚点的三类长宽比的值为3、 7和9， 将旋转锚点的长宽 比设置为1： 3、 3： 1、 1： 5、 5： 1、 1： 7和7： 1， 每层特征层的比例尺大小设置为1， 旋转锚点的角度 参数设置为 π/ 6， π/3， π/2， 2 π/ 3， 5 π/6和 π。 6.根据权利要求5所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 选择长宽比为10/3作为添加的池化层大小值， 两个池化大小是10 ×3和3×10的ROI  Pooling层， 每一个候选区域分别经过3个ROI  Pooling层， 最终输出得到固定大小是7 ×7×权　利　要　求　书 1/2 页 2 CN 114913504 A 2ConvDept h、 10×3×ConvDepth和3×10×ConvDepth的特征图， 其中， ConvDept h为卷积层深 度。 7.根据权利要求6所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 所述 通过自注意力机制和回归器输出每 个边界框新的置信度， 包括： 对于每个车辆候选区域元素i， 自注意力机制将整个序列表示为角度的向量序列ξi， 由 向量序列ξi的所有隐藏向量的平均值加权再对齐得出的置信度分数为 其中， L 是输入序列的长度， hj是元素j的隐藏向量， 而aij是元素i和元素j之间的对齐的权 重。 8.根据权利要求7所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 所述 通过自注意力机制和回归器输出每 个边界框新的置信度， 还 包括： 采用三层感知器来预测重新计算置信度的值， 其中， 三层感知器的表达式为： f2(x)＝ Sigmoid(ReLu(b(2)+W(2)(f1(x)))， f1(x)＝b(1)+W(1)x， W(1)和W(2)分别为三层感知 器各个层之 间的连接权重， b(1)和b(2)分别为三层感知器各个层之间的偏置， x为边界框中心点的X轴坐 标值。 9.根据权利要求8所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 所述对每个所述候选框的四个预测的边界框提取出置信度、 坐标和角度， 作为向量输 入所述自注意力机制循环神经网络， 以确定位置结果， 包括： 根据所述边界框的置信度、 中心坐标、 边界框的宽、 边界框的高、 边界框的水平旋转角 度构建各个边界框的特征向量， 并输入RNN网络、 自注意力机制和回归器中生成新的置信 度。 10.根据权利要求9所述的融合自注意力机制的遥感图像的车辆目标识别方法， 其特征 在于， 还包括： 经过双向堆叠的RNN网络和自注意力机制对候选区域的置信度重新调整， 在 之后的NMS 算法中对候选区域重新排序， 以筛选出更符合车辆特性的候选区域， 进而对候选区域进行 位置回归修 正和类别预测。权　利　要　求　书 2/2 页 3 CN 114913504 A 3