(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210296395.9 (22)申请日 2022.03.24 (71)申请人 中国人民解 放军海军大连舰艇学院 地址 116018 辽宁省大连市中山区解 放路 667号 (72)发明人 蒋永馨　邹勤　毕京强　彭鹏　 张志友　郑振宇　吴明　金鑫　 曹延哲　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 马庆朝 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度信息融合的海面小目标检测方 法、 电子设备及计算机可读介质 (57)摘要 基于多尺度信息融合的海面小目标检测方 法、 电子设备及计算机可读介质， 属于人工智能 和计算机视觉领域。 构建海面小目标仿真数据 集； 构建深度学习网络模型； 利用小目标仿真数 据集对构建的深度学习模型进行训练； 在训练过 程中， 通过transformer模块解码和检测出海面 小目标的位置和类别信息； 利用训练好的模型进 行其他场景下的海面小目标检测。 本发明创新性 使用自上而下的tran sformer解码策略， 对FPN中 自上而下的不同尺度特征图采用可变形卷积的 方式实现encoder中的自注意力机制， 同时从高 层的较小特征层开始通过在相邻两个特征层之 间引入transformer模块进行解码预测边界框， 自上而下通过不断引入包含更多小目标信息的 低层特征来不断进行边界框修正， 进而提高小目 标检测准确率。 权利要求书3页 说明书9页 附图2页 CN 114943888 A 2022.08.26 CN 114943888 A 1.一种基于多尺度信息融合的海面小目标检测方法， 其特 征在于， 步骤如下： 步骤S1， 构建海面小目标仿真数据集： 利用嵌入轨迹规划方法和无缝融合方法， 使用所 述数据集将船只渲染到场景中， 从而根据嵌入位置标注得到准确的边界框和类别 信息； 步骤S2， 构建深度学习网络模型， 所述模型包括主干网络、 FPN网络、 自上而下的 transformer网络； 所述主干网络用于特征提取， 抽取所述主干网络的特征层并构建FPN网 络用于多尺度特征融合， 并且嵌入transformer模块， 利用自上而 下的解码方式使网络进一 步加强关注小目标区域； 其中使用可变形 卷积实现t ransformer模块的注意力机制； 步骤S3， 利用步骤S1构建的小目标仿真数据集对步骤S2构建的深度学习模型进行训 练； 在训练过程中， 通过t ransformer模块 解码和检测出海面小目标的位置和类别 信息； 步骤S4， 利用步骤S3训练好的模型进行其 他场景下的海面小目标检测。 2.根据权利要求1所述的基于多尺度信 息融合的海面小目标检测方法， 其特征在于， 所 述步骤S1具体为： 步骤S1‑1， 收集M幅真实的不同种类的船只图像和N个不同天气状况 下的海面视频； 步骤S1‑2， 海平面嵌入轨迹规划： 针对每个海面视频， 每间隔1s抽取其中一个视频帧， 针对每个视频帧的海平面等间隔采集多个采样点， 并根据视频海平面的起伏程度选择T次 多项式， 利用T次多项式曲线拟合的方式拟合完整海平 面， 该多项式含有T+1个参数； 在得到 整个海面视频的所有T次多项式拟合曲线后， 针对多项式的每一项系数以时间为横坐标， 系 数为纵坐标同样使用多项式进 行曲线拟合； 总共得到T+1个参数拟合曲线； 通过上述步骤得 到系数随时间变化的T次多 项式海面拟合曲线； 步骤S1‑3， 针对每个海面场景视频， 给定嵌入船只的初始位置和移动 速度； 对每个视频 帧， 根据时间标签计算船只在每个海平面视频帧图像中的横坐标， 并利用当前视频帧对应 的时间求得T次多项式的当前系数， 得到 当前视频帧的海平 面拟合曲线， 进而根据横坐标计 算出纵坐标， 从而得到每帧视频图像的船只嵌入位置； 步骤S1‑4， 船只与海面的无缝融合： 针对嵌入的图片， 利用高斯滤波对前景船只图片进 行模糊处理， 之后 将船只缩小， 将得到的模糊小尺寸图片嵌入到步骤S1 ‑3生成的位置， 并在 嵌入后再次使用高斯滤波对边 缘进行平 滑； 步骤S1‑5， 针对每个视频帧， 以步骤S1 ‑3中得到的每个视频帧的嵌入位置为 中心， 将步 骤S1‑4中得到的结果图片逐帧嵌入到海面场景图像； 利用前景目标图像插入的位置和缩放 后的大小构建目标检测的标注框； 步骤S1‑6， 针对每个海面视频， 重复步骤S1 ‑2到步骤S1 ‑5， 从而构建完整的海面小目标 数据集。 3.根据权利要求1所述的基于多尺度信 息融合的海面小目标检测方法， 其特征在于， 所 述构建深度学习网络为 一个多尺度信息融合的端到端网络； 所述 步骤S2具体为： 步骤S2‑1， 通过所述主干网络对图片进行 特征提取； 步骤S2‑2， 将得到的多个不同尺度feature  map输入FPN网络进行多尺度信息融合； 步骤S2‑3， 将经过融合的多层feature  map输入级联transformer模块进行反向解码， 得到高精度的类别预测和边界框预测结果； 所述tr ansformer模块利用可变形卷积形成注 意力机制， 其中， transformer模块的decoder利用不同尺度特征图实现跨层注意力， 同时利 用自上而下的方式进行解码。权　利　要　求　书 1/3 页 2 CN 114943888 A 24.根据权利要求1所述的基于多尺度信 息融合的海面小目标检测方法， 其特征在于， 所 述步骤S2中主干网络使用ResNet ‑50为基准网络 。 5.根据权利要求3所述的基于多尺度信 息融合的海面小目标检测方法， 其特征在于， 在 步骤S2‑3中， 将得到的不同尺度特 征输入分类分支， 使用交叉熵损失作为分类损失： 其中， Lcls(x,c)表示分类学习损失， i表示预测框序号， Pos表示预测为正样本， n表示预 测框的总 个数， p表示类别， j表示真实框序号， 表示第i个预测框与第j个真实框匹配， 取 值为{0,1}， 表示第i个预测框关于类别p的概率， Neg表示预测为负样本， 表示第i个预 测框关于背景类的置信度， 表示预测类别为p的置信度。 6.根据权利要求3所述的基于多尺度信 息融合的海面小目标检测方法， 其特征在于， 在 步骤S2‑3中， 将得到的不同尺度特征输入边界框预测分支， 使用SmoothL1损失作为边界框 回归损失： 其中， Lloc(x,l,g)表示边界框预测损失， 边界框中心为(cx， cy)， 宽高分别为w和h， m表 示表示边界框的每个参数， k表示类别， 代表第i个预测框与第j个真实框关于类别k是否 匹配， 为预测框， 为真实框， 表示第j个真实框中心 点的横坐标与第i个预测框初始 锚框中心的横坐标的相对偏移量， 表示第j个真实框中心点的横坐标， 表示第i个预 测框初始锚框中心的横坐标， 表示第j个真实框中心点的横坐标与第i个预测框初始锚 框中心的纵坐标的相对偏移量， 表示第j个真实框中心点的纵坐标， 表示第i个预测 框初始锚框的纵坐标， 表示第j个真实框的宽与第i个预测框初始锚框的宽的相对大小， 表示第j个真实框的宽， 表示第i个预测框初始锚框的宽， 表示第j个真实框的高与 第i个预测框初始锚框的高的相对大小， 表示第j个真实框的高， 表示第i个预测框初 始锚框的高。 7.根据权利要求5或6所述的基于多尺度信息融合的海面小目标检测方法， 其特征在权　利　要　求　书 2/3 页 3 CN 114943888 A 3