(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210396418.3 (22)申请日 2022.04.15 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号南京理工大 学 (72)发明人 王振东　宫辰　曹姝清　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 赵兴华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种用于空间目标同步检测与分割的方法 (57)摘要 本发明提出了一种用于空间目标同步检测 与分割的方法， 采用ResNet ‑FPN提取出多层不同 尺度的特征图， 并对多层不同尺度的特征图进一 步做融合， 在不同尺度特征图上融合所有层的特 征， 尽可能保留浅层网络的边缘形状等信息和深 层网络的语义信息， 最后获得的特征表达能力更 强， 应对小物体遗漏、 几何变换、 图像退化等问题 效果更鲁棒； 设计多分类损失FocalLoss作为组 件分类检测时的损失函数， 以避免挖掘困难样本 时， 类别样本不均的问题， 在不损失推理速率的 前提下， 对空间目标的检测和分割效果皆能保持 稳定。 权利要求书3页 说明书9页 附图5页 CN 114898092 A 2022.08.12 CN 114898092 A 1.一种用于空间目标同步检测与分割的方法， 其特 征在于， 所述方法包括： 构建包括若干训练样本的训练样本集； 所述训练样本 中包括空间图像以及与空间图像 对应的图像标记； 所述图像标记包括空间图像中的检测标记、 分割标记和类别标记， 所述类 别标记包括多种目标组件的类别标记； 生成各训练样本的初始感兴趣区域 集合； 利用ResNet ‑FPN网络提取出各训练样本的多层 特征图， 并在每层 特征图上融合其他所 有特征图的特 征， 得到各训练样本的多层融合特 征图； 从训练样本的多层融合特 征图中提取 出所述训练样本各初始感兴趣区域的特 征矩阵； 构建目标检测与分割网络； 所述目标检测与分割网络包括 区域建议模型和检测分割 模 型； 所述区域建议模型用于根据各初始感兴趣区域的特征矩阵判别对应的初始感兴趣区域 是否属于背景， 对所述初始感兴趣区域集合中的初始感兴趣区域进行筛选及优化； 所述检 测分割模型用于对空间图像中的多种目标组件进 行类别标记预测、 检测标记预测以及分割 标记预测； 在所述区域建议模型中对感兴趣区域的类别标记预测时， 采用二分类损失作为 其损失函数， 而在所述检测分割模 型中类别标记预测时， 采用多分类损失FocalLoss作为其 损失函数； 利用各训练样本的多层融合特征图、 所述初始感兴趣区域集合、 各初始感兴趣区域的 特征矩阵和所述训练样本集， 分别对所述区域建议模型和所述检测分割模型进行训练， 得 到训练好的目标检测与分割网络； 使用训练好的目标检测与分割网络， 对待检测图像中的空间目标进行检测与分割。 2.根据权利要求1所述的方法， 其特征在于， 所述利用ResNet ‑FPN网络提取出各训练样 本的多层特征图， 并在每层特征图上融合其他所有特征图的特征， 得到各训练样本的多层 融合特征图， 具体包括： 通过ResNet ‑FPN网络对各训练样本的空间图像进行 特征提取， 得到多层特 征图； 将每层特征图与其他所有特征图的特征进行融合， 得到多层融合特征图； 其中， 将每层 特征图与其所有的浅层特 征图的下采样以及其所有的深层特 征图的上采样进行融合。 3.根据权利要求1所述的方法， 其特征在于， 所述利用各训练样本的多层融合特征图、 所述初始感兴趣区域集合、 各初始感兴趣区域的特征矩阵和所述训练样本集， 分别对所述 区域建议模型和所述检测分割模型进行训练， 具体包括： 根据所述初始感兴趣区域集合、 各初始感兴趣区域的特征矩阵和所述训练样本集， 对 所述区域建议模型中的第一分类检测分支进行迭代训练， 得到训练好的区域建议模型； 在 对所述第一分类检测分支进行迭代训练的过程中， 以各初始感兴趣区域的各个特征矩阵为 所述第一分类检测分支的输入， 以对应的感兴趣区域在空间图像中的类别标记和检测标记 为所述第一分类 检测分支的目标输出； 利用训练好的所述区域建议模型对各训练样本的初始感兴趣区域集合进行优化， 得到 各训练样本的优化感兴趣区域 集合； 根据各训练样本的优化感兴趣区域集合， 采用自适应ROIAlign算法从对应的训练样本 的多层融合特征图中提取出各优化感兴趣区域对应的多个优化特征矩阵； 各优化特征矩阵 的尺寸相同； 将各优化感兴趣区域对应的多个优化特征矩阵相加融合， 得到各优化感兴趣区域对应权　利　要　求　书 1/3 页 2 CN 114898092 A 2的融合优化特 征矩阵； 根据各训练样本的融合优化特征矩阵集合和各训练样本的图像标记， 依次对所述检测 分割模型中的第二分类检测分支和分割分支进行迭代训练， 得到训练好的检测分割模型； 在对所述第二分类检测分支进 行迭代训练的过程中， 以训练样本的融合优化特征矩阵集合 为所述第二分类检测分支的输入， 以所述训练样本中的类别标记和检测标记为所述第二分 类检测分支的目标输出； 在对所述分割分支进行迭代训练的过程中， 以训练样本的融合优 化特征矩阵集合为所述分割分支的输入， 以所述训练样本中的分割标记为所述分割分支的 输出； 所述各训练样本的融合优化特征矩阵集合包括各训练样本所有优化感兴趣区域对应 的融合优化特 征矩阵。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述初始感兴趣区域集合、 各初 始感兴趣区域的特征矩阵和所述训练样本集， 对所述区域建议模型中的第一分类检测分支 进行迭代训练， 具体包括： 将各初始感兴趣区域的特征矩阵依次输入第 一分类检测分支中， 得到第 一类别预测结 果和第一检测预测结果； 根据所述第一类别预测结果和对应的感兴趣区域的类别标记计算所述第一分类检测 分支的第一类别预测损失； 根据所述第一检测预测结果和对应的感兴趣区域的检测标记计算所述第一分类检测 分支的第一检测预测损失； 根据所述第 一类别预测损失和所述第 一检测预测损失， 通过反向传播算法更新所述第 一分类检测分支的参数， 直到满足迭代终止条件。 5.根据权利要求3所述的方法， 其特征在于， 所述根据各训练样本的融合优化特征矩阵 集合和对应训练样本的图像标记， 依次对所述检测分割模型中的第二分类检测分支和分割 分支进行迭代训练， 具体包括： 将各训练样本的融合优化特征矩阵集合依次输入所述第 二分类检测分支中， 得到第 二 类别预测结果和第二检测预测结果； 将各训练样本的融合优化特征矩阵集合依次输入所述分割分支中， 得到分割预测结 果； 根据所述第 二类别预测结果和对应训练样本 中的类别标记， 计算所述第 二分类检测分 支的第二类别预测损失； 根据所述第 二检测预测结果和对应训练样本 中的检测标记， 计算所述第 二分类检测分 支的第二检测预测损失； 根据所述分割预测结果和对应训练样本 中的分割标记， 计算所述分割分支的分割预测 损失； 根据所述第 二类别预测损失和所述第 二检测预测损失， 通过反向传播算法更新所述第 二分类检测分支的参数； 根据所述分割 预测损失， 通过反向传播算法更新所述分割分支的 参数， 直到满足迭代终止条件。 6.根据权利要求3所述的方法， 其特征在于， 所述利用训练好的所述区域建议模型对各 训练样本的初始感兴趣区域 集合进行优化， 具体包括： 利用训练好的区域建议模型中的第 一分类检测分支， 判断所述初始感兴趣区域集合中权　利　要　求　书 2/3 页 3 CN 114898092 A 3