(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210340575.2 (22)申请日 2022.03.31 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 薛梦凡　杨岗　郑建楠　彭冬亮　 贾士绅　陈怡达　宋怡然　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于SAR图像的图像分类模 型训练方法 及装置 (57)摘要 本发明提供一种基于SAR图像的图像分类模 型训练方法及装置， 针对同一目标以相同角度获 取多源图像， 包括SAR、 红外、 可见光图像及对应 的图像分类数据， 通过训练基于红外和可见光图 像的辅助神经网络获得的 “红外‑可见光特征 ”， 来辅助训练基于SAR图像的图像分类模型， 其中， 红外、 可见光图像仅在训练过程中作为辅助模 态， 而实际应用中网络的输入 为SAR单模态图像。 本发明使用多任务学习的方法， 提高了基于SAR 图像的图像分类的精度， 提供了一种解决单模态 SAR图像在实际应用中局限性的方法。 权利要求书2页 说明书6页 附图2页 CN 114612729 A 2022.06.10 CN 114612729 A 1.一种基于SAR图像的图像分类模型训练方法， 其特 征在于， 该 方法包括如下步骤： 步骤S1:针对同一目标获取多源图像数据， 包括SA R、 红外、 可见光图像数据及图像分类 数据； 步骤S2:利用获取的红外、 可见光图像构建并训练辅助神经网络， 所述辅助神经网络以 经过预处理的红外、 可见光图像为输入， 预测的图像分类结果和红外 ‑可见光特征为输出， 其具体步骤如下： 步骤S21： 构建辅助神经网络， 采用ResNet ‑50网络结构的主卷积层分别提取红外、 可见 光单模态特征， 使用卷积层融合上述红外、 可见光单模态特征获得红外 ‑可见光特征， 预测 层采用ResNet ‑50网络结构的预测层， 以上述红外 ‑可见光特征为输入预测图像分类结果； 步骤S22： 利用获取的红外、 可 见光图像及图像分类数据训练辅助神经网络； 步骤S23： 提取并保存步骤S2 2中训练好的辅助神经网络的红外 ‑可见光特征； 步骤S3:利用获取的SAR图像、 步骤S23中保存的红外 ‑可见光特征， 构建并训练目标网 络， 所述目标网络仅需SAR单模态图像为输入， 输出为图像分类结果和对红外 ‑可见光特征 的拟合； 其具体步骤如下： 步骤S31： 采用DenseNet ‑121网络结构 构建目标网络； 步骤S32： 利用获取到的SAR图像、 图像分类数据和步骤S23保存的红外 ‑可见光特征训 练目标网络， 网络两个目标输出为图像分类结果和红外 ‑可见光特征， 两个目标输出与对应 真值的误差构成网络的实际误差， 所述损失表示 为： Loss＝loss1+loss2*φ 其中loss1为网络预测的分类结果与真实分类结果间的损失， loss2为网络拟合的红 外‑可见光特征与红外 ‑可见光特征之间的损失， φ为平衡loss1和loss2的超参数； 两个损 失共同决定 了目标网络的权 重更新， 由此 得到了基于SAR图像的图像分类模型。 2.根据权利要求1所述的一种基于SAR图像的图像分类模型训练方法， 其特征在于， 所 述辅助神经网络的分类精度要求大于等于 0.95。 3.根据权利要求1所述一种基于SAR图像的图像分类模型训练方法， 其特征在于， 所述 目标网络损失函数中， l oss1、 loss2分别使用交叉熵损失函数和均方差损失函数。 4.根据权利要求1所述的一种基于SAR图像的图像分类模型训练方法， 其特征在于： 所 述的目标网络为多任务目标网络 。 5.根据权利要求 4所述的一种基于SAR图像的图像分类模型训练方法， 其特 征在于： 所述的多任务目标网络， 目标函数为： s.t.UUT＝I 其中m为所述目标网络任务数， ni为训练样本的个数， 为任务i的样本j的标签， 为损失函数， b＝(b1， ...bm)T表示i个任务的偏移补偿， U∈Rd×d包括i个 任务的权重参数， d为参数维度， ||A||2 2,1为L2正则化阵， ai表示任务的权重参数， I为单位 阵， 而λ为正则化参数； 所示公式(1)的前半部分表示i个任务的所有损失， 后 半部分利用L2权　利　要　求　书 1/2 页 2 CN 114612729 A 2正则化确保了解的行稀疏以及约束阵U的正交化， 可将公式(1)化 为： s.t.D≥0,t r(D)≤1 其中 为公式(1)中的前半部分， tr(WTD‑1W)是矩阵的 迹， Wi＝Uai则是任务 i的权重参数， D≥0规定 了D矩阵是半正定矩阵。 6.一种基于SAR图像的图像分类模型训练方法的训练装置， 具体包括： 多源图像获取单元， 用于对同一目标获取相同角度的多源图像， 包括SAR图像、 红外图 像和可见光图像， 并对图像标注好分类标签得到图像分类数据； 红外‑可见光特征获取单元， 用于通过辅助神经网络获取红外 ‑可见光特征； 目标网络构建单元， 用于以SAR单模态图像为输入， 预测的红外 ‑可见光特征和图像分 类结果为输出， 利用获取到的SAR图像、 分类结果数据及由辅助神经网络提取的红外 ‑可见 光特征， 训练得到基于SAR图像的图像分类模型； 多源图像预处理单元， 用于将对应的SAR图像、 红外图像和可见光图像处理成大小一致 的图片。权　利　要　求　书 2/2 页 3 CN 114612729 A 3