(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210497539.7 (22)申请日 2022.05.09 (71)申请人 盐城工学院 地址 224000 江苏省盐城市 盐南高新区新 河街道办事处新怡社区新园路20号1 幢401室 申请人 盐城工学院技 术转移中心有限公司 (72)发明人 陈瑾　杨国宇　刘柱　范浩楠　 史鸣凤　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 时嘉鸿 (51)Int.Cl. G06V 10/56(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06V 10/30(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于RGB三分量分组注 意力加权融合的 图像分类方法 (57)摘要 本发明提供了一种基于RGB三分量分组注意 力加权融合的图像分类方法， 其中， 方法包括： 采 集复杂环境下的目标图像， 并进行降噪处理， 得 到降噪后的目标图像； 分别提取所述降噪后的目 标图像的RGB三通道分量图像。 本发明的基于RGB 三分量分组注 意力加权融合的图像 分类方法， 引 入RGB三分量， 在残差网络模型中引入注意力机 制， 充分利用全局和局部颜色三 分量特征进行特 征提取， 对于存在噪声干扰、 颜色鲜艳的目标尤 其是小目标分类效果较好。 权利要求书4页 说明书9页 附图3页 CN 114821121 A 2022.07.29 CN 114821121 A 1.一种基于RGB三分量分组注意力加权融合的图像分类方法， 其特 征在于， 包括： 采集复杂环境下的目标图像， 并进行降噪处 理， 得到降噪后的目标图像； 分别提取 所述降噪后的目标图像的RGB三 通道分量图像； 利用预构建的卷积核， 根据预设的卷积规则， 对所述RGB三通道分量图像进行卷积操 作， 得到RGB三通道分量图像中各个中间卷积层级的特征图， 所述中间卷积层 级为两级残差 网络结构， 将中间卷积层级的输入与中间卷积层级卷积后的输出之和作为中间卷积层级的 特征图； 对所述中间卷积层级的特 征图， 采用三级不同的卷积核构建金字塔卷积网络结构； 对所述金字塔卷积网络结构按照 通道数目进行分组， 形成若干个分组通道的独立的分 组特征图； 对所述分组特征图引入注意力 机制， 分别提取分组特征图的分组通道特征和分组空间 特征并赋予所述分组通道特征和分组空间特征不同的预设的权重， 得到所述金字塔卷积网 络结构的分组注意力加权融合后的特 征图； 基于RGB三通道分量图像所有所述分组通道 的分组注意力加权融合后的特征图， 构成 堆叠的分组特 征图； 根据预设的金字塔残差网络结构， 依次将所述堆叠的分组特征图进行特征叠加操作， 得到上下文增强特 征网络层的堆叠集 合； 利用注意力 机制网络对所述上下文增强特征网络层的堆叠集合进行注意力 权重计算， 得到注意力增强特 征网络层的堆叠集 合； 利用预训练的目标分类网络模型对所述注意力增强特征网络层的堆叠集合进行目标 分类， 得到所述复杂环境下 各种目标的分类识别结果。 2.如权利要求1所述的一种基于RGB三分量分组注意力加权 融合的图像分类方法， 其特 征在于， 利用预构建的卷积核， 根据预设的卷积规则， 对所述RGB三通道分量图像进行卷积 操作， 得到RGB三 通道分量图像中各个中间卷积层级的特 征图， 包括： 对所述RGB三 通道分量图像， 经 过第1级卷积层， 得到第1级卷积特 征图X1R、 X1G以及X1B； 对所述第1级卷积特征图X1R、 X1G以及X1B， 经过第2级卷积层， 得到第2级卷积特征图X2R、 X2G以及X2B； 对所述第2级卷积特征图X2R、 X2G以及X2B， 经过第3级卷积层， 得到第3级卷积特征图X3R、 X3G以及X3B； 对所述第3级卷积特征图X3R、 X3G以及X3B， 经过第4级卷积层， 得到第4级卷积特征图X4R、 X4G以及X4B。 3.如权利要求2所述的一种基于RGB三分量分组注意力加权 融合的图像分类方法， 其特 征在于， 所述中间卷积层级为两级残差网络结构， 将中间卷积层级的输入与中间卷积层卷 积后的输出之和作为中间卷积层级的特 征图， 包括： 所述第1级卷积特 征图X1R、 X1G以及X1B即为第1级融合卷积特 征图M1R、 M1G以及M1B； 将所述第1级融合卷积特征图M1R、 M1G以及M1B和第2级卷积特征图X2R、 X2G以及X2B作为输 入， 构建第一残差网络结构， 经 过卷积融合操作， 得到第2级融合卷积特 征图M2R、 M2G以及M2B； 将所述第2级融合卷积特征图M2R、 M2G以及M2B和第3级卷积特征图X3R、 X3G以及X3B作为输 入， 构建第二残差网络结构， 经 过卷积融合操作， 得到第3级融合卷积特 征图M3R、 M3G以及M3B；权　利　要　求　书 1/4 页 2 CN 114821121 A 2将所述第3级融合卷积特征图M3R、 M3G以及M3B和第4级卷积特征图X4R、 X4G以及X4B作为输 入， 构建第三残差网络结构， 经 过卷积融合操作， 得到第4级融合卷积特 征图M4R、 M4G以及M4B。 4.如权利要求3所述的一种基于RGB三分量分组注意力加权 融合的图像分类方法， 其特 征在于， 对所述中间卷积层级的特征图， 采用三级不同的卷积核构建金字塔卷积网络结构， 包括： 对4级融合卷积特征图MiR、 MiG、 MiB(i＝1,2,3,4)， 采用卷积核大小为3的尺度进行卷积 操作， 构建低层金字塔卷积RGB三分量特 征图Pi1R、 Pi1G以及Pi1B(i＝1,2,3,4)； 对4级融合卷积特征图MiR、 MiG、 MiB(i＝1,2,3,4)， 采用卷积核大小为5的尺度进行卷积 操作， 构建中间层金字塔卷积RGB三分量特 征图Pi2R、 Pi2G以及Pi2B(i＝1,2,3,4)； 对4级融合卷积特征图MiR、 MiG、 MiB(i＝1,2,3,4)， 采用卷积核大小为5的尺度进行卷积 操作， 构建中间层金字塔卷积RGB三分量特 征图Pi3R、 Pi3G以及Pi3B(i＝1,2,3,4)。 5.如权利要求4所述的一种基于RGB三分量分组注意力加权 融合的图像分类方法， 其特 征在于， 对所述分组特征图引入注意力机制， 分别提取分组特征图的分组通道特征和分组 空间特征并赋予所述分组通道特征和分组空间特征不同的预设的权重， 得到所述金字塔卷 积网络结构的分组注意力加权融合后的特 征图， 包括： 将每组所述分组通道特 征和分组 空间特征随机分成两组特 征X1和特征X2； 对所述特征X1依次进行通道注意力处理、 平均池化操作Favgpool、 利用线性函数Fuse进行 特征增强以及经过sigmod函数处理后与原特征X1进行点乘操作， 得到分组通道增强特征图 X'1； 对所述特征X2依次进行空间注意力处理、 归一化操作Fnorm、 利用线性函数Fuse进行特征 增强以及经 过sigmod函数处 理后与原特 征X2进行点乘操作， 得到分组 空间增强特 征图X'2； 对所述分组通道特征图X'1和分组空间增强特征图X'2进行合并处理， 得到分组后的增 强注意力加权融合后的特 征图Xij(i＝R,G,B； j＝1,2, …,N)。 6.如权利要求5所述的一种基于RGB三分量分组注意力加权 融合的图像分类方法， 其特 征在于， 基于RGB三通道分量图像所有 所述分组通道的分组注意力加权融合后的特征图， 构 成堆叠的分组特 征图， 包括： 获取R分量图像所有分组通道的注意力加权融合特 征图XRj(j＝1,2, …,N)； 获取G分量图像所有分组通道的注意力加权融合特 征图XGj(j＝1,2, …,N)； 获取B分量图像所有分组通道的注意力加权融合特 征图XBj(j＝1,2, …,N)； 对所述R分量图像所有分组通道的注意力加权融合特征图进行堆叠操作， 构成堆叠的 分组特征图像X'Rj(j＝1,2, …,N)； 对所述G分量图像所有分组通道的注意力加权融合特征图进行堆叠操作， 构成堆叠的 分组特征图像X'Gj(j＝1,2, …,N)； 对所述B分量图像所有分组通道的注意力加权融合特征图进行堆叠操作， 构成堆叠的 分组特征图像X'Bj(j＝1,2, …,N)。 7.如权利要求6所述的一种基于RGB三分量分组注意力加权 融合的图像分类方法， 其特 征在于， 根据预设的金字塔残差网络结构， 依 次将所述堆叠的分组特征图进行特征叠加操 作， 得到上 下文增强特 征网络层的堆叠集 合， 包括： 根据预设的金字塔残差网络结构， 基于所述第2级卷积特征图以及第3级卷积特征图堆权　利　要　求　书 2/4 页 3 CN 114821121 A 3