(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210365378.6 (22)申请日 2022.04.08 (65)同一申请的已公布的文献号 申请公布号 CN 114445430 A (43)申请公布日 2022.05.06 (73)专利权人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 石敏　沈佳林　易清明　骆爱文　 戴国帅　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 林丽明 (51)Int.Cl. G06T 7/11(2017.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112330681 A,2021.02.0 5 审查员 洪汇隆 (54)发明名称 轻量级多尺度特征融合的实时图像语义分 割方法及系统 (57)摘要 本发明提出一种轻量级多尺度特征融合的 实时图像语义分割方法， 包括： 构建包括初始化 模块、 分离 ‑提取‑合并瓶颈模块、 分区 ‑融合通道 注意力模块、 特征融合模块和多尺度注意力解码 器的图像语义分割网络。 通过图像语义分割网络 提取待处理图像初始特征图的多尺度特征， 得到 多尺度特征图； 提取并融合初始特征图的全局通 道信息和局部通道信息， 得到通道信息特征图； 将多尺度特征图、 通道信息特征图和原始的待处 理图像进行特征融合， 得到融合特征图； 基于融 合特征图进行图像精度恢复， 得到图像语义分割 结果。 本发 明能够在参数量相对较小的轻量级图 像语义分割网络模型中保证模型的精度和准确 率， 提高模型的推理速度， 实现图像的实时语义 分割。 权利要求书4页 说明书18页 附图7页 CN 114445430 B 2022.06.21 CN 114445430 B 1.轻量级 多尺度特 征融合的实时图像 语义分割方法， 其特 征在于， 包括以下步骤： S1： 构建图像语义分割网络， 所述图像语义分割网络包括初始化模块、 分离 ‑提取‑合并 瓶颈模块、 分区 ‑融合通道注意力模块、 特征融合模块和多尺度 注意力解码 器； 所述分离 ‑提 取‑合并瓶颈模块包括若干个依次连接的分离 ‑提取‑合并瓶颈结构； S2： 将待处理图像输入所述图像语义分割网络， 图像语义分割网络输出图像语义分割 结果； 其中， 所述初始化模块对待处理图像进行特征提取， 得到待处理图像的初始特征图， 具 体包括以下步骤： 将待处理图像经 过卷积层进行 卷积操作， 得到第一特 征图； 将所述第 一特征图与原始的待处理图像进行并行拼接， 将拼接结果经过一个1 ×1卷积 层进行卷积操作后， 得到第二特 征图； 所述分离 ‑提取‑合并瓶颈模块采用分离特征通道提取初始特征图的多尺度特征， 得到 多尺度特 征图， 具体包括以下步骤： 将第二特征图输入第 一个分离 ‑提取‑合并瓶颈结构， 所述第二特征图经过一个3 ×3的 标准卷积层进 行卷积操作后， 将卷积操作结果通过通道分离生成两个特征图分别经过一个 3×3的深度可分离卷积层和经 过一个3×3的深度可分离空洞卷积层进行 卷积操作； 将两个卷积操作结果进行合并， 然后将合并结果经过一个3 ×3的标准卷积层进行卷积 操作后与输入当前分离 ‑提取‑合并瓶颈结构的特征图进行特征映射， 将特征映射结果输入 下一个分离 ‑提取‑合并瓶颈结构进行处 理； 经过若干个分离 ‑提取‑合并瓶颈结构处 理后， 得到多尺度特 征图； 所述分区 ‑融合通道注意力模块提取并融合初始特征图的全局通道信 息和局部通道信 息， 得到通道信息特 征图； 所述特征融合模块将多尺度 特征图、 通道信 息特征图和 原始的待处理图像进行特征融 合， 得到融合特 征图； 所述多尺度注意力解码器基于融合特征图进行图像精度恢复， 得到图像语义分割结 果。 2.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法， 其特征在 于， 在一个 分离‑提取‑合并瓶颈结构中， 所述3 ×3的标准卷积层、 3 ×3的深度可分离卷积层 和3×3的深度可分离空洞卷积层的输出端均依次连接有PReLU激活层和BN层。 3.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法， 其特征在 于， 所述分区 ‑融合通道注意力模块包括全局注 意力生成支路和局部注意力融合支路； 所述 分区‑融合通道注意力模块提取并融合初始特征图的全局 通道信息和局部通道信息， 得到 通道信息特 征图的步骤 包括： 将所述分离 ‑提取‑合并瓶颈模块中第一个分离 ‑提取‑合并瓶颈结构输出的特征图A输 入分区‑融合通道注意力模块后分别进入 全局注意力生成支路和 局部注意力融合支路； 对输入全局注意力生成支路的特征图A1进行全局平均池化并学习特征图A1的通道权 值， 得到学习特 征图A1的全局通道信息； 对输入局部注意力融合支路的特征图A2进行分区处理， 将特征图A2分为k个区域； 对特 征图A2的k个区域分别进行全局 平均池化并学习k个区域的平均池化值， 得到特征图A2的局权　利　要　求　书 1/4 页 2 CN 114445430 B 2部通道信息； 将所述全局通道信 息和所述局部通道信 息进行加权 融合， 根据加权 融合结果对输出特 征图进行 特征提取， 得到通道信息特 征图。 4.根据权利要求3所述的轻量级多尺度特征融合的实时图像语义分割方法， 其特征在 于， 所述特征融合模块将多尺度特征图、 通道信息特征图和原始的待处理图像进行特征融 合， 得到融合特 征图的步骤 模块的步骤 包括： 所述特征融合模块对多尺度 特征图、 通道信 息特征图和 原始的待处理图像进行通道方 向上的拼接， 将拼接结果经 过一个1×1卷积层进行 卷积操作， 得到融合特 征图。 5.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法， 其特征在 于， 将待处 理图像经 过卷积层进行 卷积操作， 得到第一特 征图的步骤 包括： 将待处理图像输入初始化模块， 待处理图像经过一个步长为2的3 ×3的标准卷积层进 行卷积操作， 然后将卷积操作连续经过两个3 ×3的标准卷积层进行卷积操作， 得到第一特 征图。 6.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法， 其特征在 于， 所述分离 ‑提取‑合并瓶颈模块包括第一分离 ‑提取‑合并瓶颈模块和第二分离 ‑提取‑合 并瓶颈模块； 所述分区 ‑融合通道注 意力模块包括第一分区 ‑融合通道注意力模块和 第二分 区‑融合通道注意力模块； 所述特征融合模块包括第一特征融合模块和第二特征融合模块； 则将待处理图像输入图像语义分割网络， 图像语义分割网络输出图像语义分割结果的步骤 包括： 将待处理图像经过卷积层进行卷积操作， 得到第一特征图； 将所述第一特征图与原始 的待处理图像进行并行拼接特 征融合得到第二特 征图； 将所述第 二特征图进行下采样后输入第一分离 ‑提取‑合并瓶颈模块， 第 二特征图经过 若干个分离 ‑提取‑合并瓶颈结构进行多尺度特征提取， 得到第一多尺度特征图； 将第一分 离‑提取‑合并瓶颈模块中的第一个分离 ‑提取‑合并瓶颈结构的输出特征图传输至第一分 区‑融合通道注意力模块， 所述第一分区 ‑融合通道注意力模块提取并融合所述输出特征图 的全局通道信息和局部通道信息， 得到第一通道信息特征图； 将所述第一多尺度特征图、 第 一通道信息特征图和待处理的原始图像输入第一特征融合模块， 第一特征融合模块将第一 多尺度特征图、 第一通道信息特征和原始的待处理图像进行特征融合， 得到第一融合特征 图； 将所述第 一融合特征图进行一 次下采样后输入第 二分离‑提取‑合并瓶颈模块， 第一融 合特征图经过若干个分离 ‑提取‑合并瓶颈结构进 行多尺度特征提取， 得到第二多尺度特征 图； 将第二分离 ‑提取‑合并瓶颈模块中的第一个分离 ‑提取‑合并瓶颈结构的输出特征图传 输至第二分区 ‑融合通道注意力模块， 所述第二分区 ‑融合通道注 意力模块提取并融合所述 输出特征图的全局 通道信息和局部通道信息， 得到第二通道信息特征图； 将所述第二多尺 度特征图、 第二通道信息特征图和原始的待处理图像输入第二特征融合模块， 第二特征融 合模块将第二多尺度特征图、 第二通道信息特征和原始的待处理图像进行特征融合， 得到 第二融合特 征图； 将所述第一融合特征图和第 二融合特征图输入所述多尺度注意力解码器， 多尺度注意 力解码器根据第一融合特征图和 第二融合特征图进行图像精度恢复， 得到图像语义分割结权　利　要　求　书 2/4 页 3 CN 114445430 B 3