(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210367200.5 (22)申请日 2022.04.08 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 曹忠　陈俊全　尚文利　赵文静　 王锋　邓辉　梅盈　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 刘艳玲 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双向多级特征金字塔的阴影检测 方法 (57)摘要 本发明涉及阴影检测技术领域， 公开了一种 基于双向多级特征金字塔的阴影检测方法， 包括 以下步骤： 构建残差细化模块， 通过将两个相邻 层的特征图作为输入来逐步学习每一层的特征、 构建加权 特征融合模块， 通过学习权重参数来充 分利用不同尺度的特征、 构建双向多级特征金字 塔网络、 进行模型训练。 该基于双向多级特征金 字塔的阴影检测方法， 通过构建残差细化模块； 构建加权 特征融合模块； 构建双向多级特征金字 塔网络， 并将残差细化模块加入 特征金字塔网络 中， 从两个方向对输入的特征图进行多级特征融 合； 分利用高层特征的语义信息和底层特征的细 粒度特征， 通过多级的检测， 使模型预测的准确 性得到提高， 可广泛应用于阴影 检测技术领域。 权利要求书1页 说明书6页 附图2页 CN 114863232 A 2022.08.05 CN 114863232 A 1.一种基于双向多 级特征金字塔的阴影 检测方法， 其特 征在于， 包括以下步骤： S1、 构建残差细化模块 通过将两个相邻层的特 征图作为输入来逐步学习每一层的特 征； S2、 构建加权特 征融合模块 通过学习权重参数来充分利用不同尺度的特 征； S3、 构建双向多 级特征金字塔网络 通过两个不同方向的路径处理不同层的信息： 一个是从深层到浅层， 再利用得到的融 合层进行浅层到深层的处理， 另一个路径的方向则与之相反， 再使用加权特征融合来融合 两个方向的信息； S4、 进行模型训练 根据损失函数调整模型参数。 2.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述步骤S1中， 将两个相邻层的特征图作为输入， 通过使用基于残差学习的模块产生的精 炼输出特征Fr。 3.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述步骤S1中， 构建注意力模块， 并使用注 意力模块生成权重图； 将学习的注 意力图与 乘以 F， 然后使用逐 元素加法将其与Fr相加， 从而获得残差细化模块的输出细化特 征。 4.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述步骤S2中， 将两个方向特征金字塔的输出作为输入； 输入的不同层调整为特征大小相 同， 且通道数也相同。 5.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述步骤S2中， 特征图经过1 ×1的卷积得到不同的权重； 不同层的特征乘上权重参数相加 作为最终的输出。 6.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述步骤S3中， 将卷积神经网络提取的不同分辨率的特征图像作为双向多级 特征金字塔网 络的输入。 7.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述步骤S3中， 将残差细化模块加入特征金字塔网络中， 从两个方向对输入的特征图进行 多级特征融合； 将特 征金字塔的结果输入加权融合模块中， 得到最终输出。 8.根据权利要求1所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述进行模型训练包括 通过损失函数计算损失和根据损失调整模型参数。 9.根据权利要求8所述的一种基于双向多级特征金字塔的阴影检测方法， 其特征在于， 所述通过损失函数计算损失包括将双向多级 特征金字塔网络的10个输出， 以及融合后的一 个输出， 作为 监督项， 对每一项 进行二元交叉熵计算， 结果相加作为损失。权　利　要　求　书 1/1 页 2 CN 114863232 A 2一种基于双向多级特征金字塔的阴影检测方 法 技术领域 [0001]本发明涉及阴影检测技术领域， 具体为一种基于双向多级特征金字塔的阴影检测 方法。 背景技术 [0002]阴影检测一直是计算机视觉中基础却又困难的一个挑战， 阴影检测为获取图像中 的物体的形状与位置、 还原无光照环 境提供了可能。 与此同时， 阴影的存在也为进一步理解 图像带来了障碍， 所以， 阴影检测在物体的检测与跟踪、 语义分割、 智能驾驶等领域起到至 关重要的作用。 [0003]现有的阴影检测技术主要有两大类： 一类是传统的阴影检测方法， 还有一类是基 于深度学习的阴影检测方法。 传统的阴影检测方法主要 是利用颜色、 梯度、 纹理等特征进 行 阴影检测， 例如Guo等人在 “Guo R,Dai Q,Hoiem D,et al.Paired  regions for shadow  detection  and removal[J].IEEE  Transactions  on Pattern Analysis  and Machine  Intelligence,2013,35(12):2956－2967. ”中提出利用色彩和纹理的方法进行训练， 虽然 传统的阴影检测方法取得一定的成果， 但是这种 方法过度依赖人为选取 的特征， 在 复杂的 场景效果 不佳。 [0004]近年来， 基于深度学习就是的阴影检测方法进一步提高了阴影检测的准确性， Hu 等人在“X.Hu,C. ‑W.Fu,L.Zhu,J.Qin  and P.‑A.Heng,"Direction ‑Aware Spatial  Context Features  for Shadow Detection  and Removal,"in  IEEE Transactions  on  Pattern Analysis  and Machine Intelligence,vol.42,no.11,pp.2795 ‑2808, 1Nov.2020,doi:10.1109/TPAMI.2019.2919616. ”中提出了基于空间上下文特征的阴影检 测方法， 通过学习从不同方向的上下文特征来分析图像， 取得了不错的结果。 在 “Z.Chen, L.Zhu,L.Wan,S.Wang,W.Feng  and P.‑A.Heng,"A  Multi‑Task Mean Teacher for Semi‑ Supervised  Shadow Detection,"2020  IEEE/CVF  Conference  on Computer  Vision and  Pattern  Recognition(CVPR) ,2020 ,pp .5610 ‑5619 ,doi:10 .1109/ CVPR42600.2020.00565. ”中， Chen等人提出的一种多任务均值半监督阴影检测方法， 设计 了一个多任务CNN， 完成阴影区域、 阴影边缘和阴影计数检测的相互学习， 并将该模型作为 学生网络和教师网络。 在所有未标注的数据上， 分别强制学生网络和教师网络的三个任务 的结果一致。 这种方法显著提高了阴影 检测的准确性。 [0005]以上深度学习的阴影检测方法相对于传统的阴影检测方法， 准确性得到了显著的 提高， 但是依然有不足的地方， 面对训练数据不 足， 必须要充分挖掘数据更高层次的信息才 能得到更好的准确性。 发明内容 [0006](一)解决的技 术问题 [0007]针对现有技术的不足， 本发明提供了一种基于双向多级特征金字塔的阴影检测方说　明　书 1/6 页 3 CN 114863232 A 3