(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210587259.5 (22)申请日 2022.05.27 (71)申请人 沈阳农业大 学 地址 110161 辽宁省沈阳市沈河区东陵路 120号 (72)发明人 曹英丽　管宽岐　蔺雨桐　王笑伟　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 姬莉 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度卷积神经网络的光伏板热斑 检测方法及装置 (57)摘要 本发明提供了一种基于深度卷积神经网络 的光伏板 热斑检测方法及装置， 属于光伏板热斑 检测技术领域， 包括： 获取光伏板红外图像； 利用 改进的目标检测算法Yolov4构建光伏板识别模 型， 通过光伏板识别模型识别并截 取光伏板红外 图像中的光伏板； 利用优化的语义分割算法 DeepLabV 3+构建热斑分割模型， 通过热斑分割模 型对截取到的光伏板上的热斑进行检测分割。 本 发明通过对Yolov4特征提取网络进行替换， 实现 对航拍红外图像光伏板的快速识别， 解决红外图 像地面背景影响的问题， 将MobileNetV2网络引 入DeeplabV3+模型中实现对上述识别结果进行 热斑的快速分割， 可以精确检测出 热斑。 权利要求书2页 说明书10页 附图7页 CN 114973032 A 2022.08.30 CN 114973032 A 1.一种基于深度卷积神经网络的光伏板热斑 检测方法， 其特 征在于， 包括以下步骤： 获取光伏板红外图像； 利用改进的目标检测算法Yolov4构建光伏板识别 模型， 通过所述光伏板识别 模型识别 并截取所述光伏板红外图像中的光伏板； 利用优化的语义分割算法DeepLabV3+构 建热斑分割模型， 通过所述热斑分割模型对截 取到的光伏板上的热斑进行检测分割； 所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络 CSPDarknet53替换为轻量型网络MobileNetV2， 并将加强特征提取网络PAnet中标准3 ×3卷 积替换为深度可分离卷积； 所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络 Xception替换为轻量型网络 MobileNetV2。 2.根据权利要求1所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 通过无人机航拍获取 所述光伏板红外图像。 3.根据权利要求1所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 通过所述光伏板识别模型识别并截取 所述光伏板红外图像中的光伏板， 包括以下步骤： 通过所述改进的目标检测算法Yolov4的主干特征提取网络MobileNetV2对输入的所述 光伏板红外图像进行初步的特 征提取， 获得初步的特 征层； 通过所述改进的目标检测算法Yolov4的空间金字塔池化网络SPP对所述特征层进行不 同尺度的池化处 理， 在经过级联后进行3 ×3卷积； 将卷积后的特征输入加强特征提取网络PAne进行特征融合， 获得预测框的四个坐标 top、 left、 bot tom、 right； 通过获取的预测框的四个坐标top、 left、 bottom、 right， 利用矩阵的形式对所述光伏 板识别模型识别， 得到光伏板识别结果图片并进行截取。 4.根据权利要求1所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 通过所述热斑分割模型对 截取到的光伏板上的热斑进行检测分割， 包括以下步骤： 在所述优化 的语义分割算法DeepLabV3+的编码器中， 利用MobileNetV2网络的空洞卷 积提取光伏板上的热斑特 征， 将热斑特 征合并后进行1 ×1卷积压缩， 输出高级特 征； 在所述优化的语义分割算法DeepLabV3+的在解码器中， 将编码器中的低级特征进行1 ×1卷积降维之后与高级 特征进行特征融合， 恢复目标边界， 并解码出最 终的光伏板上的热 斑。 5.根据权利要求4所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 所述优化的语义分割算法DeepLabV3+采用的损失函数为Dice损失函数与交叉熵损失函数 相结合得到的损失函数， 表示式为： 式中， H为图像的高度， W为图像的宽度， pi， j为以位置(i,j)处为前景的预测概率， gi， j为 位置(i,j)处的标签， 标签为0或1。 6.根据权利要求2所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 在通过所述光伏板识别模型进行光伏板识别前通过数据增广技术对所述光伏板红外图像权　利　要　求　书 1/2 页 2 CN 114973032 A 2进行预处理， 实现数据扩充。 7.根据权利要求6所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 利用数据增广技 术对所述 光伏板红外图像数据进行 预处理， 包括以下步骤： 对将所述 光伏板红外图像随机 旋转0‑120°形成扩充后的光伏板红外图像； 或将所述光伏板红外图像向右平移并旋转180 °形成扩充后的光伏板红外图像， 使检测 目标位于不同的位置； 或使所述光伏板红外图像变暗形成扩充后的光伏板红外图像， 用来模拟 实际拍摄时出 现的问题； 对扩充后的光伏板红外图像进行 标记， 用于网络的训练。 8.根据权利要求7所述的基于深度卷积神经网络的光伏板热斑检测方法， 其特征在于， 还包括利用扩充后的光伏板红外图像对所述光伏板识别模型和热斑分割模型进行参数训 练： 对所述光伏板识别模型进行参数训练包括： 将扩充后的光伏板红外图像按照训练集与验证集比例8： 2进行划分， 训练过程分为冻 结阶段和解冻阶段； 冻结阶段主干网络被冻结， 特征提取网络不发生改变； 解冻阶段主干不被冻结， 特征提 取网络改变； 使用已经训练好的预训练权重， 在冻结阶段初始学习率为1e ‑3， 训练50次， 解冻阶段初 始学习率为1e ‑4， 训练50次， 共100次； 在更换主干网络后， 每个模 型进行3次的重复试验， 取 平均值作为试验结果； 对所述热斑分割模型进行参数训练包括： 在光伏板识别结果图片中， 筛选出具有热斑的图片若干张按照训练集与验证集比例9： 1进行划分； 使用已经训练好的预训练权重， 在冻结阶段初始学习率为1e ‑3， 训练35次， 解冻阶段初 始学习率 为1e‑4， 训练35次， 共70次； 同样采用试验3次取 各指标平均值作为结果。 9.一种基于深度卷积神经网络的光伏板热斑 检测装置， 其特 征在于， 包括： 图像获取 单元， 用于获取光伏板红外图像； 识别单元， 用于利用改进 的Yolov4算法构建光伏板识别模型， 通过光伏板识别模型识 别并截取光伏板红外图像中的光伏板； 分割单元， 利用优化的语义分割算法DeepLabV3+构建热斑分割模型， 通过所述热斑分 割模型对 截取到的光伏板上的热斑进行检测分割； 所述目标检测算法Yolov4的改进包括将Yolov4算法的主干特征提取网络 CSPDarknet53替换为轻量型网络MobileNetV2， 并将加强特征提取网络PAnet中标准3 ×3卷 积替换为深度可分离卷积； 所述语义分割算法DeepLabV3+的优化包括将主干特征提取网络 Xception替换为轻量型网络 MobileNetV2。权　利　要　求　书 2/2 页 3 CN 114973032 A 3