(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210120588.9 (22)申请日 2022.02.07 (71)申请人 华能华家岭风力发电有限公司 地址 743305 甘肃省定西市通渭县华家岭 乡老站村 申请人 中国华能集团清洁能源技 术研究院 有限公司 (72)发明人 邸智　万芳　曹朔　曾谁飞　 黄思皖　韦玮　白新奎　满锋利　 李恭斌　薛录宏　李小翔　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄垚琳 (51)Int.Cl. G06T 7/00(2017.01)G06K 9/00(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多模态的风机叶片缺陷检测方法、 系 统、 设备及装置 (57)摘要 本发明提出了基于多模态的风机叶片缺陷 检测方法、 系统、 设备及装置， 其中方法包括获取 风机叶片表面图像； 采集风机叶片 的振动， 得到 风机叶片的运行时序振动数据； 将风机叶片的表 面图像和风机叶片的振动数据输入到模型中， 其 中模型为使用多组数据通过多模态深度学习方 法训练出来的， 多组数据包括第一类数据和第二 类数据， 第一类数据中的每一组数据均包括风机 叶片表面图像和用来标识风机叶片表面图像上 缺陷位置和类别的标签， 第二类数据中的每一组 数据均包括风机叶片的振动数据和用来标识风 机叶片振动数据中缺陷类别的标签： 获取模型的 输出信息， 其中， 输出信息包括风机表面缺陷的 位置和类别。 本发明方法提升了对风机叶片缺陷 位置和类别检测准确率。 权利要求书2页 说明书6页 附图2页 CN 114549436 A 2022.05.27 CN 114549436 A 1.一种基于多模态的风机叶片缺陷检测方法， 其特 征在于， 包括： 获取风机叶片表面图像； 采集风机叶片的振动， 得到风机叶片的运行时序振动数据； 将风机叶片的表面图像和风机叶片的振动数据输入到模型中， 其中模型为使用多组数 据通过多模态深度学习 方法训练出来的， 多组数据包括第一类数据和第二类数据， 第一类 数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置 和类别的标签， 第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识 风机叶 片振动数据中缺陷类别的标签； 获取模型的输出信息， 其中， 输出信息包括 风机表面 缺陷的位置和类别。 2.根据权利要求1所述的一种基于多模态的风机叶片缺陷检测方法， 其特征在于， 所述 多模态深度学习方法包括： 对风机叶片表面图像进行 数据增强； 对风机叶片的振动数据进行 数据增强。 3.根据权利要求2所述的一种基于多模态的风机叶片缺陷检测方法， 其特征在于， 所述 多模态深度学习方法还 包括： 使用深度全卷积网络从风机叶片的表面图像数据提取 出图像特 征层； 使用全卷积网络对风叶 叶片的振动数据进行 滤波， 获得 特征频率信号。 4.根据权利要求3所述的一种基于多模态的风机叶片缺陷检测方法， 其特征在于， 所述 多模态深度学习方法还 包括： 对图像的有效特 征层进行多池化层、 多尺寸特 征层融合； 对融合后的图像有效特 征层进行解耦。 5.根据权利要求4所述的一种基于多模态的风机叶片缺陷检测方法， 其特征在于， 所述 多模态深度学习方法还 包括： 使用双层双向LSTM网络， 对风机叶片的振动数据按振动信号时间先后顺序进行时序关 联特征提取。 6.根据权利要求5所述的一种基于多模态的风机叶片缺陷检测方法， 其特征在于， 所述 多模态深度学习方法还 包括： 使用多层卷积结构对风机叶片表面图像处理后的有效特征和振动信号有效特征进行 融合； 根据融合后的有效特 征， 对风机叶片表面 缺陷的位置和类别进行 预测。 7.一种基于多模态 的风机叶片缺陷检测系统， 其特征在于， 包括： 缺陷检测装置、 摄像 装置和振动采集装置， 其中， 摄像装置， 用于获取风机叶片表面图像； 振动采集装置， 用于采集 风机叶片的振动， 得到风机叶片的运行时序振动数据； 缺陷检测装置， 用于将风机 叶片的表面图像和风机 叶片的振动数据输入到模型中， 其 中模型为使用多组数据通过多模态深度学习方法训练出来的， 多组数据包括第一类数据和 第二类数据， 第一类数据中的每一组数据均包括风机叶片表面图像和用来标识 风机叶片表 面图像上缺陷位置和类别的标签， 第二类数据中的每一组数据均包括风机叶片的振动数据 和用来标识风机叶片振动数据中缺陷类别的标签；权　利　要　求　书 1/2 页 2 CN 114549436 A 2以及用于获取模型的输出信息， 其中， 输出信息包括 风机表面 缺陷的位置和类别。 8.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6 任一项所述方法的步骤。 9.一种基于多模态的风机叶片缺陷检测装置， 其特 征在于， 包括： 图像采集模块， 用于获取风机叶片表面图像； 振动采集模块， 用于采集 风机叶片的振动， 得到风机叶片的运行时序振动数据； 输入模块， 用于将风机叶片的表面图像和风机叶片的振动数据输入到模型中； 模型， 模型是使用多组数据通过多模态深度学习方法训练出来的， 多组数据包括第一 类数据和 第二类数据， 第一类数据中的每一组数据均包括风机叶片表面图像和用来标识 风 机叶片表面图像上缺陷位置和类别的标签， 第二类数据中的每一组数据均包括风机叶片的 振动数据和用来标识风机叶片振动数据中缺陷类别的标签； 输出模块， 用于获取模型的输出信息， 其中， 输出信息包括风机表面缺陷的位置和类 别。权　利　要　求　书 2/2 页 3 CN 114549436 A 3