(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221047195 3.0 (22)申请日 2022.04.29 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# 申请人 天津市农业科 学院　天津商业大 学 (72)发明人 于明　田赛　王建春　王岩　李扬　 于洋　阎刚　孙海波　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 付长杰 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于FCSA-EfficientNetV2的农作物病 害识别方法 (57)摘要 本发明为一种基于FCSA ‑EfficientNetV2的 农作物病害识别方法， 该识别方法首先对农作物 病害图 像 数 据预 处 理 ， 接 着 构建 F C S A ‑ EfficientNetV2模型， 然后将提取的特征输入到 全连接层得到预测结果， 最后使用带有标签平滑 的交叉熵与成本敏感正则化相结合的损失函数 更 新 模 型 参 数 并 保 存 ；所 述 F C S A ‑ EfficientNetV2模型以EfficientNetV2网络为 基础， 将注意力模 块FCSA替换EfficientNetV2网 络中MBConv模块的SE注意力模块。 注意力模块 FCSA先采用频域注意力获得特征在不同频域上 的关注度， 再使用空间注意力对 频域注意力的特 征进行空间上的关联， 来对 频域特征中需要关注 的位置增强关注度， 通过频域和空间注意力串 联 的方式构建FCSA模块， 经过注意力增强的特征图 输入到全连接层实现了不同作物病害及病害程 度的识别。 权利要求书5页 说明书13页 附图4页 CN 114863278 A 2022.08.05 CN 114863278 A 1.一种基于FCSA ‑EfficientNetV2的农作物病害识别方法， 其特征在于， 该识别方法首 先对农作物病害图像数据预处理， 接着构建FCSA ‑EfficientNetV2模型， 然后将提取的特征 输入到全连接层得到预测结果， 最后使用带有标签平滑的交叉熵与成本敏感正则化相结合 的损失函数 更新模型参数并保存； 所述FCSA ‑EfficientNetV2模型以EfficientNetV2网络为基础， 将注意力模块FCSA替 换EfficientNet V2网络中MBCo nv模块的SE注意力模块； 所述注意力模块FCSA的流程是： 将输入特征图分为N组特征， 对每组特征分别 采用不同 的频率分量在各个通道上进行离散余弦变换计算， 得到N组频域特征， 将得到的N组频域特 征进行concat拼接； 然后使用全连接层降低维数并使用ReLU激活函数， 再使用全连接层增 加维数至原特 征的通道数并使用sigmo id激活函数， 得到频域注意力特 征权重； 将输入特征图的特征F与频域注意力特征权重相乘， 得到频域注意力特征FFCA， 使用通 道维度上的平均池化处理频域注意力特征FFCA、 同时使用通道维度上的最大池化处理频域 注意力特征FFCA， 将平均池化和最大池化处理后的特征进 行特征拼接， 再使用卷积核 大小为 7×7的卷积层将通道数调整为 1层， 使用sigmoid激活函数， 得到频域空间位置特征权重， 将 频域注意力特 征FFCA与频域空间位置特 征权重相乘得到 输出频域空间特 征图FFCSA。 2.根据权利要求1所述的基于FCSA ‑EfficientNetV2的农作物病害识别方法， 其特征在 于， FCSA‑EfficientNetV2模型包括23个FCSA ‑MBConv模块和10个Fused ‑MBConv卷积模块， 每个FCSA ‑MBConv模块的流程是： 输入特征 →使用卷积核大小为1 ×1的卷积层扩展固定倍 率的通道数 →使用卷积核 大小为3×3的深度可分离卷积提取特征 →使用卷积核 大小为1× 1的卷积层 减少通道数 →得到特征图 →使用频域注意力提取频域注意力特征权重 →将特征 图与频域注意力特征权重相乘 →得到频域特征 →使用空间注意力提取频域空间位置特征 权重→将频域特征与 空间注意力提取的频域空间位置特征权重相乘 →得到频域空间特征 图→经过Dropout层对特征进行随机失活操作 →将得到的特征和原特征相加 →得到输出特 征。 3.一种基于FCSA ‑EfficientNetV2的农作物病害图像识别方法， 该识别方法的具体步 骤是： 第一步， 对农作物病害图像数据预处 理： 第1.1步， 获取农作物病害数据集： 获取AI Challenger  2018农作物病害数据集， 该数据集具有 10个物种、 26种病害， 有健 康、 一般和严重3种病害程度， 按植物种类 ‑病害‑病害程度划分方式共得到61类病害， 不同 病害由0到60的标签表 示， 其中第44、 45类一共仅3张图片， 由于这两类的数据量不足以支持 模型学习到相关特征， 因此剔除这两类， 病害种类由标签由0到58表示； 对数据集划分训练 集和测试集； 第1.2步， 为了扩充数据集， 对训练集的数据进行预处理操作， 包括： 随即裁剪、 随机水 平翻转、 调整图像尺寸和标准 化处理； 第二步， 构建FCSA ‑EfficientNet V2模型： 第2.1步， 将上述第1.2步得到 的病害图像作为网络输入， 单张图像大小为224 ×224× 3， 使用卷积核大小为3 ×3、 核步长为2的卷积层， 再经过归一化BN层和SiLU激活函数， 得到 输出特征图F2.1， 维度为1 12×112×24；权　利　要　求　书 1/5 页 2 CN 114863278 A 2第2.2步， 对特征图F2.1进行两次Fused ‑MBConv卷积操作， 均采用扩张比为1、 卷积核大 小为3×3的卷积层， 核步长为1， 得到 输出特征图F2.2， 维度为1 12×112×24； 第2.3步， 对特征图F2.2进行四次Fused ‑MBConv卷积操作， 均采用扩张比为4、 卷积核大 小为3×3的卷积层和大小为1 ×1的卷积层， Dropout层和残差连接， 其中仅第一次Fused ‑ MBConv卷积操作中3 ×3的卷积层核步长为2， 其余卷积层核步长均为1， 得到输出特征图 F2.3， 维度为5 6×56×48； 第2.4步， 对特征图F2.3进行四次Fused ‑MBConv卷积操作， 均采用扩张比为4、 卷积核大 小为3×3的卷积层和大小为1 ×1的卷积层， Dropout层和残差连接； 其中仅第一次Fused ‑ MBConv卷积操作核步长为2， 其余卷积层核步长均为1， 得到输出特征图F2.4， 维度为28 ×28 ×64； 第2.5步， 对特征图F2.4进行六次FCSA ‑MBConv卷积操作， 均采用扩张比为4、 卷积核大小 为1×1的卷积层， 卷积核大小为3 ×3的深度可分离卷积， 和卷积核 大小为1×1的卷积层， 注 意力模块FCSA， Dropout层和残差连接； 其中仅第一次FCSA ‑MBConv卷积操作核步长为2， 其 余卷积层核步长均为1， 得到 输出特征图F2.5， 维度为14 ×14×128； 第2.6步， 对特征图F2.5进行九次FCSA ‑MBConv卷积操作， 均采用扩张比为6、 卷积核大小 为1×1的卷积层， 卷积核大小为3 ×3的深度可分离卷积， 和卷积核 大小为1×1的卷积层， 注 意力模块FCSA， Dropout层和残差连接； 其中卷积层核步长为1， 得到输出特征图F2.6， 维度为 14×14×160； 第2.7步， 对特征图F2.6进行八次FCSA ‑MBConv卷积操作， 均采用扩张比为6、 卷积核大小 为1×1的卷积层， 卷积核大小为3 ×3的深度可分离卷积， 和卷积核 大小为1×1的卷积层， 注 意力模块FCSA， Dropout层和残差连接； 其中仅第一次FCSA ‑MBConv卷积操作核步长为2， 其 余卷积层核步长均为1， 得到 输出特征图F2.7， 维度为7 ×7×256； 第2.8步， 对特征 图F2.7使用卷积核大小为1 ×1的卷积层进行卷积， 再经过归一化BN层 和SiLU激活函数， 得到 输出特征图为F2.8， 维度为7 ×7×1280； 上述步骤第2.5步、 第2.6步和第2.7步中FCSA ‑MBConv卷积操作的具体方法为： 输入特征Fin， 依次经过卷积核大小为1 ×1的卷积层， 卷积核大小为3 ×3的深度可分离 卷积， 卷积核大小为1 ×1的卷积层， 注 意力模块FCSA和Dr opout层， 最后使用残差连接， 得到 经过一次FCSA ‑MBConv卷积操作的特 征Fout， 如公式(1)所示： Fout＝φdrop(φfcsa(C1(Cdw(C1(Fin)))))+Fin     (1) 其中： C1为卷积核大小为1 ×1的卷积层， Cdw为卷积核大小为3 ×3的深度可分离卷积层， φfcsa为注意力模块FCSA， φdrop为Dropout层； 具体地， 公式(