(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210507746.6 (22)申请日 2022.05.11 (71)申请人 中国科学院合肥物质科 学研究院 地址 230031 安徽省合肥市蜀山区蜀山湖 路350号 (72)发明人 谢成军　钱少伟　杜健铭　张洁　 李瑞　陈红波　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/02(2006.01) (54)发明名称 一种基于因果干预技术的小样本害虫图像 识别方法 (57)摘要 本发明涉及一种基于因果干预技术的小样 本害虫图像识别方法， 与现有技术相比解决了小 样本害虫图像识别率低的缺陷。 本发 明包括以下 步骤： 公开数据集的获取； 构建和训练嵌入模型； 小样本害虫图像的获取、 标记和预处理； 构建并 训练小样 本害虫图像识别模型。 本发 明利用了因 果干预对特征进行分层， 缓解了预训练知识中混 杂因子带来的影 响， 提高了在 小样本情况下害虫 图像识别的准确率， 增加了小样 本害虫图像识别 算法的鲁棒 性。 权利要求书3页 说明书8页 附图1页 CN 114863280 A 2022.08.05 CN 114863280 A 1.一种基于因果干预技 术的小样本害虫图像识别方法， 其特 征在于， 包括以下步骤： 11)公开数据集的获取： 从公开数据集中获取大量数据集， 并将其划分为基类数据集和 验证集， 分别用于训练和选择嵌入 模型； 12)构建和训练嵌入模型： 利用基类数据集训练嵌入模型， 并在训练过程中使用验证集 选择合适的嵌入 模型用于特 征提取； 13)小样本害虫图像的获取、 标记和预处理： 获取小样本图像数据集， 将小样本害虫图 像进行标注和预 处理， 其中， 标注的小样本害虫图像数据作为支撑集数据， 未标注的小样本 害虫图像作为 查询集数据； 14)构建并训练小样本害虫图像识别模型： 利用训练好的嵌入模型， 构建小样本害虫图 像识别模型， 同时使用支撑集和查询集数据对其进行训练， 并得到小样本害虫图像识别结 果。 2.根据权利要求1所述的一种基于因果干预技术的小样本害虫图像识别方法， 其特征 在于， 所述的构建和训练嵌入 模型包括以下步骤： 21)构建嵌入 模型； 211)采用ResNet ‑12作为嵌入模型， 其包含四个残差块， 输出的通道数分别是64、 160、 320和640； 212)设定每个残差块包含三个卷积操作， 其均使用3 ×3大小的卷积核， 且每个卷积操 作之后使用了归一 化操作； 213)设定每个残差块之后进行最大池化， 第四个残差块还进行全局平均池化， 平均池 化输出的特 征作为该图像的嵌入特 征； 214)设定在预训练时， 根据基类数据的类别数， 将连接上多分类线性分类器用于预测 基类类别， 连接上四分类线性分类器用于预测图像被旋转的角度； 在微调时， 根据小样 本害 虫图像的类别数， 将连接上多分类线性分类 器用于微调并预测小样本害虫的类别； 22)训练嵌入 模型； 221)使用旋转自监 督预训练嵌入 模型； 在训练嵌入模型的过程中， 使用一个额外的四分类线性分类器预测图片被旋转角度， 旋转自监 督的损失函数Lrotation为： Lroation＝L(C4(fθ(xr)),r)， 其中， r为旋转的角度， x为输入的图片数据， xr为旋转r度的图片， L为标准的交叉熵损 失， fθ(xr)为嵌入模型的输出， C4为一个四分类分类 器， r∈{0 °， 90°， 180°， 270°}； 222)使用流形混合预训练嵌入 模型； 在对每个batch的图像进行训练时， 随机选择一个嵌入模型的网络层， 对这些数据在这 个网络层上的特 征图进行流形混合； 流形混合后的特 征 和标签 分别为： 流形混合后的损失函数为：权　利　要　求　书 1/3 页 2 CN 114863280 A 2其中， fl(x1)和fl(x2)分别为训练数据(xi,yi)和(xj,yj)在嵌入模型中第l层的特征表 示； β ∈[0,1]； yi和yj均为One‑hot标签； L 为标准的交叉熵损失； g为 l层之后模型表示； 223)对于每个batch的图像数据， 先将所有图片旋转0 °、 90°、 180°和270°， 然后进行流 形混合； 对于流形混合， 不仅对未旋转的图像进行流形混合， 也对旋转后的图像进行流形混合， 意味着旋转角度的标签同样进行流形混合中的标签 变换； 在每个周期的数据训练完后， 使用验证集数据采样多个小样本任务， 同样， 每个小样本 任务中包含少量支撑集数据和大量查询集数据； 接着， 固定嵌入模型， 使用验证集上的该小 样本任务中的支撑集数据对最后一层的分类器进行微调； 最后， 使用微调好的模型对该小 样本任务中的查询集数据进行测试， 保存测试结果最好的嵌入模型， 得到一个训练好的嵌 入模型； 在训练好一个嵌入模型后， 重新设置训练时的随机化种子， 训练新的嵌入模型， 以此训 练n个嵌入 模型。 3.根据权利要求1所述的一种基于因果干预技术的小样本害虫图像识别方法， 其特征 在于， 所述的构建并训练小样本害虫图像识别模型包括以下步骤： 31)特征提取操作： 使用训练好的嵌入模型对支撑集和查询集数据进行特征提取， 并对 所提取的特 征进行特征处理； 32)使用转 导学习或者归纳学习的方式对前述得到的特 征进行处 理； 33)使用所 得到的特 征微调多个分类 器并对未 标注的查询集图像进行测试。 4.根据权利要求3所述的一种基于因果干预技术的小样本害虫图像识别方法， 其特征 在于， 所述特 征提取操作包括以下步骤： 41)在该小样本害虫识别任务上， 先对每个支撑集数据随机裁剪k次， 并将其输入嵌入 模型中； 对k个输出的特 征向量取平均后， 所 得的特征向量作为该支撑集数据的特 征 由于使用了n个不同的嵌入模型， 故得同一数据相对应的n个不同的特征向量 42)将这n个向量拼接起来， 作为该小样本图像的特征 并对这个特征 进行中心变换： 其中， 表示某个基类数据通过特征预处理后 得到的特征向量， 其 未经过中心变换； 表示所有基类数据的平均特征， 其代表着数据集映射到嵌入空间后 的特征中心； k表示基 类数据的数量； xc代表将特征原点平 移到特征中心后的特 征向量。 5.根据权利要求3所述的一种基于因果干预技术的小样本害虫图像识别方法， 其特征 在于， 所述使用转 导学习或者归纳学习的方式对前述得到的特 征进行处 理包括以下步骤：权　利　要　求　书 2/3 页 3 CN 114863280 A 3