(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210347321.3 (22)申请日 2022.04.01 (71)申请人 华南农业大 学 地址 510640 广东省广州市天河区五山路 483号 (72)发明人 黄栋　陈定华　劳景欢　邓小智　 徐元琨　方思国　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01)G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多网络层集成的昆虫图像深度聚 类方法 (57)摘要 本发明公开了一种基于多网络层集成的昆 虫图像深度聚类方法， 包括无监督深度聚类网络 训练、 基聚类生成、 集成聚类三个阶段； 该方法同 时利用深度神经网络中的多网络层特征信息来 生成一组差异化的基聚类， 进而基于二部图模型 对神经网络多网络层的基聚类进行融合， 以构建 一个更准确的深度聚类结果。 本发 明首次提出在 集成聚类框架下同时利用深度神经网络的多网 络层特征进行统一建模， 以融合多网络层特征构 建更稳定、 准确的聚类结果； 该方法在处理不同 的数据集时不需要进行额外地调参， 也能取得稳 定的聚类效果， 可适用于不同的深度聚类框架， 以充分利用深度神经网络中的多网络层信息， 显 著提升其聚类准确性和稳定性。 权利要求书2页 说明书8页 附图2页 CN 114897048 A 2022.08.12 CN 114897048 A 1.一种基于多网络层集成的昆虫图像深度聚类方法， 其特 征在于， 包括以下步骤： 获取待进行昆虫图像分类预测的无标签昆虫图像； 构建昆虫图像数据集， 对昆虫图像 数据集进行数据增强处理， 得到昆虫图像样本集； 将昆虫图像样本集中的样本依 次输入卷 积神经网络来获得每个样本的样本特征， 然后对学习到的样本特征进行降维， 得到样本对 应的低维特征向量； 将样本集中的样本划分为K个簇， 从而得到每个样本对应的伪标签； 使 用可训练的线性分类 器来预测所述样本特 征的标签， 对卷积神经网络和分类 器进行训练； 每个样本在卷积神经网络的处理过程中， 将各卷积层的特征输出展开为一维向量的形 式， 然后对卷积层、 全连接层的特征输出进行降维处理； 对于任意的基聚类， 在预设的区间 内随机选择其聚类簇数， 然后随机初始化聚类簇数和簇心； 对所述降维处理后的特征输出 生成多个 基聚类， 构建基聚类集 合； 基于所述基聚类集合得到簇集合， 以昆虫图像数据集中的各样本和簇集合中的各簇当 作节点， 将所有节点之间的相似性信息构造成二部图结构， 对二部图进行分割进而得到最 终的昆虫图像聚类结果， 即为对昆虫图像数据集中每张昆虫图像的类别预测。 2.根据权利要求1所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 通 过优化以下问题来联合学习分类 器的参数W和卷积神经网络的参数θ： 其中L(·)为交叉熵损失函数， θ和W分别表示卷积神经网络fθ(·)和分类器gW(·)中的 参数， N为样本集X ′的大小， xn表示第n个样本； 基于交叉熵损失函数， 使用小批量随机梯度 下降法和反向传播 来更新网络的权 重。 3.根据权利要求1所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 使 用AlexNet的前七层作为所述的卷积神经网络fθ(·)， 最后一层更改为自定义的全连接层， 以作为分类器gW(·)； 该自定义的全连接层的神经元个数等于昆虫图像样本集X ′的类别数 以实现对昆虫图像的分类操作。 4.根据权利要求1所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 所 述二部图为G＝{X,C,B}， 其中X∪C为节点集， B为交叉相似度矩阵， 即图G的边权值矩阵， 用 于表示节点 集X和节点 集C之间的相似性； X表示昆虫图像数据集， C表示簇集 合； 交叉相似度矩阵B中的元 素bij构造如下： 其中， xi表示X中的样本， Cj表示基聚类集中的第j个簇 。 5.根据权利要求1所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 将 二部图G视为具有N+kc个节点的一般图， 其全相似性矩阵可表示 为： 其中， N表示昆虫图像数据集X中的样本数， kc为基聚类集 合中簇的数量； 谱聚类通过解决以下 特征值问题来 求解L的特征向量u， 进 而划分图G： Lu＝γDu                           (2) 其中L＝D ‑E是图拉普拉斯算子， D是E的度矩阵， 表示实数集； γ、 u表示特征值集合、 特权　利　要　求　书 1/2 页 2 CN 114897048 A 2征向量集合， 求解式2特征值问题的所 得到前k个特 征值和特 征向量记为 6.根据权利要求1所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 所 述对二部图进行分割进 而得到最终的昆虫图像聚类结果， 包括： 将二部图G的特征值问题的求解， 转化为使用G中极小部分节点集合C所构造的图GC＝ {C,EC}的特征值问题： Lcv＝ λDCv                           (3) 其中λ、 v表示特征值集合、 特征向量集合， 是相似度矩阵， 上标T表示转 置， Dx是对角矩阵， 其第(i,i)项是B的第i行之和， LC＝DC‑EC是图拉普拉斯算子， DC是EC的度 矩阵； 定义 是求解特征值式3的所得到GC的前k个特征值和特征向量， 基于GC的特征向 量集合 和特征值集合 可以求解式2的特征值问题得到关于G的前k个特征值 借助昆虫图像数据集X到簇集合C的转移概率矩阵T， 关于昆虫图像数据集X的N个样 本的图结构对应的前k个特征向量 可获得； 进而求得二部图G的前k个特征向量 7.根据权利要求6所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 将 得到的k个特征向量u1,u2,...,uk堆叠为一个(N+kc)×k大小的矩阵， 将该矩阵的每一行作 为一个新的特征向量， 在该矩阵上使用k均值算法将昆虫图像数据集的N个样本离散化， 形 成k个簇， 从而得到最终的集成聚类结果， 即得到 了针对于无 标签昆虫 数据集X的聚类结果。 8.根据权利要求1所述的基于多 网络层集成的昆虫图像深度聚类方法， 其特征在于， 所 述预设区间为 其中K和N分别表示数据集的类别数以及数据集中的样本数量。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 处理器执行计算机程序时实现根据权利要求1至8中任一 权利要求所述基于多网络层集成的昆虫图像深度聚类方法的步骤。 10.一种计算机可读存储介质， 计算机可读存储介质存储有计算机程序， 其特征在于， 计算机程序被处理器执行时实现根据权利要求1至8 中任一权利要求所述基于多网络层集 成的昆虫图像深度聚类方法的步骤。权　利　要　求　书 2/2 页 3 CN 114897048 A 3