(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210447169.6 (22)申请日 2022.04.26 (71)申请人 中国海洋石油集团有限公司 地址 100010 北京市东城区朝阳门北 大街 25号 申请人 中海油能源发展股份有限公司 (72)发明人 税蕾蕾　万欢　赵都菁　史长林　 齐玉民　程焱　姚雅琴　杨纪磊　 杨娇娇　曹洁　崔哲　范晶晶　 (74)专利代理 机构 天津创智天诚知识产权代理 事务所(普通 合伙) 12214 专利代理师 王秀奎 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于层次结构矩阵的介形化石图像处 理系统 (57)摘要 本发明提供一种基于层次结构矩阵的介形 化石图像处理系统， 读取化石图像并进行预处 理， 构建含有属类 ‑种类标签的介形化石分层次 数据集； 使用神经网络进行介形化石属类 ‑种类 的初始预测； 基于数据中存在的固有层次包含关 系构建层次结构矩阵； 将层次结构矩阵插入到网 络， 对初始预测作后处理； 建立起端到端的多层 次分类神经网络， 对目标介形化石图像进行多层 次分类判定， 确定介形化石图像所属类别。 通过 构建含有属类 ‑种类标签的介形化石分层次数据 集， 再使用神经网络进行介形化石属类 ‑种类的 初始预测， 然后针对数据中存在的固有层次包含 关系构建层次结构矩阵， 该矩阵插入到网络的初 始预测之后作为后处理步骤， 从而建立端到端的 多层次分类神经网络 。 权利要求书1页 说明书4页 附图3页 CN 114926678 A 2022.08.19 CN 114926678 A 1.一种基于层次结构矩阵的介形化石图像处 理系统， 其特 征在于： 按照下述 步骤进行： 步骤1， 读取化石图像并进行预处理， 构建含有属类 ‑种类标签的介形化石分层次数据 集； 步骤2， 使用神经网络进行介形化石属类 ‑种类的初始预测； 步骤3， 基于数据中存在的固有层次包 含关系构建层次结构矩阵； 步骤4， 将层次结构矩阵插 入到网络， 对初始预测作后处 理； 步骤5， 建立起端到端的多层次分类神经网络， 对目标介形化石图像进行多层次分类判 定， 确定介形化石图像所属类别。 2.根据权利要求1所述的一种基于层次结构矩阵的介形化石图像处理系统， 其特征在 于： 在步骤1中， 具体包括： 将介形化石图像的对比度、 饱和度、 清晰度、 去噪、 去杂质等图像预处理功能集成到介 形化石图像处 理系统之中； 建立含有属类 ‑种类标签的介形化石分层次数据集， 包括RGB图像和深度图像。 3.根据权利要求1所述的一种基于层次结构矩阵的介形化石图像处理系统， 其特征在 于： 在步骤2中， 具体包括下述 步骤： S1， 使用DenseNet神经网络作为分类的骨干网络， 构 建介形化石图像初始预测模型， 具 体的来说： 使用DenseNet作为基础分类网络， 包括初始的卷积层和后续的四个Dense  Block 层。 初始卷积层使用7*7 卷积核， 后续Dense  Block层使用3 *3卷积核和2*2 平均池化层； S2， 将介形化石分层次数据集按照4： 1的比例划分为训练集和 测试集； S3， 将训练集中的介形化石图像数据输入到步骤S1中得到的介形化石图像初始预测模 型中， 进行介形化石属类 ‑种类的初始预测。 4.根据权利要求1所述的一种基于层次结构矩阵的介形化石图像处理系统， 其特征在 于： 在步骤3中， 具体构建方法包括： 对种和属 分别进行编号， 分为1,2, …,n个种和1,2, …,m个属， 构建的列满秩矩阵作为 层次结构矩阵。 5.根据权利要求1所述的一种基于层次结构矩阵的介形化石图像处理系统， 其特征在 于： 在步骤5中， 具体包括下述 步骤： S21、 将构建的层次结构矩阵作为固定参数的L inear层加入到DenseNet输出层之后； S22、 Linear层输出， 输出 结果为网络预测化石的属类别分布； S23、 联合种属类别输出和标签构建损失函数， 进行反向传播， 迭代训练， 具体的训练方 法为： 网络输出的种类别概率输出为y1， 属类别概率输出为y2， 样本的种类别标签为y'1， 属类 别标签为y'2， 则最终的损失函数项可写为： Loss＝CE(y1,y′1)+CE(y2,y′2)        (1) 其中， 函数C E(y,y′)表示交叉熵损失函数Cros s entropy， 其具体形式如下： 其中， T表示相应的类别个数； S24、 更新优化 参数， 直至训练集损失函数值 不再降低。权　利　要　求　书 1/1 页 2 CN 114926678 A 2一种基于层次结构矩阵的介形化石图像处理系统 技术领域 [0001]本发明涉及 微体古生物鉴定技术领域， 更具体地说涉及 一种基于层次结构矩阵的 介形化石图像处 理系统。 背景技术 [0002]介形化石分类是地质勘探中的界定地质年代的重要环节， 但受限于采集设备、 采 集区域的分布密度和复杂耗时的鉴定过程， 实际勘探过程中 收集到的介形化石数据集往往 存在种类繁多、 样本数量少、 种间差异小且种类不均的问题。 [0003]针对化石的分类， 常见的方法有专家系统、 传统机器学习和深度神经 网络。 专家系 统内部含有特定领域中专家水平的知识与经验， 可以模拟专家的思维作出推理， 例如介形 识别中， 根据人工观察化石的形状、 纹理等特征， 专家系统可以缩小推理范围并预测出介形 的种类。 这种方法在构造专家系统时需要 大量的行业知识， 使用时需要 大量的人工参与， 智 能化程度较低。 传统机器学习包括傅立叶形状 分析、 KNN、 支持向量机等方法， 相较于专家系 统， 智能化程度有较大提高， 但是由于特征提取能力有限， 对于特征差异较小的不同种类化 石的识别能力较弱， 准确率较低。 深度神经网络在ImageNet竞赛中取得了瞩目的成绩， 通过 模仿大脑的神经元结构， 神经网络有强大的特征提取能力。 将Inception结合支持向量机， 用于四分类的介形化石识别， 分类准确率达95％， 证明了深度学习在介形识别中的可行性。 然而， 本发 明所收集的化石样 本共1589个， 包括38个属类、 268个种类， 平均每个种类的样 本 数不足6个， 且种类 分布不平衡， 呈明显的长尾分布， 直接使用深度神经网络的准确率较低， 因此需要根据数据集的分布特点、 化石的种 ‑属层次约束来 提高准确率。 [0004]结合介形样本的种属关系进行层次化分类可以有效利用介形生物特点的先验知 识。 实际地质勘探中常见的介形样本含38个属类， 因此属级别的分类可以有效避免直接进 行种级别分类时遇到的小样本、 种类多的问题， 这样在识别属类别的基础上进行 的种类别 分类可以达 到更好的效果。 [0005]图像的多层次结构探究是一个热门的研究话题。 使用图像类别中的层次结构来设 计不同的分类器， 最后再结合不同类别的分类器提升分类性能， 这种类别层次结构可以是 人类预先定义的结构， 也可以根据固有的结构特征进行自上而下 的设计。 随着卷积神经网 络(Convolutional  neural network， CNN)在图像分类领域取得的巨大成功， 各种改进方法 被提出用于改进CNN网络以在特定应用上取得效果的进一步提升。 树状层 级结构与CNN模 型 结合的方法首次将数据中的层次结构与深度学习模型结合考虑。 CNN中天然存在的多层次 结构特点， 通过浅层的粗分支结构和深层的细分支结构共同完成了数据结构层次的分类， 分支CNN(Branch  Convolutional  Neural Network,B ‑CNN)模型通过多分支结构模拟了数 据中的多层次结构， 并通过不同分支采用不同训练策略的方法训练处于不同层次的结构， 有效的结合了数据中存在的结构与深度网络模型存在的层次结构。 [0006]然而， B‑CNN针对的层次结构并不对数据中存在的固有属性结构做显式约束， 这就 导致了网络在预测的过程中有 可能存在不同层次的输出并不对应， 也即子层的输出可能不说　明　书 1/4 页 3 CN 114926678 A 3