(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210378696.6 (22)申请日 2022.04.12 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 张堃　林鹏程　徐沛霞　王林　 潘晶　刘志诚　韩宇　涂鑫涛　 刘纪元　 (51)Int.Cl. G06V 10/764(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01)G06T 7/11(2017.01) G06T 7/00(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于影像组学与深度学习特征融合的 椎体骨密度分类方法 (57)摘要 本发明涉及医学图像分割与图像分类技术 领域， 具体涉及一种基于影像组学与深度学习特 征融合的椎体骨密度分类方法， 将CT图像下椎体 分为骨质疏松、 低 骨量与正常组， 包括S1:建立基 于CRF和注意力引导的椎体分割网络， 获取L1、 L2 椎体松质骨掩膜； S2:通过GCAM ‑Net对L1和L2融 合后的特征图进行深度学习特征提取， 并利用L1 和L2的CT图像及掩膜进行影像组学特征提取； S3： 运用差分进化算法在深度学习特征中提取最 优特征集， 并将提取后影像组学特征通过SVM ‑ RFE法进行特征筛选， 最后将影像组学特征和深 度学习特征通过最大相关性融合算法进行特征 融合， 并利用神经网络分类。 本发明技术方案结 合深度学习特征和影像组学特征， 有效提高骨密 度分类的准确性。 权利要求书3页 说明书14页 附图3页 CN 114863165 A 2022.08.05 CN 114863165 A 1.一种基于影像组学与深度学习特征融合的椎体骨密度分类方法， 将CT图像下椎体分 为骨质疏松、 低骨量与正常组， 其特 征在于， 包括以下步骤： S1： 建立基于CRF和注意力引导的椎体分割网络， 获取L1椎体、 L2椎体的松质骨分割掩 膜； S2： 通过GCAM ‑Net对L1椎体和L2椎体融合后的特征图进行深度学习特征提取， 并利用 L1椎体和L2椎体的CT图像及掩膜进行影 像组学特征提取； S3： 运用差分进化算法在深度学习特征中提取最优特征集， 并将提取后影像组学特征 通过SVM‑RFE法进行特征筛选， 最后将影像组学特征和深度学习特征进行最大相关性融合 算法进行 特征融合， 并利用神经网络分类。 2.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 在S1中， 所述CRF和注意力引导的椎体分割网络包括： 特征提取模块， 将图形 特征嵌入到卷积神经网络中， 用于学习卷积特 征和图形 特征； 通道特征融合模块， 用于抑制背景中噪音、 伪影对分割的干扰； 特征推理模块， 用于划分皮质骨与松质骨区域， 细化松质骨 分割边界， 填充分割掩膜内 部的孔洞。 3.根据权利要求2所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 所述特征提取模块利用2D残差块和图卷积进 行特征提取， 使用注意门控制 来自不同特 征提取器中的信息流。 4.根据权利要求2所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 所述特征推理模块利用条件随机场建立椎体像素邻域间的关系， 将分割问 题转化为能量成本最小化问题， 用平均场更新来近似代替复杂的后验概率分布， 利用KL散 度表示使用理论分布Q拟合真实分布P时产生的信息损耗， 引入最小化自由能函数来优化KL 散度的求 解， 求解公式如下 所示： 式中， DKL(Q||P)为分布P与分布Q之 间的KL散度， Q(h)为使用平均场拟合分布P的后验概 率 分 布 ，l n Z 为 常 数 项 ，E ( h ) 为 分 割 时 的 能 量 函 数 ，h 为 隐 变 量 ，其 中 为自由能， 自由能的第一项为标记每个体素的成本， 第二项表示分布Q的熵， 利用卷积操作代替随机场中的平均场更新， 定义使用图卷积网络提 取的特征XG， 卷积提取特征XC， 注意门的权重矩阵AGR， 卷积中待推理的特征分别为HG以及HR 具体的操作步骤为： (1)计算注意门权重矩阵的更新矩阵： 为AGR的更新矩阵， rGR 为一个3×3的卷积核， XG为使用图卷积网络提取的特 征， XR为卷积提取 特征； (2)使用sigmoid函数σ 对更新矩阵做归一化处理： 式中的 为归一 化后注意门权 重矩阵的更新； (3)HG的平均场更新： HG＝rGR*HG， *表示卷积操作， XG为图卷积网络提取的特征， 等式左 边的HG为更新后的HG， rGR为一个3×3的卷积核；权　利　要　求　书 1/3 页 2 CN 114863165 A 2(4) ⊙表示元素相乘， 为卷积的隐藏特征HG的更新， 为归一化后 注意门权 重矩阵的更新， XG为使用图卷积网络提取的特 征； (5)通过使用剩余连接添加一元势来更新 表示元素相加， 为 卷积的隐藏特 征HG的更新， 为了 便于迭代更新， HG的贡献归算在HR中。 5.根据权利要求2所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 所述通道特征融合模块， 聚合来自编 码层的低级信息以及解码层中的高级 特征， 通过挤压和激发操作校准通道特征响应， 得到的权重向量与低层特征相乘， 并将 重新 加权的低层特征与高层特征相加得到最终结果， 抑制背景中噪音、 以及相似组织对分割的 干扰。 6.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 在S2中， 所述GCAM用于椎体特 征提取卷积神经网络包括： 特征融合模块， 通过对L1椎体和L2椎体的图像在进行卷积神经网络特征提取前， 先一 步进行特征融合， 特征融合最后采用特征的通道数相融合的方式将L 1椎体图像和L2椎体图 像进行特征融合； 门控通道注意力模块， 用于建模通道之间的关系， 在归一化之前嵌入全局上下文并控 制每个通道的权 重， 以及一个门控适应算子， 根据归一 化的输出 逐通道地调整输入特 征。 7.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 在S3中， 利用差分进化算法、 SVM ‑RFE算法和最大相关性计算对 特征进行优 化； 差分进化算法： 将差分进化算法模块嵌入到神经网络提取特征的池化层后， 全连接层 前， 对特征进行优化； SVM‑RFE算法： 将SVM ‑RFE算法嵌入影像组学特征提取后， 对批提取特征进行递归特征 筛选， 去除冗余信息； 最大相关性计算： 将差分进化算法后的特征和 SVM‑RFE后的特征进行最大相关度计算， 进一步对特征进行优化。 8.根据权利要求7所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 所述差 分进化算法从某一随机产生的初始群体开始， 利用从种群中随机选 取的两个个体的差向量作为第三个个体的随机变化源， 将差向量加权后按照一定的规则与 第三个个体求和而产生变异个体， 该操作称为变异； 然后， 变异个体与 某个预先决定的目标 个体进行参数混合， 生成试验个体， 这一过程称之为交叉； 如果试验个体的适应度值优于目 标个体的适应度值， 则在下一代中试验个体取代目标个体， 否则目标个体仍保存 下来， 该操 作称为选择； 在每一代的进化过程中， 每一个体矢量作为目标个体一次， 算法通过不断地迭 代计算， 保留优良个 体， 淘汰劣质个 体， 引导搜索过程向全局最优解逼近 。 9.根据权利要求7所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方 法， 其特征在于， 所述SVM ‑RFE算法对影 像组学特征进行筛 选的步骤为： 步骤1： 输入需要的数据样本集 其中， l为类别数， vi为类别数 集合， N为总样本数， xi为样本； 并对数据进行标准化处理 μ为均值， σ 为标准差,xi权　利　要　求　书 2/3 页 3 CN 114863165 A 3