(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210135684.0 (22)申请日 2022.02.15 (65)同一申请的已公布的文献号 申请公布号 CN 114187293 A (43)申请公布日 2022.03.15 (73)专利权人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 袁学东　邹可　邹联军　陶天金　 龙虎　赖文莉　李沿宏　江茜　 (74)专利代理 机构 成都信博专利代理有限责任 公司 5120 0 专利代理师 卓仲阳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 109754 404 A,2019.0 5.14 CN 113808008 A,2021.12.17 CN 112785609 A,2021.0 5.11 CN 111968120 A,2020.1 1.20 CN 110930421 A,2020.0 3.27 CN 113628223 A,2021.1 1.09 CN 110782474 A,2020.02.1 1 CN 104504695 A,2015.04.08 CN 109903292 A,2019.0 6.18 US 2020410 672 A1,2020.12.31 US 2019228529 A1,2019.07.25 沈怀艳和吴云.基 于MSFA-Net的肝脏 CT图像 分割方法. 《计算机科 学与探索》 .2021,第1-13 页. 审查员 杨晓青 (54)发明名称 基于注意力机制和集成配准的口腔腭部软 硬组织分割方法 (57)摘要 一种基于注意力机制和集成配准的口腔腭 部软硬组织分割方法， 包括： 首先， 获取CBCT图 像， 经过数据标注后， 将图像划分为训练集、 验证 集和测试集； 其次， 将训练集输入至搭建好的口 腔腭部软硬组织分割网络模型中； 另外， 在网络 训练时加入随机增广方法， 对输入 数据进行随机 尺度和不同变换种类增强； 预测组织分割结果， 在测试集上对模 型的预测效果进行定量评价； 最 后， 根据多腭部软硬组织分割结果进行集成配 准。 本发明填补了口腔腭部软硬组织分割和配准 的空白， 解决了组织分割不够准确的问题， 降低 了寻找不同病例的植入位点的时间， 为病例分析 设计正畸种植钉提供技 术支撑。 权利要求书3页 说明书10页 附图4页 CN 114187293 B 2022.06.03 CN 114187293 B 1.一种基于注意力机制和集成配准的口腔腭部软硬组织分割方法， 其特征在于， 包括 以下步骤： S1： 预处理目标图像数据集， 其中所述目标图像数据集包括由口腔锥形束投照计算机 重组断层影像设备Cone  Beam Computed Tomography获取的  CBCT图像数据集和及其对应 的勾画标签数据集， 并将目标图像数据集按8 :1:1的比例划分为训练集、 验证集和 测试集； S2： 构建并训练口腔腭部软硬组织分割网络模型； 所述分割网络模型包括编码器部分和解码器部分， 在编码后引入轻量Transfomer层以 获取目标局部信息； 同时， 在跳接中引入残差感知注意力机制RCSM， 将待分割的目标图像数 据集输入分割网络模 型， 基于混合损失函数， 对所述分割网络模型进 行训练， 并在训练中引 入随机增广方法RA增加训练集大小， 防止网络过拟合； 所述残差感知注意力机制RCSM包括 并行感受野模块 RFB、 注意力门模块AG； 编码 器输出的特征图和解码 器部分的特征图分别经 过RFB模块， 然后输入AG模块， 最后将输出的特征图与编码器输出的特征图进行相加， 再输 出结果； S3： 将测试集输入训练好的分割网络模型中， 预测口腔腭部软硬组织； S4： 基于多口腔腭部软硬组织分割结果建立集成配准方法， 所述集成配准方法包括建 立混合高斯模型和最大期望求 解算法。 2.根据权利要求1所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法， 其特征在于， 所述 步骤S2具体包括： S21： 构建编码器； 所述编码器部分总共包含五层， 每层包括两组由3 ×3×3的卷积模块和一个矫正线性 单元ReLU和组成的结构， 以及除了最后一层的其余四层编码层各包括一个2 ×2×2最大池 化模块构成； S22： 构建轻量Transfomer层； 所述轻量Transfomer层包含图像整形和像素嵌入、 归一化Layer  Norm、 轻量多头自注 意力及多层感知机模块； S23： 构建基于残差感知注意力机制的多尺度特 征解码器； 所述解码器部分重复应用四层， 每层包括两组由3 ×3×3的卷积模块和一个矫正线性 单元ReLU组成的结构， 最后一层经过大小为 1×1×1的卷积层输出预测结果； 在编码器与解 码器之间通过跳跃 连接共享多尺度特 征， 跳跃连接操作包 含残差感知注意力机制RCSM； 所述跳跃连接操作包括将RCSM模块所输出的多尺度特征图， 与解码器部分的特征图进 行拼接。 3.根据权利要求2所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法， 其特征在于， 所述轻量Tr ansfomer层用来更轻量化地提取局 部信息， 包括图像整形和像素 嵌入、 归一化Layer  Norm、 轻量多头自注意力及多层感知机模块； 首先， 对 于输入的图像 IH×W 进行像素嵌入， 将图像矩阵整形为扁平的一系列像素块， 图像块个数为 Nt， 每个图像块维度 为P×P， 其中Nt=H×W/P2； 为了保留原始的像素块位置信息， 进行了像素位置嵌入， 其公式 为： 权　利　要　求　书 1/3 页 2 CN 114187293 B 2其中 表示第 个像素块， T表示像素嵌入投影， Tpos表示像素位置嵌入偏移量； 最后， 采用L层的轻量多头注意力和多层感知机模块对目标信息进行提取； 其公式为： 其中MLP代表多层感知机， LN为归一化层， SMSA为轻量多头 自注意力， 表示第l‑1 层的像素块输入， 且 ； 轻量多头自注意力表示为 和， 其中 、 和 分别表示经过组线性变换后的像素块权重矩阵， 由训练的权重 、 和 与输入像素块的乘积得到， 表示维度。 4.根据权利要求2所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法， 其特征在于， 所述 RCSM模块包括多分支感受野RFB模块和注意力门AG模块， 编码器输出的特 征图和解码 器部分的特征图分别经过RFB模块， 然后输入AG模块， 最后将输出的特征图与编 码器输出的特 征图进行相加， 再输出 结果， 其公式为： 其中， 编码器输出 的第i层特征Xi和解码器输出的第 j层特征Xj分别经过RFB模块， 然后 输入AG模块， AG计算得到的结果与编码器第 i层特征经过RFB模块得到的结果进行相乘后， 再与编码 器输出的特征图进 行相加， 得到最 终结果； RFB 模块内部结构包括不同卷积核尺度 的多分支卷积结构， AG模块位于经过两个RFB模块的分支之后， 其目的在于从RFB模块的输 出中学习捕获口腔腭部软硬组织的定位信息 。 5.根据权利要求1所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法， 其特征在于， 所述分割网络模型训练时加入随机增广方法， 其 目的在于扩展危及器官数据 的训练集， 以防止网络过拟合； 所述随机增广方法设定参数 K，N和M， 分别表示所有可能变换 的种类、 依次应用增强变换的数量、 所有变换的幅度； 对于训练 图像I， 始终选择等概率的 K 种变换， 每次对训练图像应用 N次变换， 然后每次变换执行 M强度； 上述 K、N和M分别取值为5、 3和4； 其中增广变换方式包括X轴平移， Y轴平移、 X轴剪切、 Y轴剪切和图像旋转， 增广变换强 度包括恒定幅度、 随机幅度、 线性增 加幅度和具有增 加上限的随机幅度。 6.根据权利要求1所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法， 其特征在于， 所述步骤S4中的集成配准方法包括建立混合高斯模型和最大期望求解算法， 具体为： S61： 建立混合高斯模型， 所述混合高斯模型部分， 整体目标函数如下： 其中 表示多组织图像构成的联合强度向量， 表示待配准图像经配权　利　要　求　书 2/3 页 3 CN 114187293 B 3