(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629438.0 (22)申请日 2022.06.04 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 孙崐　晁祎　 (51)Int.Cl. G06T 7/12(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于MRNet的视网膜血 管图像分割方法 (57)摘要 本发明公开一种基于多尺度与残差结构的 视网膜血管图像分割算法(Mutliscale  Resnet  Network,MRNet)。 首先， 采用扩张卷积进行多尺 度融合操作， 此操作可以学习不同感受野下的血 管特征信息， 有效增加网络感受野的同时降低了 网络参数， 并融合深浅层后的特征语义信息特征 和空间信息特征， 提升了网络性能； 其次， 对 MRNet中的编解码器部分的网络结构进行改进， 将原始U‑Net结构中的卷积块和跳跃连接结构分 别替换为堆叠残差卷积块和残差跳跃连接结构， 即堆叠残差U ‑Net(Stack‑Style ResNet U‑Net, SRU‑Net)， 缓解了网络传播过程中的梯度消失现 象发生以及恢复丢失的空间信息的局限性； 再应 用concat操作将EDM的所有输 出映射经过特征融 合操作得到一个特征映射； 最后Sigmoid分类器 得到最后的分割结果。 权利要求书1页 说明书5页 附图4页 CN 115423828 A 2022.12.02 CN 115423828 A 1.一种基于多尺度与残差结构的视网膜血管图像分割算法(Mutliscale  Resnet  Network,MRNet)， 实施方式如下： 首先将输入的视网膜血管图片通过MRNet中的第一个卷积单元将输入图像转换为特征 图， 然后将它们输入到ED M中。 首先， ED M中的四个不同扩张率的扩张卷积将输入的特征图转 换成四个具有不同感受野的特征映射， 接下来四个特征映射分别输入四个SRU ‑Net进行网 络训练。 SRU ‑Net以U‑Net为基本框架， 将堆叠式残差卷积结构与残差跳跃连接结合， 构成新 的SRU‑Net网络。 最后将四个SRU ‑Net网络训练的输出结果进行特征融合并使用SoftMax得 到最后结果。 2.根据权利要求1所述的扩张卷积， 其特征在于： 扩张卷积， 通过不同大小的卷积核提 取特征， 在不增加参数的同时有效扩大感受野， 并将不同尺度的特征进 行融合， 进而提取多 尺度血管特征信息。 扩张卷积 基本原理是在传统卷积核的每个像素之 间插入值为0的像素， 卷积核通过控制扩张率r改变输出特征图的分辨率。 MRNet 通过扩张率分别为 1、 2、 4、 8的3 × 3扩张卷积进 行血管特征提取， 可以学习不同感受野下的多尺度血管特征信息， 有效增加网 络感受野的同时降低了网络参数， 提升 了网络性能。 3.根据权利要求1所述的SRU ‑Net网络， 其特征在于： SRU ‑Net网络以U ‑Net为基本框架， 将U‑Net中的基本卷积结构和跳跃连接分别替换为堆叠式残差卷积结构(Stack ‑Style  ResNet,S_ResNet)和残 差跳跃连接(ResNet  Jump Connection,R ‑JC)。 其中， S_ResNet由四 个子模块构成， 每个模块都包含两个卷积块， 卷积块由Conv， BN和Relu这个顺序组成。 每个 模块通过四个特征融合的操作， 增加了多 条直接映射， 把低层的特征传递到高层， 从而延缓 网络传播过程中的梯度消失， 提高了模 型的稳定性； R ‑JC有两条路径,即卷积路径和普通路 径。 卷积路径由些许卷积块组成， 普通卷积为U ‑Net中的原始跳跃连接， 两者在传入解码器 之前进行 特征融合操作， 提升网络的分割性能。 4.根据权利要求1所述的特征融合操作， 其特征在于： 采用concat()方法对EDM的输出 特征映射进行融合， 提高了模型 的性能。 该方法可以沿通道维将一个特征映射附加到另一 个特征映射上。权　利　要　求　书 1/1 页 2 CN 115423828 A 2基于MRNet的视网膜血 管图像分割方 法 技术领域 [0001]本发明涉及视网膜血管分割领域， 主要涉及一种基于多尺度与残差结构 (Mutliscale Resnet Netw ork,MRNet)的视网膜血 管图像分割方法。 背景技术 [0002]世界卫生组织于2019年10月发布 《世界展望》 报告， 其中提到， 全球有4.18亿人患 有青光眼、 糖尿病视网膜病变(DR)、 年龄相关性黄斑变性(AMD)或其他可能导致失明的眼 病， 眼病患者往往不知道无症状病情的恶化， 因此早期 筛查和治疗眼病尤为重要， 眼底图像 是单目照相机在二 维平面上拍摄的眼底投影， 与OCT图像和血管造影等其他眼部扫描不同， 眼底图像可以以非侵入性和经济高效的方式获取， 使其更适合大规模筛查， 视网膜血管是 人体唯一可以在无创条件下观察到的循环系统， 通过观察其形态的改变可以间接反映血液 循环的变化， 进而发现不同疾病的发展及演变规律。 例如， 视网膜微血管直径变化与糖尿病 视网膜病变相关， 外层黄斑区视网膜血管密度与青光眼视野缺损程度呈正相关， 视网膜血 管痉挛、 变细， 动脉反光带增宽， 动静脉 交叉压迫等与高血压及动静脉硬化相关， 因此， 精确 分割视网膜血管并分析它的形态特征， 在多种疾病， 尤其是慢性病的预防、 诊断、 监测和管 理上具有重要的应用价 值。 [0003]深度学习方法近年来受到学术界和工业界的广泛关注， 更多的专家学者开始将深 度学习技术应用到眼底图像分析领域中来， 此方法通过端到端地自动优化特征， 可以获得 更好的性能， 输入图像被剪裁为小的图像块进行数据增强， 并使用深层神经网络进行视网 膜血管分割， CNN被首次应用于提取血管特征， 并采用随机森林分类器对视网膜血管进 行分 割， 具有对称结构的U ‑Net模型是深度学习技术的首次应用， 由于其在特征提取方面表现突 出， 并且易于训练、 适用于小数据集， 一经提出就得到广泛应用， 此后， U ‑Net模型开始应用 到视网膜血管分割， M2U ‑Net网络是在U ‑Net模型的编码阶段增加了一个  MobileNetV2模 型， 并与双线性采样相结合； LadderNet是一种级联U ‑Net网络， 构造了多条从输入到输出的 路径， 充分利用了像素的上下文等信息； DEU ‑Net模型拥两个路径， 空间路径用以保留细节 信息， 上下文路径用以捕获更多语义信息； 高斯匹配滤波与U ‑Net相结合， 实现视网膜血管 的分割， 此外还有两种基于U ‑Net的改进模型， 一种是递归卷积神经网络(RCNN)， 另一种是 递归残差卷积神经网络  (RRCNN)， 它们都成功地应用于视网膜血管的分割， 总而言之， 深度 学习方法可以克服传统的无监督方法和有监督方法中存在的困难， 相较于其他模型， 基于 U‑Net的方法表现出优异的医学图像分割性能。 [0004]但以上模型对于血管末端细小血管分割易发生断裂、 边缘血管分割由于特征提取 不充分以及信息丢失导致未被从背景中完整分割； 且在训练过程中， 随着训练数据量的扩 大和网络层数的增多， 面临梯度消失的现象发生。 发明内容 [0005]本发明要解决的技术问题在于， 针对上述存在的细小血管、 边缘血管分割不足以说　明　书 1/5 页 3 CN 115423828 A 3