(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210432933.2 (22)申请日 2022.04.22 (71)申请人 珠海中科 先进技术研究院有限公司 地址 519000 广东省珠海市高新区唐家湾 镇哈工大路2号龙园智慧产业园5栋 101 申请人 中国科学院深圳先进技 术研究院 (72)发明人 王涵　潘毅　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 陈慧华 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/26(2022.01) G06T 7/00(2017.01) A61B 3/12(2006.01) A61B 3/14(2006.01) A61B 3/00(2006.01) (54)发明名称 可解释性老年黄斑变性分类方法、 装置及存 储介质 (57)摘要 本发明公开了可解释性老年黄斑变性分类 方法、 装置及存储介质， 属于图像处理领域。 其中 方法包括： 对眼底照片进行AMD分类， 得到非AMD 眼底图像和A MD眼底图像； 对A MD眼底图像进行病 理特征区域识别， 生成病症特征描述； 对A MD眼底 图像构建病理特征标记矩阵， 并基于半监督图像 分割得到 特征分割图片； 对特征分割图片进行病 症及诱因标记； 基于标记结果和特征分割图片建 立第一多分类模 型； 对特征分割图片进行真实病 理特征判断； 基于Gan网络进行数据增强； 基于 阳 性数据集优化图像 分类模型； 基于真实病理特征 图片， 得到第二多分类模型； 根据第二分类模型 的分类结果， 基于可解释算法生成可解释性病症 描述。 本发 明能够帮助眼科医生更好地了解预测 模型原理及依据。 权利要求书3页 说明书9页 附图7页 CN 114913366 A 2022.08.16 CN 114913366 A 1.一种可解释性老年黄斑 变性分类方法， 其特 征在于， 包括以下步骤： 基于图像分类模型对眼底照片进行AMD分类， 得到非AMD眼底图像和AMD眼底图像； 基于可解释算法对所述AMD眼底图像进行病理特 征区域识别， 生成病症特 征描述； 对所述AMD眼底图像构建病理特征标记矩阵， 并基于半监督图像分割得到特征分割图 片； 对所述特 征分割图片进行病症及诱因标记， 得到标记结果； 基于所述标记结果和所述特 征分割图片建立第一多分类模型； 对所述特征分割图片进行真实病理特征判断， 得到真实病理特征图片和非真实病理特 征图片； 基于Gan网络， 将所述真实病理特征图片合成到训练数据集的阳性数据集中， 将所述非 真实病理特 征图片合成到训练数据集的阴性数据集中； 基于所述阳性数据集优化所述图像分类模型； 基于所述真实病理特 征图片， 得到第二多分类模型； 根据所述第二分类模型的分类结果， 基于可解释算法生成可解释性病症描述。 2.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述方法还包 括： 对所述特 征分割图片进行聚类， 得到所述特 征分割图片的聚类结果。 3.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述对所述特 征分割图片进行病症及诱因标记， 得到标记结果包括： 通过标记软件 对所述特 征分割图片进行图片像素级别的病症标记， 得到标记结果。 4.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述基于半监 督图像分割得到特 征分割图片包括： 基于MsTGANet+Gan半监 督图像模型进行图像分割， 得到所述特 征分割图片； 其中所述MsTGANet+Gan半监 督图像模型包括： CGAN， 用于生成验证数据集， 完成预训练和训练； MsTGANet， 包括编码、 MsTN L、 MsGCS和解码器。 5.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述基于Gan 网络， 将所述真实病理特征图片合成到训练数据集的阳性数据集中， 将所述非真实病理特 征图片合成到训练数据集的阴性数据集中包括： 基于CGAN的改良数据增 强模型进行数据增 强， 得到生成阳性图片和生成阴性图片， 并 将所述生成阳性图片合成到所述阳性数据集， 将所述生成阴性图片合成到所述阴性数据 集； 所述改良数据增强模型包括： 生成器， 为U型网络结构； 判别器， 包括第一判别器、 第二判别器、 第三判别器和第 四判别器， 所述判别器的结构 为Conv×2+BN+ReLU层+Co nv+激活函数； 粗生成器， 结构为映射+填充、 三个卷积+若干正则化+线性整流函数和四个ResBlk， 用 于生成眼底主 要特征， 所述眼底主 要特征包括黄斑区、 视盘和颜色结构； 所述第一判别器， 输入为低像素图片及粗 生成器生成图片， 输出为半解析度图像；权　利　要　求　书 1/3 页 2 CN 114913366 A 2细生成器， 结构为三个ResBlk、 一个Deconv、 一个Conv和一个输出启动层， 用于生成局 部信息， 所述局部信息包括视网膜小静脉、 小动脉、 出 血、 渗出和微动脉瘤； 所述第二判别器， 输入为图像为高像素图片和细生成器生成图片， 输出为全解析度图 像； 所述粗生成器和所述细生成器构成粗+细生成器， 所述的粗+细生成器的结构通过将粗 生成器的最后一个ResBlk添加到细生 成器的第一个Conv层得到， 用于生 成所述眼底主要 特 征和所述局部信息； 所述第三判别器， 输入为图像为低像素图片和所述粗+细生成器的生成图片， 输出为全 解析度图像； 所述第四判别器， 输入为高像素图片和所述粗+细生成器的生成图片， 输出为全解析度 图像。 6.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述基于所述 阳性数据集优化所述图像分类模型包括： 对所述阳性数据集进行病症及诱因标记， 标记区域 为 若 为否， 减少区域的像素节点在所述图像分类模型中最后一层的权 重； 若i∈L为否， 增加区域的像素节点在所述图像分类模型中最后一层的权 重。 7.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述眼底照片 包括OCT眼底照片、 RC EP眼底照片和UWF眼底照片。 8.根据权利要求1所述的可解释性老年黄斑变性分类方法， 其特征在于， 所述方法还包 括： 对所述分类结果进行早中晚期分类， 得到早期AMD、 中期AMD或晚期AMD。 9.一种可解释性老年黄斑 变性分类装置， 其特 征在于， 包括： 第一模块， 用于基于图像分类模型对眼底照片进行AMD 分类， 得到非AMD眼底图像和AMD 眼底图像； 第二模块， 用于基于可解释算法对所述AMD眼底图像进行病理特征区域识别， 生成病症 特征描述； 第三模块， 用于对所述AMD眼底图像构建病理特征标记矩阵， 并基于半监督图像分割得 到特征分割图片； 第四模块， 用于对所述特 征分割图片进行病症及诱因标记， 得到标记结果； 第五模块， 用于基于所述标记结果和所述特 征分割图片建立第一多分类模型； 第六模块， 用于对所述特征分割图片进行真实病理特征判断， 得到真实病理特征图片 和非真实病理特 征图片； 第七模块， 用于基于Gan网络， 将所述真实病理特征图片合成到训练数据集的阳性数据 集中， 将所述非真实病理特 征图片合成到训练数据集的阴性数据集中； 第八模块， 用于基于所述阳性数据集优化所述图像分类模型； 第九模块， 用于基于所述真实病理特 征图片， 得到第二多分类模型； 第十模块， 用于根据所述第二分类模型的分类结果， 基于可解释算法生成可解释性病 症描述。 10.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行权　利　要　求　书 2/3 页 3 CN 114913366 A 3