(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210487647.6 (22)申请日 2022.05.06 (71)申请人 心鉴智控 （深圳） 科技有限公司 地址 518028 广东省深圳市福田区华强北 街道福强社区振华路中电迪富大厦4 层 (72)发明人 罗晓忠　 (74)专利代理 机构 深圳汉林汇融知识产权代理 事务所(普通 合伙) 44850 专利代理师 吴洪波 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/73(2017.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于医疗组合盖的图像处理方法、 装置、 设 备及存储介质 (57)摘要 本发明涉及人工智能领域， 公开了一种基于 医疗组合盖的图像处理方法、 装置、 设备及存储 介质， 用于提高医疗组合盖图像检测的准确率。 所述基于医疗组合盖的 图像处理方法包括： 对样 本图像进行信息标注， 得到标签信息， 样本图像 为有瑕疵的医疗组合盖图像和无瑕疵的医疗组 合盖图像； 将样本图像和标签信息输入深度学习 模型， 并通过深度学习模型提取内盖特征图与外 盖特征图进行模 型训练， 得到医疗组合盖瑕疵检 测模型； 获取待检测医疗组合盖的目标图像输入 医疗组合盖瑕疵 检测模型进行瑕疵检测， 输出检 测结果； 根据检测结果判断待检测医疗组合盖是 否为良品； 若否， 则对待检测医疗组合盖进行剔 除， 并通过用户界面对检测结果进行展示。 权利要求书3页 说明书11页 附图4页 CN 114742816 A 2022.07.12 CN 114742816 A 1.一种基于医疗组合盖的图像处理方法， 其特征在于， 所述基于医疗组合盖的图像处 理方法包括： 获取多个医疗组合盖的样本 图像， 并对所述样本 图像进行信息标注， 得到所述样本 图 像对应的标签信息， 其中， 所述样 本图像包括： 有瑕疵的医疗组合盖图像和无瑕疵的医疗组 合盖图像； 将所述样本图像和所述标签信 息输入预置的深度 学习模型， 并通过所述深度 学习模型 提取所述样本图像的内盖特征图与外盖特征图进 行模型训练， 得到医疗组合盖瑕疵检测模 型； 获取待检测医疗组合盖的目标图像， 并将所述目标图像输入所述医疗组合盖瑕疵检测 模型进行瑕疵检测， 输出检测结果； 根据所述检测结果判断所述待检测医疗组合盖是否为良品； 若否， 则对所述待检测医疗组合盖进行剔除， 并通过预置的用户界面对所述检测结果 进行展示。 2.根据权利要求1所述的基于医疗组合盖的图像处理方法， 其特征在于， 所述深度 学习 模型依次包括： 目标 特征提取网络、 RPN网络、 ROI  Align层和FCN网络； 所述目标特征提取网络用于提取所述样本 图像的目标特征图， 其中， 所述目标特征图 包括内盖特 征图、 外盖特征图和融合特 征图； 所述RPN网络用于生成所述目标 特征图对应的预选 框； 所述ROI Align层用于将目标特征图中预选框进行分割和端点池化并将所述预选框和 目标特征图融合， 生成标注特 征图； 所述FCN网络用于对所述标注特征图的各个像素点进行预测， 得到所述样本图像对应 的预测结果。 3.根据权利要求2所述的基于医疗组合盖的图像处理方法， 其特征在于， 所述将所述样 本图像和所述标签信息输入预置的深度学习模 型， 并通过所述深度学习模 型提取所述样本 图像的内盖特 征图与外 盖特征图进行模型训练， 得到医疗组合盖 瑕疵检测模型， 包括： 将所述样本图像和所述标签信息 输入预置的深度学习模型中； 通过所述目标 特征提取网络提取 所述样本图像对应的目标 特征图； 将所述目标特征图输入所述RPN网络中， 并通过所述RPN网络并根据预置的锚框信息生 成所述目标 特征图对应的预选 框； 将所述预选框和所述目标特征图输入所述ROI  Align层， 并通过所述ROI  Align层对将 所述预选 框和目标 特征图融合， 并对所述预选 框进行分割和端点的池化， 得到标注特 征图； 将所述标注特征图输入所述FCN网络， 并通过所述FCN网络对所述标注特征图的各个像 素点进行 预测， 得到所述样本图像对应的预测结果并输出； 根据所述预测结果和所述标签信息， 对所述深度学习模型的参数进行优化， 直至所述 深度学习模型收敛， 得到所述医疗组合盖 瑕疵检测模型。 4.根据权利要求3所述的基于医疗组合盖的图像处理方法， 其特征在于， 所述通过所述 目标特征提取网络提取 所述样本图像对应的目标 特征图， 包括： 通过所述目标 特征提取网络提取 所述样本图像对应的外 盖特征图； 基于预置的注意力机制提取 所述样本图像中的内盖特 征图；权　利　要　求　书 1/3 页 2 CN 114742816 A 2对所述内盖特征图和所述外盖特征图进行多级特征融合， 得到 融合特征图， 其中， 所述 融合特征图用于指示目标 特征图。 5.根据权利要求3所述的基于医疗组合盖的图像处理方法， 其特征在于， 所述将所述目 标特征图输入 所述RPN网络中， 并通过所述 RPN网络并根据预置的锚框信息生成所述目标特 征图对应的预选 框， 包括： 通过所述RPN网络匹配预置的锚框信息， 并根据所述锚框信息生成所述目标特征图中 各个像素点的候选 框； 判断所述 候选框是否包 含预置瑕疵类型的瑕疵点； 若是， 则将所述候选框保留并对所述候选框进行调整， 得到所述目标特征图对应的预 选框。 6.根据权利要求3所述的基于医疗组合盖的图像处理方法， 其特征在于， 所述将所述标 注特征图输入所述FCN网络， 并通过所述FCN网络对所述标注特征图的各个像素点进行预 测， 得到所述样本图像对应的预测结果并输出， 包括： 通过所述FCN网络对所述标注特征图进行卷积化， 生成所述预选框对应的掩码以及包 含各个像素点对应预测值的第一热图； 对所述第一热图进行 上采样， 得到与所述样本图像的尺寸 一致的第二热图； 将所述掩码、 所述预选 框和所述第二热图作为所述样本图像对应的预测结果输出。 7.根据权利要求3所述的基于医疗组合盖的图像处理方法， 其特征在于， 所述根据 所述 预测结果和所述标签信息， 对所述深度学习模型 的参数进行优化， 直至所述深度学习模型 收敛， 得到所述医疗组合盖 瑕疵检测模型， 包括： 根据预置损失函数计算所述预测结果和所述标签信息之间的损失值； 将所述损 失值反向传播回所述深度学习模型， 并根据随机梯度下降法， 对所述深度学 习模型的参数进行优化； 当所述深度学习 模型收敛， 则将当前的深度 学习模型作为所述医疗组合盖瑕疵检测模 型。 8.一种基于医疗组合盖的图像处理装置， 其特征在于， 所述基于医疗组合盖的图像处 理装置包括： 获取模块， 用于获取多个 医疗组合盖的样本图像， 并对所述样本图像进行信息标注， 得 到所述样本图像对应的标签信息， 其中， 所述样本图像包括： 有瑕疵的医疗组合盖图像和无 瑕疵的医疗组合盖图像； 训练模块， 用于将所述样本 图像和所述标签信息输入预置的深度学习模型， 并通过所 述深度学习模型提取所述样本图像的内盖特征图与外盖特征图进 行模型训练， 得到医疗组 合盖瑕疵检测模型； 输出模块， 用于获取待检测医疗组合盖的目标图像， 并将所述目标图像输入所述医疗 组合盖瑕疵检测模型进行瑕疵检测， 输出检测结果； 判断模块， 用于根据所述检测结果判断所述待检测医疗组合盖是否为良品； 展示模块， 用于若否， 则对所述待检测医疗组合盖进行剔除， 并通过预置的用户界面对 所述检测结果进行展示。 9.一种基于医疗组合盖的图像处理设备， 其特征在于， 所述基于医疗组合盖的图像处权　利　要　求　书 2/3 页 3 CN 114742816 A 3