(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210313418.2 (22)申请日 2022.03.28 (71)申请人 深思考人工智能科技 （上海） 有限公 司 地址 201210 上海市浦东 新区中国 （上海） 自由贸易试验区临港新片区环湖西二 路888号C楼 (72)发明人 杨志明　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 牛峥　王丽琴 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/22(2022.01) G06V 10/46(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于细胞图像进行细胞检测和细胞核分割 的方法及系统 (57)摘要 本申请公开了一种基于细胞图像进行细胞 检测和分割细胞核的方法及系统， 包括： 将提供 的细胞图像输入到Anchor ‑Free的目标检测模型 中提取图像特征信息； 所述目标检测模型包括细 胞核分割子分支、 细胞分类子分支及细胞定位子 分支； 所述目标检测模型中的细胞定位子分支， 根据所述细胞图像的特征信息进行细胞定位检 测， 得到细胞定位结果； 所述目标检测模型中的 细胞核分割子分支， 根据所述细胞图像的特征信 息提取细胞核特征， 得到细胞核分割结果； 所述 目标检测模 型中的细胞分类子分支， 根据所述细 胞图像的特征信息、 所述细胞定位特征信息和所 述细胞核特征信息， 识别细胞类别， 得到细胞类 别结果。 这样， 本申请基于细胞图像对其中的细 胞进行准确定位和分类， 同时实现对细胞核的分 割。 权利要求书2页 说明书10页 附图2页 CN 114821046 A 2022.07.29 CN 114821046 A 1.一种基于细胞图像进行细胞检测 和细胞核分割的方法， 其特 征在于， 所述方法包括： 提供一张细胞图像， 基于Anchor ‑Free的目标检测模型从所述细胞 图像中提取细胞 图 像的特征信息； 所述目标检测模型中包括细胞核分割子分支、 细胞分类子分支及 细胞定位子分支； 所述目标检测模型中的细胞定位子分支， 根据所述细胞图像的特征信 息进行细胞定位 检测， 提取细胞定位特 征信息， 得到细胞定位结果； 所述目标检测模型中的细胞核分割， 根据所述细胞图像的特征信息分割细胞核， 提取 细胞核特 征信息， 得到细胞核分割结果； 所述目标检测模型中的细胞分类子分支， 根据所述细胞图像的特征信息、 所述细胞定 位特征信息和所述细胞核特 征信息， 识别细胞类别， 得到细胞类别结果； 所述目标检测模型中的子分支输出模块， 输出细胞定位结果、 细胞类别结果及细胞核 分割结果。 2.如权利要求1所述的方法， 其特征在于， 所述从所述细胞图像中提取得到细胞图像的 特征信息包括： 将所述细胞图像输入主干网络backbo ne中， 提取细胞图像的基础特 征信息； 将所述细胞图像的基础特征信息， 输入特征金字塔网络， 融合不同尺度的特征信 息， 得 到所述细胞图像的特 征信息。 3.如权利要求1所述的方法， 其特征在于， 所述目标检测模型中的细胞定位子分支， 根 据所述细胞图像的特 征信息进行细胞定位检测包括： 所述细胞定位子分支具有第 一注意力 机制单元， 所述第 一注意力 机制单元对所述细胞 图像的特征信息基于注意力机制， 进行所述细胞定位信息的关注特征信息提取后， 所述细 胞定位子分支基于所述细胞定位信息的关注特 征信息， 进行细胞定位检测。 4.如权利要求1所述的方法， 其特征在于， 所述目标检测模型中的细胞核分割子分支， 根据所述细胞图像的特 征信息分割细胞核包括： 所述细胞核分割子分支具有第 二注意力 机制单元， 所述第 二注意力 机制单元对所述细 胞图像的特征信息基于注意力机制， 进行所述细胞核分割信息的关注特征信息提取后， 所 述细胞核分割子分支基于所述细胞核分割信息的关注特 征信息， 分割细胞核。 5.如权利要求1所述的方法， 其特征在于， 所述目标检测模型中的细胞分类子分支， 根 据所述细胞图像的特征信息、 所述细胞定位特征信息和所述细胞核特征信息， 识别细胞类 别包括： 所述细胞分类子分支具有第 三注意力 机制单元， 所述第 三注意力 机制单元对所述细胞 图像的特征信息基于注意力机制， 进行所述细胞类别信息的关注特征信息提取后， 所述细 胞分类子分支基于所述细胞类别信息的关注特征信息、 所述细胞定位特征信息和所述细胞 核特征信息， 识别细胞类别。 6.如权利要求1或3所述的方法， 其特征在于， 所述目标检测模型中的细胞定位子分支， 根据所述细胞图像的特 征信息进行细胞定位检测包括： 所述目标检测模型中还包括前景掩码预测单元及角点验证单元， 其中， 前景掩码预测 单元根据所述细胞图像的特征信息， 确定所述细胞图像中的前景特征， 角点验证单元根据 所述细胞图像的特征信息， 进行所述细胞图像中的目标边缘角点位置信息确定， 确定所述权　利　要　求　书 1/2 页 2 CN 114821046 A 2细胞图像的目标角点 位置； 所述目标检测模型基于所述细胞图像中的前景特征及所述细胞图像的目标角点位置， 根据所述细胞图像的特征信息进行细胞定位检测， 提取细胞定位特征信息， 得到细胞定位 结果。 7.如权利要求1或4所述的方法， 其特征在于， 所述目标检测模型中的细胞核分割子分 支， 根据所述细胞图像的特 征信息分割细胞核包括： 所述细胞核分割子分支， 采用diceloss函数作为细胞核分割掩码计算损失函数， 并增 加计算细胞核轮廓的focal  loss， 为细胞核分割任务 提供细胞核轮廓的监 督信息。 8.如权利要求1～5任一所述的方法， 其特征在于， 所述目标检测模型的训练过程是基 于训练数据集采用弱监督训练方法实现的， 所述训练数据集为包括大量的有标注及无标注 数据， 所述有标注的数据包括： 具有细胞类别及检测框标注的细胞图像训练数据； 和， 具有细胞核轮廓分割标注的细胞图像训练数据。 9.一种基于细胞图像进行细胞检测和细胞核分割的系统， 其特征在于， 目标检测模块 及输出模块， 目标检测模块包括基于A nchor‑Free的目标检测模 型， 所述目标检测模块包括 目标检测模型中的细胞定位子 分支、 目标检测模型中的细胞核分割子 分支及目标检测模型 中的细胞分类子分支， 其中， 目标检测模块， 用于将提供的一张细 胞图像， 基于Anchor ‑Free的目标检测模型从所述 细胞图像中提取细胞图像的特 征信息； 所述目标检测模型中的细胞定位子分支， 用于根据 所述细胞图像的特征信 息进行细胞 定位检测， 提取细胞定位特 征信息， 得到细胞定位结果； 所述目标检测模型中的细胞核分割子分支， 用于根据所述细胞图像的特征信 息分割细 胞核， 提取细胞核特 征信息， 得到细胞核分割结果； 所述目标检测模型中的细胞分类子分支， 用于根据所述细胞图像的特征信息、 所述细 胞定位特 征信息和所述细胞核特 征信息， 识别细胞类别， 得到细胞类别结果； 输出模块， 包括所述目标检测模型中的子分支输出模块， 用于输出细胞定位结果、 细胞 类别结果及 细胞核分割结果。权　利　要　求　书 2/2 页 3 CN 114821046 A 3