(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210466825.7 (22)申请日 2022.04.29 (71)申请人 海南大学 地址 570100 海南省海口市人民路58号海 南大学 (72)发明人 谢夏　李敬灿　陈丽君　韩翔宇　 胡月明　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 专利代理师 邓彦彦　廖盈春 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 16/36(2019.01) (54)发明名称 基于BlendMask的实体识别、 知识图谱生成 方法及系统 (57)摘要 本发明公开了一种基于BlendMask的实体识 别、 知识图谱生成方法及系统， 其中， 采用 BlendMask改进模型对每张图像依次进行图像 预 处理、 特征融合、 图像 分割和实体识别操作， 从而 得到图像中各个实体的分割区域、 实体名和精确 度； 另外， 本发明将从文本中提取的实体、 类别以 及关系信息， 与从图像中识别的实体信息结合， 以类别和实体作为节点， 并以关系为边生成对应 的知识图谱。 由于本发明对现有的BlendMask模 型进行了改进： 在特征融合操作中采用7*7的空 洞卷积核； 空洞卷积核能够在扩 大感受野的同时 不降低图像分辨率， 因此本发明提供的实体识别 方法更加精准， 对应的图谱生成方法也更加全 面。 权利要求书2页 说明书9页 附图2页 CN 114998702 A 2022.09.02 CN 114998702 A 1.一种基于BlendMask的实体识别方法， 其特 征在于， 包括以下步骤： 确定BlendMask改进模型； 所述BlendMask改进模型包括： 特征图金字塔网络FPN、 图像 分割单元以及实体识别单元； 所述FPN对接收到的图像进行上采样， 以提高图像的分辨率， 方便在上采样后进行特征融合， 最后通过空洞卷积将融合后的特征输出； 所述空洞卷积在 卷积核的元素之间加入多个空格， 以扩大卷积核的感受野， 避免上采样后的图像存在像素 不连续或者像素混叠， 进而全面提取图像的特征； 所述图像分割 单元基于所述图像特征将 图像分割成多个不重叠且又具备各自特征的子区域， 以将待进行实体识别的目标物从背 景 从分离； 所述实体识别单元采用神经网络对所述 目标物进行识别， 确定所述 目标物对应的 实体信息； 将待进行实体识别的图像输入到BlendMask改进模型， 以对图像中的目标物进行实体 识别。 2.根据权利要求1所述的实体识别方法， 其特 征在于， 所述空洞卷积核的尺寸 为7*7。 3.根据权利要求1或2所述的实体识别方法， 其特征在于， 所述实体识别单元采用神经 网络确定的实体信息包括： 实体 类别、 实体名称以及识别精确度。 4.一种基于BlendMask的知识图谱生成方法， 其特 征在于， 包括如下步骤： 确定文本中包含的信息； 所述信息包括： 实体、 类别以及关系； 所述类别为具有同种特 性的实体构成的集 合， 所述关系指实体与实体、 实体与类别或类别与类别之间的关系； 采用权利要求1至 3任一项所述的实体识别方法识别图像中的目标物对应的实体信息； 将从文本 中提取的实体、 类别以及 关系信息， 与从图像 中识别的实体信息结合， 以类别 和实体作为节点， 并以关系为 边生成对应的知识图谱。 5.根据权利要求4所述的知识图谱生成方法， 其特征在于， 所述将从文本中提取的实 体、 类别以及关系信息， 与从图像中提取的实体信息结合， 具体为： 根据从图像中提取的实体 类别、 实体名称和识别精确度信息， 确定同一类别下的实体； 若同一类别下两个实体对应的识别精确度差值小于第 一阈值， 则将两个实体判定为统 一物种， 并为两个实体增加对应的关系信息； 若同一类别下两个实体对应的识别精确度差 值在第一阈值和第二阈值之间， 则将两个实体判定为相似物种， 并为两个实体增加对应的 关系信息； 若同一类别下两个实体对应的识别精确度差值大于第二阈值， 则认为两个实体 没有关系； 所述第二阈值大于第一阈值； 根据从文本 中提取的实体、 类别以及 关系信息， 以及从图像中提取的实体、 实体之间的 关系信息， 生成对应的知识图谱。 6.一种基于BlendMask的实体识别系统， 其特 征在于， 包括： BlendMask改进模型确定模块， 用于确定B lendMask改进模型； 所述B lendMask改进模型 包括： 特征图金字塔网络FPN、 图像 分割单元以及实体识别单元； 所述FPN对接收到的图像进 行上采样， 以提高图像的分辨率， 方便在上采样后进 行特征融合， 最后通过空洞卷积将融合 后的特征输出； 所述空洞卷积在卷积核的元素之间加入多个空格， 以扩大卷积核的感受野， 避免上采样后的图像存在像素不连续或者像素混叠， 进而全面提取图像的特征； 所述图像 分割单元基于所述图像特征将图像分割成多个不重叠且又具备各自特征的子区域， 以将待 进行实体识别的目标物从背景从分离； 所述 实体识别单元采用神经网络对 所述目标物进 行 识别， 确定所述目标物对应的实体信息；权　利　要　求　书 1/2 页 2 CN 114998702 A 2实体识别模块， 用于将待进行实体识别的图像输入到BlendMask改进模型， 以对图像中 的目标物进行实体识别。 7.根据权利要求6所述的实体识别系统， 其特 征在于， 所述空洞卷积核的尺寸 为7*7。 8.根据权利要求6或7所述的实体识别系统， 其特征在于， 所述BlendMask改进模型的实 体识别单 元采用神经网络确定的实体信息包括： 实体 类别、 实体名称以及识别精确度。 9.一种基于BlendMask的知识图谱生成系统， 其特 征在于， 包括： 文本信息确定模块， 用于确定文本 中包含的信息； 所述信 息包括： 实体、 类别以及 关系； 所述类别为具有同种 特性的实体构成的集合， 所述关系指实体与实体、 实体与类别或类别 与类别之间的关系； 图像实体识别模块， 用于采用权利要求1至3任一项所述的实体识别方法识别图像中的 目标物对应的实体信息； 知识图谱生成模块， 用于将 从文本中提取的实体、 类别以及 关系信息， 与从图像中识别 的实体信息结合， 以类别和实体作为节点， 并以关系为 边生成对应的知识图谱。 10.根据权利要求9所述的知识图谱生成系统， 其特征在于， 所述知识图谱生成模块将 从文本中提取的实体、 类别以及关系信息， 与从图像中提取 的实体信息结合， 具体为： 根据 从图像中提取的实体类别、 实体名称和识别精确度信息， 确定同一类别下的实体； 若同一类 别下两个实体对应的识别精确度差值小于第一阈值， 则将两个实体判定为统一物种， 并为 两个实体增加对应的关系信息； 若同一类别下两个实体对应的识别精确度差值在第一阈值 和第二阈值之 间， 则将两个实体判定为相似物种， 并为两个实体增加对应的关系信息； 若同 一类别下两个实体对应的识别精确度差值大于第二阈值， 则认为两个实体没有关系； 所述 第二阈值大于第一阈值； 以及根据从文本中提取的实体、 类别以及关系信息， 以及从图像中 提取的实体、 实体之间的关系信息， 生成对应的知识图谱。权　利　要　求　书 2/2 页 3 CN 114998702 A 3