(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210252900.X (22)申请日 2022.03.15 (71)申请人 交通运输部公路科 学研究所 地址 100088 北京市海淀区西土城路8号 (72)发明人 李春阳　孙传姣　张潇丹　李萌　 廖军洪　陈永胜　 (74)专利代理 机构 北京名实专利代理事务所 (特殊普通 合伙) 11802 专利代理师 张亚非 (51)Int.Cl. G06F 40/30(2020.01) G06V 30/18(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 20/00(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 指路及旅游标志版面信息含义识别方法及 装置 (57)摘要 本公开提供一种指路及旅游标志版面信息 含义识别方法及装置， 该方法包括： 将道路视频 信息输入预先训练好的目标检测卷积神经网络 粗分类模型， 得到指路及旅游标志图像区域信 息； 将指路及旅游标志图像区域信息输入到预先 训练好的卷积神经网络指路及旅游标志精分类 模型， 得到指路及旅游标志的类别信息； 将指路 及旅游标志 图像区域信息输入到预先训练好的 场景文字处理模 型中， 得到指路及旅游标志的文 字信息； 将指路及旅游标志图像区域信息输入到 预先训练好的图形符号检测卷积神经网络模型 中， 得到指路及旅游标志的图像信息； 利用预先 设计的语义提取规则， 得到所述指路及旅游标志 的语义信息 。 权利要求书2页 说明书8页 附图1页 CN 114757195 A 2022.07.15 CN 114757195 A 1.一种指路及旅游标志版面信息含义识别方法， 其特 征在于， 包括： 将道路视频信 息输入预先训练好的目标检测卷积神经网络粗分类模型， 得到所述道路 视频中的指路及旅游标志图像区域信息； 将指路及旅游标志图像区域信息输入到预先训练好的卷积神经网络指路及旅游标志 精分类模型， 得到所述指路及旅游标志图像区域信息中指路及旅游标志的类别信息， 所述 类别信息包括指示标志类别、 指路标志类别以及旅游区标志类别； 将指路及旅游标志图像区域信 息输入到预先训练好的场景文字处理模型中， 得到所述 指路及旅游标志图像区域信息中指路及旅游 标志的文字信息， 所述文字信息包括文字内容 信息以及文字所在区域 位置信息； 将指路及旅游标志图像区域信息输入到预先训练好的与所述指路及旅游标志的类别 信息对应的图形符号检测卷积神经网络模型中， 得到所述指路及旅游标志图像区域信息中 指路及旅游标志的图像信息， 所述图像信息包括图像内容信息 以及图像所在区域位置信 息； 根据所述文字内容信息、 文字所在区域位置信息、 图像内容信息以及图像所在区域位 置信息， 利用预 先设计的语义 提取规则， 得到所述指路及旅游标志的语义信息 。 2.根据权利要求1所述的指路及旅游标志版面信 息含义识别方法， 其特征在于， 所述道 路视频信息包括多个视频帧以及各视频帧的地理位置信息 。 3.根据权利要求2所述的指路及旅游标志版面信 息含义识别方法， 其特征在于， 在得到 所述指路及旅游标志图像区域信息的语义信息的步骤之后还 包括： 存储所述指路及旅游标志所在视频帧、 所述所在视频帧的地理位置信 息以及所述指路 及旅游标志的语义信息 。 4.根据权利要求3所述的指路及旅游标志版面信 息含义识别方法， 其特征在于， 将道路 视频信息输入预先训练好的目标检测卷积神经网络粗分类模型， 得到所述道路视频中的指 路及旅游标志图像区域信息的步骤 包括： 利用预先训练好的目标检测卷积神经网络粗分类模型提取各视频帧中存在的指路及 旅游标志； 若存在指路及旅游标志， 针对每一指路及旅游标志， 返回包括指路及旅游标志 的目标 图像信息的区域 位置信息， 所述目标图像信息对应的类型为指路及旅游标志类型； 根据所述目标图像信息的区域位置信息从道路视频信息中提取指路及旅游标志图像 区域， 舍弃没有包括指路及旅游标志的区域的图像信息， 保存所述指路及旅游标志图像区 域以及所述目标图像信息对应的类型。 5.根据权利要求4所述的指路及旅游标志版面信 息含义识别方法， 其特征在于， 所述将 指路及旅游标志图像区域信息输入到预先训练好的场景文字处理模型中， 得到所述指路及 旅游标志图像区域信息中的文字信息的步骤 包括： 将指路及旅游标志图像区域信 息输入到预先训练好的场景文字检测模型中， 得到文字 所在区域 位置信息； 根据文字所在区域 位置信息从指路及旅游标志图像区域中提取文字区域； 将提取的文字区域， 输入到预先训练好的场景文字识别模型中， 识别指路及旅游标志 中的文字内容；权　利　要　求　书 1/2 页 2 CN 114757195 A 2所述场景文字处 理模型包括场景文字检测模型以及场景文字识别模型。 6.一种指路及旅游标志版面信息含义识别装置， 其特 征在于， 包括： 粗分类模块， 用于将道路视频信 息输入预先训练好的目标检测卷积神经网络粗分类模 型， 得到所述道路视频中的指路及旅游标志图像区域信息； 精分类模块， 用于将指路及旅游标志图像区域信 息输入到预先训练好的卷积神经网络 指路及旅游标志精分类模型， 得到所述指路及旅游标志图像区域信息中指路及旅游标志的 类别信息， 所述类别 信息包括指示标志类别、 指路标志类别以及旅游区标志类别； 文字信息处理模块， 用于将指路及旅游标志图像区域信 息输入到预先训练好的场景文 字处理模型中， 得到所述指路及旅游标志图像区域信息中指路及旅游标志的文字信息， 所 述文字信息包括文字内容信息以及文字所在区域 位置信息； 图像信息处理模块， 用于将指路及旅游标志图像区域信 息输入到预先训练好的与 所述 指路及旅游标志的类别信息对应的图形符号检测卷积神经网络模型中， 得到所述指路及旅 游标志图像区域信息中指路及旅游标志的图像信息， 所述图像信息包括图像内容信息以及 图像所在区域 位置信息； 语义处理模块， 用于根据 所述文字内容信 息、 文字所在区域位置信 息、 图像内容信 息以 及图像所在区域位置信息， 利用预先设计的语义提取规则， 得到所述指路及旅游标志的语 义信息。 7.根据权利要求6所述的指路及旅游标志版面信息含义识别装置， 其特征在于， 还包 括： 预处理模块， 用于接收道路视频信息以及与道路视频信息同步的地理位置信息， 并将 所述道路视频信息提取多个视频帧， 以及关联多个视频帧与地理位置信息 。 8.根据权利要求7 所述的指路及旅游标志版面信息含义识别装置， 还 包括： 信息存储模块， 用于存储所述指路及旅游标志所在视频帧、 所述所在视频帧的地理位 置信息以及所述指路及旅游标志的语义信息 。 9.一种存储有计算机程序的计算机可读存储介质， 其特征在于， 当所述计算机程序被 处理器执行时， 实现如权利要求 1至5中任意一项 所述的指路及旅游标志版面信息含义识别 方法。 10.一种计算机设备， 其特 征在于， 所述计算机设备包括： 处理器； 和 存储器， 存储有计算机程序， 当所述计算机程序被处理器执行时， 实现如权利要求1至5 中任意一项所述的指路及旅游标志版面信息含义识别方法。权　利　要　求　书 2/2 页 3 CN 114757195 A 3