(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210489970.7 (22)申请日 2022.05.06 (71)申请人 中国人民解 放军海军工程大 学 地址 430033 湖北省武汉市硚口区解 放大 道717号海 军工程大 学 (72)发明人 钱超　鲍敬源　史跃东　崔海涛　 李星　 (74)专利代理 机构 北京中和立达知识产权代理 有限公司 1 1756 专利代理师 杨磊 (51)Int.Cl. G06K 9/62(2022.01) G06V 20/00(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G01S 7/41(2006.01) G01S 13/08(2006.01) G01S 13/86(2006.01) G01S 13/88(2006.01) (54)发明名称 基于机器视觉与毫米波雷达的螺栓松动检 测方法及装置 (57)摘要 本发明是关于一种基于机器视觉与毫米波 雷达的螺栓松动检测方法及装置， 方法包括： 通 过机器视觉摄像装置获取目标设备的目标图像； 通过深度学习识别模型对所述目标图像进行识 别， 以得到螺栓螺母识别信息； 通过毫米波雷达 获取所述目标设备上所述至少一个螺栓和与其 对应的螺母的距离信息和位置信息， 其中， 所述 毫米波雷达和所述机器视觉摄像装置处于同一 水平面上； 将所述螺栓螺母识别信息和所述距离 信息和位置信息按照预设融合规则进行信息融 合， 以得到每个螺栓和与其对应的螺母之间的实 际距离； 根据每个螺栓和与其对应的螺母之间的 实际距离， 确定各个螺栓是否松动。 通过该技术 方案， 提高螺栓螺母的识别准确度， 实现准确判 断螺栓是否松动。 权利要求书2页 说明书12页 附图12页 CN 114897066 A 2022.08.12 CN 114897066 A 1.一种基于 机器视觉与毫米波雷达的螺 栓松动检测方法， 其特 征在于， 所述方法包括： 通过机器视觉摄像装置获取目标设备的目标图像， 其中， 所述目标图像中包括至少一 个螺栓和与其对应的螺母； 通过深度学习识别模型对所述目标图像进行识别， 以得到 螺栓螺母识别 信息； 通过毫米波雷达获取所述目标设备上所述至少一个螺栓和与其对应的螺母的距离信 息和位置信息， 其中， 所述毫米波雷达和所述机器视 觉摄像装置处于同一水平面上； 将所述螺栓螺母识别信息和所述距离信息和位置信息按照预设融合规则进行信息融 合， 以得到每 个螺栓和与其对应的螺母之间的实际距离； 根据每个螺栓和与其对应的螺母之间的实际距离， 确定各个螺 栓是否松动。 2.根据权利要求1所述的方法， 其特征在于， 通过深度学习识别模型对所述目标图像进 行识别， 以得到 螺栓螺母识别 信息， 包括： 对所述目标图像进行 预处理， 得到处 理后的图像； 通过SURF算法对所述处理后的图像进行特征点检测， 以得到特征点信息， 其中， 特征点 信息包括特 征点的位置信息、 方向信息和特 征描述信息； 根据每个特征点信息， 使用对应大小的矩形框从所述处 理后的图像中框 选图像片段； 将每个图像片段输入至所述深度学习识别模型， 以识别所述图像片段的目标类别， 其 中， 所述目标类别包括螺母、 螺 栓和非螺 栓和螺母； 根据各个图像片段的目标类别和特征点信 息， 确定螺栓螺母识别信 息， 其中， 所述螺栓 螺母识别 信息包括螺 栓类别信息、 螺母类别 信息和螺 栓、 螺母的位置信息 。 3.根据权利要求1所述的方法， 其特征在于， 通过毫米波雷达获取所述目标设备上所述 至少一个螺 栓和与其对应的螺母的距离信息和位置信息， 包括： 通过毫米波雷达向外发射连续的调频毫米波信号， 并接收所述螺栓和螺母的反射信 号； 将所述调频毫米波信号和所述反射信号进行混频以获得回波差拍信号； 利用所述得回波差拍信号和上下扫频段差拍信号频谱对称的性质， 计算得到所述螺栓 和与其对应的螺母之间的距离信息和位置信息 。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过快速傅里叶变换 得到所述调频毫米波信号和所述反射信号的离 散频率谱； 根据所述离 散频率谱的峰值 排除虚假螺 栓和螺母。 5.根据权利要求1所述的方法， 其特征在于， 将所述螺栓螺母识别信 息和所述距离信 息 和位置信息按照预设融合规则进 行信息融合， 以得到每个螺栓和与其对应的螺母之 间的实 际距离， 包括： 将所述螺 栓螺母识别 信息、 所述距离信息和位置信息在统一的坐标系下进行融合； 确定所述机器视 觉摄像装置的第一采样周期和所述毫米波雷达的第二采样周期； 以所述第一采样周期和所述第 二采样周期中最大的采样周期为基准， 确定所述第 一采 样周期和所述第二采样周期的最小公倍数， 将所述 最小公倍数作为目标 数据采集时间； 按照所述目标数据采集 时间将统一坐标系后的螺栓螺母识别信 息、 所述距离信 息和位 置信息进行数据采集和融合， 以实现融合后的螺栓螺母识别信息、 距离信息和位置信息在 空间和时间上同步；权　利　要　求　书 1/2 页 2 CN 114897066 A 2根据所述融合后的螺栓螺母识别信息、 距离信息和位置信息， 计算得到每个螺栓和与 其对应的螺母之间的实际距离 。 6.根据权利要求1所述的方法， 其特征在于， 根据每个螺栓和与其对应的螺母之间的实 际距离， 确定各个螺 栓是否松动， 包括： 判断每个螺栓和与其对应的螺母之间的实际距离是否大于预设阈值； 当任一螺栓和与其对应的螺母之间的实际距离大于所述预设阈值 时， 确定所述任一螺 栓松动。 7.根据权利要求1至 6中任一项所述的方法， 其特 征在于， 所述方法还 包括： 当确定任一螺 栓松动时， 在所述目标图像上进行突出显示， 并输出报警提 示。 8.一种基于 机器视觉与毫米波雷达的螺 栓松动检测装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于通过机器视觉摄像装置获取目标设备的目标图像， 其中， 所述目标 图像中包括至少一个螺 栓和与其对应的螺母； 识别模块， 用于通过深度学习识别模型对所述目标图像进行识别， 以得到螺栓螺母识 别信息； 第二获取模块， 用于通过毫米波雷达获取所述目标设备上所述至少一个螺栓和与其对 应的螺母的距离信息和位置信息， 其中， 所述毫米波雷达和所述机器视觉摄像装置处于同 一水平面上； 融合模块， 用于将所述螺栓螺母识别信 息和所述距离信 息和位置信 息按照预设融合规 则进行信息融合， 以得到每 个螺栓和与其对应的螺母之间的实际距离； 确定模块， 用于根据每个螺栓和与其对应的螺母之间的实 际距离， 确定各个螺栓是否 松动。 9.一种基于 机器视觉与毫米波雷达的螺 栓松动检测装置， 其特 征在于， 所述装置包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为： 通过机器视觉摄像装置获取目标设备的目标图像， 其中， 所述目标图像中包括至少一 个螺栓和与其对应的螺母； 通过深度学习识别模型对所述目标图像进行识别， 以得到 螺栓螺母识别 信息； 通过毫米波雷达获取所述目标设备上所述至少一个螺栓和与其对应的螺母的距离信 息和位置信息， 其中， 所述毫米波雷达和所述机器视 觉摄像装置处于同一水平面上； 将所述螺栓螺母识别信息和所述距离信息和位置信息按照预设融合规则进行信息融 合， 以得到每 个螺栓和与其对应的螺母之间的实际距离； 根据每个螺栓和与其对应的螺母之间的实际距离， 确定各个螺 栓是否松动。 10.一种计算机可读存储介质， 其上存储有计算机指令， 其特征在于， 该指令被处理器 执行时实现权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114897066 A 3