(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370443.4 (22)申请日 2022.04.10 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 孟诗乔　周颖　高致远　 (74)专利代理 机构 上海科律专利代理事务所 (特殊普通 合伙) 31290 专利代理师 叶凤 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06V 20/17(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于无人机的高精度实时裂缝检测方 法 (57)摘要 本发明属于建筑物损伤检测领域， 具体涉及 一种基于 无人机的高精度实时裂缝检测方法。 使 用轻量级裂缝分类算法和轻量级裂缝分割算法 检测提取出相机采集的 图像中的裂缝位置信息， 使用裂缝位置信息提取算法通过双目相机或雷 达采集的数据结合图像中裂缝的位置信息计算 出裂缝与无人机的相对位置信息， 通过裂缝信息 辅助的无人机飞行控制算法使无人机平稳飞行 至裂缝表 面附近， 使用高精度裂缝分割算法和裂 缝几何信息提取算法实现高精度的裂缝几何信 息提取。 由于相机拍摄时相机与裂缝之间的距离 较小， 因此 实现更高精度且实时的自动化裂缝检 测。 本发明所提出的方法可以实时提供裂缝检测 的分析结果， 并大幅度提升裂缝几何信息提取的 精度。 权利要求书4页 说明书9页 附图4页 CN 114841923 A 2022.08.02 CN 114841923 A 1.一种基于无人机的高精度实时裂缝检测方法， 所述无人机上搭载有单目或双目相 机、 惯性测量单 元IMU、 机载电脑和机载 雷达， 其特 征在于， 包括以下步骤： S1： 设单目相机或双目相机图像的采样间隔为t； 从单目相机或双目相机获取目标当前 时刻T的一帧图像IT； 提供给S2； S2： 若上一帧不是关键帧， 则将图像降采样后输入到S3中； 若上一帧是关键帧， 则将图 像输入到S 8中； 所述关键帧表示利用轻量级裂缝分割算法结合双目相机的深度图计算出裂缝与无人 机相对位置关系， 且两者之间的距离小于预设阈值,并满足无人机稳定在该区域达到预设 帧数条件的视频帧； S3： 利用轻量级裂缝分类算法， 判断图像中是否存在裂缝， 若图像中存在裂缝， 则将图 像输入到S4中， 否则转至S7； 所述轻量级裂缝分类算法利用卷积神经网络算法， 并通过在神经网络中加入通道洗 牌、 逐点分组卷积和深度可分离卷积实现计算 量的大幅降低， 从而实现实时的裂缝检测； S4： 利用轻量级裂缝分割算法， 识别图像中裂缝的几何边 缘； 提供给S5和S6； 所述轻量化裂缝分割算法的输入为降采样后的由单目或双目相机采集的原始图像， 输 出结果为一张二值化的图像， 用以表示图像中裂缝 所在的区域； 所述轻量化裂缝分割算法利用卷积神经网络算法， 具有一个细节分支和一个语义分 支， 其中细节分支具有较多的通道数和较少的网络层数， 用于捕获低层细节并生成高分辨 率的特征图， 语义分支具有较少的通道数和较多的网络层数， 获取高层次语义信息； 此外， 在细节分支和语义分支后具有一个特征融合算法以融合两个分支的特征图； 通过这种方式 建立的轻量化裂缝检测模型可以在保证精度的情况下实现高速的裂缝几何边缘提取， 从而 结合裂缝位置信息计算算法为裂缝信息辅助的无人机飞行控制算法实时地提供裂缝位置 信息； S5： 利用双目相机或雷达获得目标深度图， 并输入到裂缝位置信息计算算法中， 得到裂 缝的位置信息； 所述的裂缝位置信息计算算法的输入为双目相机的双 目图像或雷达的点云数据以及 轻量级裂缝分割算法的识别结果； 通过双目立体匹配算法计算得到深度图并与 原始图像进 行图像匹配， 结合轻量级裂缝分割算法的识别结果可以计算出裂缝与无人机在世界坐标系 下的相对位置 关系； 此外， 也可以通过雷达获得的点云数据与 原始图像进 行匹配， 并结合轻 量级裂缝分割算法的识别结果计算出裂缝与无 人机在世界坐标系下的相对位置关系； S6： 将裂缝的几何边缘和裂缝的位置信 息输入到裂缝信 息辅助的无人机飞行控制算法 中， 控制无人机进行移动； 若无人机平稳飞行至目的地， 则将这一帧设置为关键帧并转至 S7， 否则直接转至S7； 所述的裂缝信息辅助的无人机飞行控制算法的输入为每一时刻裂缝和无人机的相对 位置信息； 通过限制无人机的最大飞行速度并在每两个关键帧之间结合IMU传感器的数据 和无人机与裂缝的相对位置信息对预期移动目标位置进行修正； 可以使 无人机平稳移动至 裂缝位置附近； S7： 结束当前帧的处 理， 并转至S1处 理下一时刻(T+t)的新图像IT+t； S8： 通过轻量级裂缝分割算法， 识别图像 中裂缝的几何边缘， 获得裂缝所在子区域的位权　利　要　求　书 1/4 页 2 CN 114841923 A 2置信息； S9： 将S1中的原始图像输入到高精度裂缝分割算法中， 得到高精度的裂缝几何边缘信 息； 所述的高精度裂缝分割算法分为 三个步骤， 如下： S9.1前处 理算法： 将相机拍摄的原 始图像分割成固定大小的图像块； S9.2结合轻量级裂缝分割算法识别出的像素级的裂缝 区域， 将含有裂缝的图像块输入 到高精度裂缝几何边缘检测算法中， 算法输出的结果为具有 更精细裂缝几何边缘的识别结 果； S9.3后处理算法： 将图像块拼接还原为原始图像大小， 并通过形态学处理等算法去除 识别结果中的异常点， 最终得到高精度的裂缝识别结果； S10： 通过双目相机或雷达计算出深度图， 并输入到裂缝位置信息计算算法中， 得到裂 缝位置信息； S11： 将高精度的裂缝几何边缘信息和裂缝位置信 息输入到裂缝几何信息提取算法中， 得到裂缝的几何信息； 此处的裂缝检测 流程完成， 无人机根据预先设定的航线移动到下一 个待检测区域， 并重复进行 上述流程。 2.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法， 其特征在于， S9.2所 述的高精度裂缝几何边缘检测算法利用卷积神经网络算法， 并加入空间自注意力机制和通 道自注意力机制， 将输入的原始图像经过多次 降采样和上采样操作， 并在采样得到的特征 图之间进行跨层的通道连接， 实现多层次的语义信息融合； 通过上采样和特征映射最终得 到与原始图像大小相同的像素级高精度裂缝识别结果； 算法如下： 将输入的图像利用加入了空间自注意力 机制和通道自注意力 机制的卷积层 进行四次 降采样， 并通过上采样将特征图映射回原始图像的大小； 在特征图大小相等的网 络层之间进行特征通道拼接， 实现跨网络层的多尺度数据融合， 并在 网络的最后加入特征 映射模块将特征图降至二维； 在网络的训练阶段， 针对完成特征通道拼接的特征图进行特 征映射和上采样后， 将输出 的结果与实际值进行损失函数 的计算， 用于增强网络的训练效 果， 损失函数的表达式如下式所示： 式中， y为图像中某一像素处的真实值； y ′为神经网络在该像素处的输出值； 求值区间 为图像中所有的像素； 通过大量被像素级标注的裂缝图像结合梯度下降法实现对神经网络 的训练； 在实际使用过程中， 冻结网络参数直接输出结果即可得到像素级的裂缝分割结果； 由于网络的层数较多且参数量较大、 使用了空间自注意力机制和通道自注意力机制并加入 了多尺度语义信息的跨层融合， 因此 可以实现更高精度的裂缝几何边 缘提取。 3.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法， 其特征在于， S3所述 轻量级裂缝分类算法， 输入的图像经过多层包含通道洗牌、 逐点分组卷积和深度可分离卷 积构成的基本模块以及普通的卷积层、 池化层等结构进行处理， 最终输出结果为一个维度 为1×1×2的张量， 用以表示图像中是否存在裂缝； 通过大量被标注的裂缝图像结合梯度下 降法对神经网络进行训练； 其中， 训练时所使用的损失函数如下式所示：权　利　要　求　书 2/4 页 3 CN 114841923 A 3