(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210369878.7 (22)申请日 2022.04.08 (71)申请人 河海大学 地址 211100 江苏省南京市江宁区佛城西 路8号 (72)发明人 胡鹤轩　赵宇晨　胡强　张晔　 袁子扬　许天霖　岳海洋　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 楼然 (51)Int.Cl. G06V 10/762(2022.01) G06K 9/62(2022.01) G06T 7/136(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习与飞行时间的电梯门空 间异物检测方法 (57)摘要 本发明公开了一种基于深度学习与飞行时 间的电梯门空间异物检测方法， 包括： 创建电梯 门空间异物图像数据集并进行数据增强； 搭建基 于SMU激活函数与新型注意力卷积CoT的改进 YOLOv5s目标检测模型， 并用数据集对模型训练； 利用飞行时间技术相机产生电梯门空间深度图 像， 用K‑means聚类阈值分割法将电梯门空间的 深度图像进行阈值分割； 在分割后的图像上利用 条形分割定位检测算法进行异物的检测； 最后将 改进YOLOv5目标检测模型在普通相机上检测结 果与条形分割定位检测算法在飞行时间技术相 机上检测结果进行综合判断。 本发 明可对电梯门 空间异物进行高精度检测， 从而有效保障电梯的 安全运行。 权利要求书2页 说明书6页 附图3页 CN 114863155 A 2022.08.05 CN 114863155 A 1.一种基于深度学习与飞行时间的电梯门空间异物检测方法， 其特征在于， 包括以下 步骤： 步骤1、 收集创建电梯门空间异 物图像数据集， 并进行亮度数据增强； 步骤2、 搭建基于SMU激活函数与新型注意力卷积CoT的改进YOLOv5s目标检测模型， 并 利用步骤一所获取的数据集对改进的YOLOv5s目标检测模型进行训练； 步骤3、 利用飞行时间技术相机产生电梯门空间深度图像， 通过K ‑means聚类阈值分割 法将电梯门空间的深度图像进 行阈值分割； 在分割后的图像上利用条形分割定位检测算法 进行异物的检测； 最后 将改进YOLOv5目标检测模型在 普通相机上检测结果与条形分割定位 检测算法在飞行时间技 术相机上检测结果进行综合判断。 2.根据权利要求1所述的一种基于深度学习与飞行时间的电梯门空间异物检测方法， 其特征在于， 所述的对收集的图片数据集进行数据增强， 其对于RGB图像的亮度调节公式 为： g(i， j)＝af(i， j)+b 其中f(i， j)和g(i， j)分别为调节前后的图片， a为对比度， b为饱和度。 3.根据权利要求1所述的一种基于深度学习与飞行时间的电梯门空间异物检测方法， 其特征在于， 所述的步骤2中， 将YOLOv5s内基础CBL模块中的所有激活函数改进为SMU激活 函数； 并且在YOLOv5s目标检测 模型的主干特征提取网络Backbone中加 入基于空间注意力 卷积CoT结构， 将C 3模块的Res  unit X中的3×3卷积结构改进为CoT结构。 4.根据权利要求1所述的一种基于深度学习与飞行时间的电梯门空间异物检测方法， 其特征在于， 所述 步骤3包括： 步骤3‑1采用K‑means聚类的方式， 将电梯门空间 的深度图像的地面区域与非地面区域 的像素进行聚类， 获得分割阈值； 再以获得 的分割阈值对电梯门空间的深度图像进行图像 阈值分割； 步骤3‑2用设计的条形分割定位法来检测阈值分割后的电梯门空间的深度图像； 首先 将阈值分割后的电梯门空间深度图像的地面区域划分为检测区域； 在条形分割定位检测算 法中， 将检测区域横向和纵向划分成若干等份， 计算每一划分区域内的平均像素值， 若低于 设定阈值， 则判断此区域内有异 物； 其表达式如下： 其中， 结果1代表此区域有异物， 0代表此区域无异物； p(i， j)为条形 区域像素值， i为条 形区域的像素横坐标， j为条形区域的像素纵坐标， T为设定阈值； 最后， 统计横向与纵向划 分区域内有异 物的区域的个数， 将有异 物区域标记出来得 出被检异物的具体位置与大小； 步骤3‑3将改进YOLOv5目标检测模型在普通相机上检测结果与条形分割定位检测算法 在飞行时间技术相机上检测结果进行综合判断， 只有在改进的YOLOv5s目标检测模型网络 先检测出异物的前提下， 再基于飞行时间技术的深度图像检测出异物的情况， 检测 算法流 程才将输出 结果表示 为有异物。 5.根据权利要求4所述的一种基于深度学习与飞行时间的电梯门空间异物检测方法， 其特征在于， 对电梯门空间的深度图像的所有像素灰度值求平均值， 在电梯门空间无异物 时其均值为t； 而每个像素点的x轴坐标值可根据当前点的灰度值减去平均值得出； 一个灰权　利　要　求　书 1/2 页 2 CN 114863155 A 2度值为v的像素点在聚类坐标系中的坐标点为(v ‑a,v)； 通过此方法对图像中所有的点在聚 类坐标系中拥有其特定的位置， 这些点满足关系式： y＝x+t 其中y为纵坐标， x为横坐标， t为均值； 将这些点投入K ‑means聚类算法实现聚类； 在聚类之前， 将簇的个数设置为2； 值较大的 质心为阈值分割的阈值。 6.根据权利要求4所述的一种基于深度学习与飞行时间的电梯门空间异物检测方法， 其特征在于， 电梯门空间的深度图像阈值分割 是通过阈值的设定， 将电梯门空间的深度图 像中的轿厢地面与非轿厢地面给区分开， 以便电梯门空间的深度图像的异物检测； 电梯门 空间的阈值分割最 终效果为， 将高于 分割阈值的轿厢地面区域划分为灰度值为255的区域， 将低于分割阈值的轿厢地面区域划分为灰度值为0的区域， 最后形成阈值分割后的电梯门 空间的深度图像。权　利　要　求　书 2/2 页 3 CN 114863155 A 3