(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210314945.5 (22)申请日 2022.03.29 (65)同一申请的已公布的文献号 申请公布号 CN 114419523 A (43)申请公布日 2022.04.29 (73)专利权人 深圳市勘察研究院有限公司 地址 518000 广东省深圳市福田区福中东 路15号 (72)发明人 叶绍泽　邱世聪　银霞　刘玉贤　 吕兵　方门福　胡朝辉　王春苗　 戴星　 (74)专利代理 机构 深圳市深可信专利代理有限 公司 44599 专利代理师 刘昌刚 (51)Int.Cl. G06V 20/40(2022.01)G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114140625 A,202 2.03.04 CN 113221710 A,2021.08.0 6 CN 111797707 A,2020.10.20 CN 112070044 A,2020.12.1 1 CN 111553416 A,2020.08.18 CN 113139507 A,2021.07.20 CN 114120209 A,202 2.03.01 郭惠楠等.基于色彩相关性的彩色图像清晰 度评价算法. 《红外与激光工程》 .2013,第42卷 (第11期),第3132- 3136页. 审查员 黄艳艳 (54)发明名称 基于视频深度特征识别和子空间聚类的管 道缺陷检测方法 (57)摘要 本发明公开了一种基于视频深度特征识别 和子空间聚类的管道缺陷检测方法， 涉及管道检 测技术领域， 该方法包括以下步骤： S10、 管道缺 陷检测视频中的图像分类， 通过缺陷分类器得到 所有帧图像的缺陷类型识别结果 、 缺陷帧特 征 以及16类缺陷和1类无缺陷计算分值 ； S20、 子空间聚类算法， 对缺陷帧特征 进行聚 类计算， 得到关于时间序列的缺陷帧特征聚类结 果 ； S30、 关键 帧图像的获取， 挑选出每个聚类 中的关键值 最高的缺陷帧作为关键帧特征； 本发明的有益效果是： 能够准确的挑选出每个聚 类中关键值 最高的缺陷帧， 准确率高。 权利要求书3页 说明书7页 附图3页 CN 114419523 B 2022.07.08 CN 114419523 B 1.一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法， 其特征在于， 该方 法包括以下步骤： S10、 管道缺陷检测视频中的图像分类， 将管道缺陷检测视频中所有帧图像先经过缺陷 分类器， 通过缺陷分类器 得到所有帧图像的缺陷类 型识别结果 、 缺陷帧特征 以及16类 缺陷和1类无缺陷计算分值 ； S20、 子空间聚类算法， 将缺陷分类器提取的缺陷帧特征 通过子空间聚类算法， 根据 缺陷类型识别结果 ， 对缺陷帧特征 进行聚类计算， 得到关于时间序列的缺陷 帧特征聚 类结果 ； S30、 关键帧图像的获取， 根据缺陷帧特征聚类结果 对每个聚类中的缺陷帧特征 计 算关键值 ， 挑选出每个聚类中的关键值 最高的缺陷帧作为关键帧特征， 并将关键帧特 征转换为关键帧图像作为样本存档； 步骤S30包括以下的步骤： S301、 在每个管道缺陷检测视频中， 在缺陷类型 聚类计算完成后， 为每个聚类中挑选一 张该缺陷类型的关键图像进行存 储记录； S302、 挑选关键帧时， 将缺陷帧特征 转换为缺陷类帧图像F， 根据一个聚类中每一个 帧图像的图像清晰度计算值 与缺陷类型识别得到的16类缺陷和1类无缺陷得分 ,选 取相加得到的帧关键值 最高的帧图像作为该聚类的关键帧。 2.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法， 其特征在于， 步骤S10中， 对管道缺陷检测视频中每一帧图像进行缺陷类型识别， 管道缺陷 分为16类缺陷， 其中6类为常见缺陷类型， 其 余10类为 不常见缺陷类型。 3.根据权利要求2所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法， 其特征在于， 步骤S10中， 在缺陷分类器中引入欠采样代表性算法BalanceCascade， 并根据 管道缺陷类分布特性进行优化， 以提高缺陷分类的准确性。 4.根据权利要求3所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法， 其特征在于， 根据管道缺陷类分布特性进行优化包括以下的步骤： S101、 在原BalanceCascade算法基础上， 在挑选子集部分对其算法进行优化， 即根据 2.5： 2.5： 5的比例从6类 常见缺陷类型中挑选出与10类不常见  缺陷类型数量相等的未训练 类样本、 仅功能性结构性判断正确类  样本、 判断完全错误类  样本， 训练出一个MobileNet 基分类器； S102、 使用MobileNet基分类器对全体多数类进行预测， 通过控制分类阈值来控制假正 例率,将常见缺陷类型中判断正确的类所有样本删除， 保留仅功能性结构性判断正确类样 本和判断完全错 误类样本 。 5.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法， 其特征在于， 步骤S20包括以下的步骤： S201、 将缺陷帧特征 根据时间顺序， 将每个帧特征记为 ； 其中 为视频中以时间为 顺序的帧号；权　利　要　求　书 1/3 页 2 CN 114419523 B 2S202、 将时间顺序反应在特 征表示系数 中， 使相邻域具有相似性， 即 ； S203、 使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果， 目标函数 如下： ； ； 其中， 为下三角矩阵， 对角线上元素为 ‑1， 第二对角线上元素为1； 第 一项是用最小二 乘法测量误差 ， 即 ； 第二项用 控制低秩性； 第三项用 控制稀疏度； 第 四项用 控制平滑度， 参数 决定正则化强度； 为视频中每个帧矢量化 为单个列并与相邻帧并排 放置以形成数据矩阵； 为Froben ius范数。 6.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法， 其特征在于， 步骤S3 02中， 包括以下的步骤： S3021、 设输入的帧图像F在RGB色彩空间中描述， 将帧图像F变换至色彩空间 ， 转换 公式为： ； 其中， x、 y和m、 n分别表示 在RGB空间中点 （x， y） 和 （m、 n） 处的分量值； 表示变换算 法， 将图像从RGB颜色 空间中的 （m,n） 分量转换到新颜色 空间 中的 （x、 y） 分量， 其具体流 程如下： ； 其中， 为变换系数， 且确定的 可由不同的R、 G、 B线性表示， 其中一维 分 量表述图像的亮度分量； S3022、 使用 作为梯度计算相邻像素梯度值 ： ； S3023、 为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性， 以三刺激值方差 描述色差 评价参数 ： ； 其中 、 和 分别代表RGB颜色空间中相应的红、 绿和蓝色的x,  y分量； S3024、 为使计算图像清晰度时， 评价函数对图像有较强的鲁棒性， 加入 作为参考 像素 （x， y） 点的对数放大系数：权　利　要　求　书 2/3 页 3 CN 114419523 B 3