(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520149.7 (22)申请日 2022.05.12 (71)申请人 中南大学 地址 410083 湖南省长 沙市麓山 南路932号 (72)发明人 蒋朝辉　黄建才　桂卫华　潘冬　 周科　易遵辉　 (74)专利代理 机构 长沙朕扬知识产权代理事务 所(普通合伙) 43213 专利代理师 马家骏 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/46(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 一种高炉料面视频关键帧自动提取方法及 系统 (57)摘要 本发明提供的高炉料面视频关键帧自动提 取方法及系统， 通过采集高炉冶炼过程的料面视 频， 基于边界先验和图像特征空间定位了料面图 像显著性区域， 提取了图像显著性区域的准确的 特征点， 并根据光流法计算了相邻两帧图像的像 素位移； 接着提出了融合局部密度极大值和GMM 模型聚类的方法识别了料面状态； 最后根据图像 特征点密集程度的变化情况将高温工业内窥镜 采集的视频划分成不同的周期， 基于料面状态识 别结果提取了每个布料周期的关键帧。 本发明能 够准确识别料面状态并剔除料面视频冗余信息， 从高炉料面视频自动提取出中心气流稳定、 图像 特征明显的料面视频关键帧。 同时， 本发明适用 于其它周期性变化、 图像质量不均匀的视频关键 帧的自动提取。 权利要求书3页 说明书11页 附图3页 CN 114743152 A 2022.07.12 CN 114743152 A 1.一种高炉料面视频关键帧 自动提取 方法， 其特 征在于， 所述方法包括： 获取料面图像的显著性区域； 提取显著性区域的特 征点； 对相邻两帧料面图像进行特征点匹配， 并计算相邻 两帧料面图像的特征点数目和特征 点光流； 基于核密度估计获取特征点数目及平均光流矢量数据分布的局部密度极大值， 获得高 斯混合模型的初始聚类中心， 其中所述平均光流矢量为料面图像中所有 特征点光流的平均 值； 基于初始聚类中心， 采用高斯混合模型对料面图像的特征点光流进行状态聚类， 获取 料面所处的状态， 其中料面所处的状态包括快速下沉状态、 不稳定状态、 稳定状态和缓慢下 沉状态； 根据料面图像的特征点密集程度变化情况划分布料周期， 并基于料面所处 的状态提取 不同布料周期视频中的关键帧。 2.根据权利要求1所述的高炉 料面视频关键帧自动提取方法， 其特征在于， 获取料面图 像的显著性区域包括： 通过SLIC聚类将料面图像划分为预设阈值的超像素块； 计算超像素块与边界的边界连通 性； 根据边界连通 性， 获取超像素块属于背景的概 率； 根据超像素块属于背景的概 率， 获取超像素块的显著值； 根据超像素块的显著值， 获取 料面图像的显著性区域。 3.根据权利要求2所述的高炉 料面视频关键帧自动提取方法， 其特征在于， 根据超像素 块的显著值， 获取 料面图像的显著性区域包括： 基于料面图像的特征空间， 获取料面图像的像素间的总体差异度， 且获取料面图像的 像素间的总体差异度的计算公式为： 其中， d1(pi,pj)、 d2(pi,pj)和d3(pi,pj)分别表示料面图像的像素pi和像素pj的颜色特 征、 亮度特征和纹理特征的欧式距离， ds(pi,pj)表示像素pi和像素pj之间的空 间特征的欧式 距离， α 表示 参数， 设置为3； 根据超像素块的显著值和像素间的总体差异度， 获取像素的显著值， 其中获取像素的 显著值的计算公式为： 其中， 表示像素pi的显著值， d(pi,pn)表示像素pi和像素pn的总体差异度， 表示包含 像素pi的超像素块， N表示以像素pi为中心的8 ×8邻域内的像素点的数目， 表示超像素 块 属于背景的概 率； 根据像素的显著值对料面图像进行二 值化处理， 获得料面图像的显著性区域。权　利　要　求　书 1/3 页 2 CN 114743152 A 24.根据权利要求3所述的高炉 料面视频关键帧自动提取方法， 其特征在于， 提取显著性 区域的特 征点包括： 将显著性区域对应的区域图像降采样， 得到不同尺寸的区域图像， 将不同尺寸的区域 图像按照从大到小排列， 通过高斯卷积和高斯差分得到高斯差分金字塔； 将高斯差分金字塔中图像的每个像素点与相邻像素点及上下两层图像相邻区域像素 进行比较， 寻找极值 点， 从而获得离 散极值点； 通过泰勒公式将离散极值点拟合成连续极值点， 剔除不稳定的点， 并基于Harris角点 检测算法剔除边 缘影响， 得到连续的特 征点集合， 从而获得显著性区域的特 征点。 5.根据权利要求4所述的高炉 料面视频关键帧自动提取方法， 其特征在于， 计算相邻 两 帧料面图像的特 征点数目和特 征点光流的计算公式为： (ux,vy)＝(x+△x‑x,y+△y‑y)＝(△x,△y)， 其中， ux和vy分别表示第t帧料面图像 的第i个特征点Pi(x,y)移动到第t+1帧料面图像 的第i个特征点Pi′(x+△x,y+△y)时在水平和垂直 方向的运动分量， x,y表示特征点Pi(x,y) 的坐标， x+ △x,y+△y表示特征点Pi′(x+△x,y+△y)的坐标。 6.根据权利要求1 ‑5任一所述的高炉料面视频关键帧自动提取方法， 其特征在于， 基于 核密度估计获取特征点数目及平均光流矢量数据分布的局部密度极大值， 获得高斯混合模 型的初始聚类中心包括： 采集不同周期不同状态下的料面图像， 计算相邻 两帧图像的特征点数目和平均光流矢 量， 其中所述平均光 流矢量为料面图像中所有特 征点光流的平均值； 采用等置信概 率剔除异常值， 并对特 征点数目及平均光 流矢量进行归一 化处理； 采用核密度估计函数获得特征点数目及平均光流矢量数据分布的概率密度图， 其中核 密度估计函数 具体为： 其中， h表示平滑参数， Kh(·)表示核函数， d表示观测值， fh(d)表示概率密度函数， M表 示样本的总数， di表示特征空间样本集中的第i个样本； 根据概率密度图， 获取局部密度最大的四个点作为初始 的聚类中心， 并将其作为高斯 混合模型的初始聚类中心。 7.根据权利要求6所述的高炉 料面视频关键帧自动提取方法， 其特征在于， 基于初始聚 类中心， 采用高斯混合模型对料面图像的特征点光流进行状态 聚类， 获取料面所处的状态 包括： 采用EM算法对高斯混合模型参数进行更新， 直至对数似然函数达到最大值， 参数更新 结束， 其中对数似然函数 具体为： 其中， αi表示当前帧属于类别i的概率， μi,∑i分别表示第i个高斯分布的均 值和协方差 矩阵， f( αi, μi,∑i)表示参数更新的目标函数， L( αi, μi,∑i)表示对数似然函数， m表示样本 的数目， k表示高斯函数的个数， xj表示当前样本， P(xj/μi)表示样本xj属于第i个高斯分布 的概率；权　利　要　求　书 2/3 页 3 CN 114743152 A 3