(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210547898.9 (22)申请日 2022.05.18 (71)申请人 泉州装备制造 研究所 地址 362000 福建省泉州市台商投资区洛 阳镇上浦村吉贝51 1号 (72)发明人 方立　沈慧芳　张静茹　周树东　 刘金洲　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 专利代理师 陈雪莹 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06T 5/00(2006.01) G06T 5/50(2006.01) (54)发明名称 一种基于分层聚类和边界增强的深度图上 采样方法及装置 (57)摘要 本发明公开了一种基于分层聚类和边界增 强的深度图上采样方法和装置， 涉及深度图上采 样技术领域。 本发明不仅对低分辨深度图进行预 处理， 将其分成深度连续区域和深度不连续区 域， 深度连续区域的种子像素直接进行插值， 深 度不连续区域的目标像素是本发明需要进行处 理的， 减少目标数量， 提高计算效率。 本发明还利 用初始素描图算法对高分辨彩色图像进行预处 理， 利用各向异性滤波器获取平滑的均匀区域和 增强的图像边界， 并且对于颜色相近的深度不连 续区域， 利用素描 图的边界信息进行处理， 有助 于后续精细的图像分割。 在进行深度图上采样 时， 提出了一种分层分类别的上采样方法， 可 以 对目标像素进行分类插值， 有效防止了深度不连 续区域的深度混淆伪影 。 权利要求书3页 说明书12页 附图4页 CN 114758165 A 2022.07.15 CN 114758165 A 1.一种基于分层聚类和边界增强的深度图上采样方法， 其特征在于， 包括： 图像预处理 过程以及分层深度图上采样过程； 所述图像预处 理过程包括： 对低分辨深度图进行预处理， 划分为深度连续区域和深度不连续区域， 得到预处理深 度图DI； 将位于所述深度连续区域的像素作为种子像素， 用于插值； 将位于所述深度不连续 区域的像素作为目标像素， 通过种子像素对所述进行目标像素插值； 利用初始素描图模型对高分辨彩色图像进行处理， 得到一个原始草图和一个可素描图 像， 利用所述可素描图像对所述高分辨彩色图像进 行平滑处理， 实现快速有效的聚类； 在平 滑的高分辨彩色图像中加入所述原 始草图， 增强图像边界， 得到高分辨灰度图IR； 所述分层深度图上采样过程包括： 对预处理深度图DI进行分层插值， 每一层均先利用k ‑means聚类方法将所述高分辨灰度 图IR分成kn类， 每一类包含数个不连续 区域， 再对每个区域利用最近邻联合双边NJB插值方 法对目标像素进行插值， 其中， kn为第n层聚类的类别数量； 当最后一层插值完成后， 几乎所 有目标像素都被插值， 对于剩余的未被插值的目标像素， 利用后平 滑操作进行删除。 2.根据权利要求1所述的方法， 其特征在于： 所述图像预处理过程中， 对低分辨深度图 进行预处理， 采用双线性滤波和阈值 函数进行区域划分。 3.根据权利要求1所述的方法， 其特征在于： 所述图像预处理过程中， 初始素描图模型 具体如下： p(I)＝p(IΦ)p(Φsk)p(Φnsk) 其中， p(Φsk)表示可素描部分， p(Φnsk)表示不可素描部分， p(IΦ)表示Gestalt字段模 型。 4.根据权利要求1所述的方法， 其特征在于： 所述k ‑means聚类的类别数kn是逐层递减 的， 实现对图像进行由细到粗的分割。 5.根据权利要求1所述的方法， 其特征在于： 所述分层深度图上采样过程中， 对每个区 域利用最近邻联合双边 NJB插值方法对目标像素进行插值， 具体为： 假设当前插值区域内包含T个目标像素和S个种子像素， 对每个目标像素， 先在它周围 找到几个最近的种子， 并确保被选择的种子在所述S 个种子像素中， 然后利用选定的种子通 过联合双边滤波对当前目标像素进行插值： 其中， L表示被选 择的种子的个 数， gd(t,sl)和gc(t,sl)分别表示 关于空间距离和色差的 高斯核， 具体如下： 权　利　要　求　书 1/3 页 2 CN 114758165 A 2其中， d(t,sl)为当前目标像素t和被选择的种 子像素sl之间的几何距离， dσ和cσ为给定 的尺度参数。 6.一种基于分层聚类和边界增强的深度图上采样装置， 其特征在于， 包括： 图像预处理 模块以及分层深度图上采样模块； 所述图像预处理模块， 用于对低分辨深度图进行预处理， 划分为深度连续区域和深度 不连续区域， 得到预处理深度图DI； 将位于所述深度连续区域的像素作为种子像素， 用于插 值； 将位于所述深度不连续区域的像素作为 目标像素， 通过种子像素对所述进行目标像素 插值； 利用初始素描图模型对高分辨彩色图像进行处理， 得到一个原始草图和一个可素描 图像， 利用所述可素描图像对所述高分辨彩色图像进 行平滑处理， 实现快速有效的聚类； 在 平滑的高分辨彩色图像中加入所述原 始草图， 增强图像边界， 得到高分辨灰度图IR； 所述分层深度图上采样 模块， 用于对预处理深度图DI进行分层插 值， 每一层均先利用k ‑ means聚类方法将所述高分辨灰度图IR分成kn类， 每一类包含数个不连续 区域， 再对每个区 域利用最近邻联合双边NJB插值方法对目标像素进行插值， 其中， kn为第n层聚类的类别数 量； 当最后一层插值完成后， 几乎所有目标像素都被插值， 对于剩余的未被插值的目标像 素， 利用后平 滑操作进行删除。 7.根据权利要求6所述的装置， 其特征在于： 所述图像预处理模块中， 对低分辨深度图 进行预处理， 采用双线性滤波和阈值 函数进行区域划分。 8.根据权利要求6所述的装置， 其特征在于： 所述图像预处理模块中， 初始素描图模型 具体如下： p(I)＝p(IΦ)p(Φsk)p(Φnsk) 其中， p(Φsk)表示可素描部分， p(Φnsk)表示不可素描部分， p(IΦ)表示Gestalt字段模 型。 9.根据权利要求6所述的装置， 其特征在于： 所述k ‑means聚类的类别数kn是逐层递减 的， 实现对图像进行由细到粗的分割。 10.根据权利要求6所述的装置， 其特征在于： 所述分层深度图上采样模块中， 对每个区 域利用最近邻联合双边 NJB插值方法对目标像素进行插值， 具体为： 假设当前插值区域内包含T个目标像素和S个种子像素， 对每个目标像素， 先在它周围 找到几个最近的种子， 并确保被选择的种子在所述S 个种子像素中， 然后利用选定的种子通 过联合双边滤波对当前目标像素进行插值： 其中， L表示被选 择的种子的个 数， gd(t,sl)和gc(t,sl)分别表示 关于空间距离和色差的 高斯核， 具体如下： 权　利　要　求　书 2/3 页 3 CN 114758165 A 3