(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210183767.7 (22)申请日 2022.02.28 (71)申请人 深圳市其 域创新科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区科苑南路3170号留学生 创业大厦一期2 207 (72)发明人 黄印煌　陈乾　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 代理人 孟洁 (51)Int.Cl. G06T 7/10(2017.01) G06T 5/00(2006.01) G06T 7/66(2017.01) G06V 10/762(2022.01) (54)发明名称 一种建筑物单体化实例分割方法及装置 (57)摘要 本发明涉及计算机视觉应用技术领域， 具体 涉及一种建筑物单体化实例分割方法及装置， 包 括： 对无人机图像生成的点云进行降噪及移除离 群点； 对降噪及移除离群点后的图像点云进行翻 转， 移除地面； 对图像进行语义分割， 从整个图像 点云中筛选出类别为建筑物的点； 对建筑物的点 进行空间密度聚类， 得到组成各个 建筑物单体的 点云簇族； 对每一个点云簇族进行处理生成族类 的三维边框； 对三维边框进行边框裁切以及二次 语义分割， 得到完整的建筑物点云单体。 该方法 及装置支持对 更低成本生 成点云进行单体分割， 并且具有较强的鲁棒性。 地面滤波算法的使用极 大提升了建模稳定性， 极大降低了计算复杂度， 加快的运算速度， 深度学习方法的使用使得模型 更加精确。 权利要求书3页 说明书11页 附图2页 CN 114266780 A 2022.04.01 CN 114266780 A 1.一种建筑物单体化实例分割方法， 其特 征在于， 包括以下步骤： S101.对无 人机图像生成的点云进行降噪及移除离群点； S102.对降噪及移除离群点后的图像点云进行翻转， 移除地 面； S103.对图像进行语义分割， 从整个图像点云中筛 选出类别为建筑物的点； S104.对建筑物的点进行空间密度聚类， 得到组成各个建筑物单体的点云簇族； S105.对每一个点云簇族进行处 理生成族类的三维边框； S106.对三维边框进行边框 裁切以及二次语义分割， 得到 完整的建筑物点云单体。 2.根据权利要求1所述的建筑物单体化实例分割方法， 其特征在于， 所述步骤S101包 括： 对每一个点利用KD ‑tree进行一个统计分析， 利用KD ‑tree得到的结果计算该点到所有 临近点的平均距离， 根据平均距离和每一个距离求标准差， 将平均距离在标准范围u+n* sigma之外的点从数据中去除。 3.根据权利要求2所述的建筑物单体化实例分割方法， 其特征在于， 所述步骤S102包 括： 首先把点云进行翻转， 设置一个由一层复数的粒子构成的布料， 将所述布料放在翻转 的点云上 方； 然后所述布料受到重力下落至所述点云， 根据公式 （2） 计算出所述布料包括的粒子的 位移； 对所述布料与 所述点云进行相交检查， 检查所述布料的粒子是否下落到与 所述点云的 地面接触， 如果所述布料的粒子已经与所述 点云的地 面接触则该 粒子设置为 不可移动； 所述布料下落过程中采用公式 （3） 考虑所述布料的粒子间的内部驱动， 以约束未与所 述点云的地面接触的粒子在反转表面空白区域的位移； 对未与所述地面的点云接触的可移 动粒子， 根据邻近粒子对其产生的力来进行移动新的位置判断； 与所述布料中不可移动粒子相接的点云即为地面点， 记录其索引； 通过与所述布料中 不可移动点的相接关系， 点云被分为 地面点与非地 面点； 从所述点云中移除地 面点即得到包 含建筑物的点云； 其中， 定义了一个 基本公式：     (1); 上式模拟所述布料的运动和与所述点云的地面接触发生的变化， 根据牛顿第二定律， 粒子质量m和粒子的位置X关于时间t的二阶导数的乘积为 其合力， 表达为F ext和Fint； 粒子的位置移动包括外部驱动Fext、 内部驱动Fint两方面的驱动因素； 当仅有外部因 素作用时， 粒子的位移 表示为：  (2)， 用于考虑重力作用下 粒子的位移； 其中Δt 为时间分量上的微分， G为引力常数； 考虑内部因素驱动时， 粒子位移 表示为：权　利　要　求　书 1/3 页 2 CN 114266780 A 2        (3)； 其中d为粒子间作用下位移量， p为粒子位置， 带箭头的n为移动法向量， 参数上方的箭 头为向量符号， b为粒子是否可移动的标志， 当粒子可移动时， b等于1， 不可移动时， b等于0； p0为当前计算的粒子， pi 为p0的任意相邻粒子； 所述公式 （3） 还引入了一个参数RI,用来描述粒子的移动次数， RI的值越大， 则布料就 越硬。 4.根据权利要求3所述的建筑物单体化实例分割方法， 其特征在于， 所述步骤S103包 括： 使用编码器 ‑解码器架构， 利用多层感知机对预定范围的点云进行特征提取， 使用最大 池化来压缩特 征维度得到预定范围内的局部特 征； 采用最远距离采样法来确认预定范围的点云中心点， 以中心为圆心， 分别以1米、 5米、 20米为半径确定预定范围， 提取预定范围内的局部特征嵌入 预定范围的点云中心 点的特征 通道来进行空间下采样； 解码器由四个以上的模块链接而成， 并且提取的局部特征和之后 解码器的特征进行拼 接； 解码器使用双线性插值法来进 行空间的上采样， 最后恢复到原本的特征 空间， 使用一个 线性映射加softmax生成每 个点的预测标签， 从整个点云中筛 选出类别为建筑物的点。 5.根据权利要求4所述的建筑物单体化实例分割方法， 其特征在于， 所述步骤S104包 括： 对点云计算相互之间的投影欧式一维距离， 对于一个点的给定邻域内有N个点为核心 点， 当核心点相互在邻域内， 则为可连接； 连接所有可连接的核心点及组成一个簇族， 设定 阙值筛选簇族， 得到组成各个建筑物单体的点云簇族。 6.根据权利要求5所述的建筑物单体化实例分割方法， 其特征在于， 所述步骤S105包 括： 对每一个所述点云簇族生成一个平行于x,y方向的三维边框， 所述三维边框包含八个 顶点坐标； 所述 三维边框直观展示各个单体在原 始点云中的位置信息 。 7.根据权利要求6所述的建筑物单体化实例分割方法， 其特征在于， 所述步骤S106包 括： 利用得到的所述三维边框， 在原始点云中裁切单体， 得到保留完整信息的建筑物单体 点云； 对建筑物单体及其预设范围的点云进 行语义分割算法， 过滤掉临近地面、 植被及其他 杂物， 得到 完整的建筑物点云单体。 8.一种建筑物单体化实例分割装置， 其特 征在于， 包括： 预处理单元， 用于对无 人机图像生成的点云进行降噪及移除离群点； 翻转单元， 用于对降噪及移除离群点后的图像点云进行翻转， 移除地 面； 语义分割单元， 用于对图像进行语义分割， 从整个图像点云中筛选出类别为建筑物的 点； 空间密度聚类单元， 用于对建筑物的点进行空间密度聚类， 得到组成各个建筑物单体 的点云簇族； 族类生成单 元， 用于对每一个所述 点云簇族进行处 理生成族类的三维边框；权　利　要　求　书 2/3 页 3 CN 114266780 A 3