(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210262202.8 (22)申请日 2022.03.17 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 程章林　何振邦　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 专利代理师 刘建伟 (51)Int.Cl. G06T 17/05(2011.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 一种曼哈顿结构建筑物的轻量重建方法及 装置 (57)摘要 本发明涉及一种曼哈顿结构建筑物的轻量 重建方法及装置。 该方法及装置首先对图像序列 应用从运动中恢复重建， 得到相机位姿和稀 疏点 云， 并执行基于线段的重建得到线云； 对线云进 行聚类， 并在线云上采样得到采样点， 加入到稀 疏点云中； 从线云中检测平面， 并通过寻找正交 平面切割得到角点； 从角点出发， 通过改变角点 的参数来拟合点云， 得到最终的立方体模型； 对 于未收敛到正确大小的立方体进行基于图像的 配准。 本发明使用线云来获取平面， 而无需密集 点云， 本发 明使用的线云提取平 面方法不仅在平 面提取的鲁棒性方面优于 现有技术， 更由于稀 疏 点云、 线云获得的成本要低于密集点云， 因此本 发明的总体运行时间上要 缩短， 成本更低。 权利要求书4页 说明书20页 附图2页 CN 114863042 A 2022.08.05 CN 114863042 A 1.一种曼哈顿 结构建筑物的轻量重建方法， 其特 征在于， 包括以下步骤： 对图像序列应用从运动中恢复重建， 得到相机位姿和稀疏点云， 并执行基于线段的重 建得到线云； 对线云进行聚类， 并在线云上采样得到采样点， 加入到稀疏点云中； 从线云中检测平面， 并通过寻找正交平面切割得到角点； 从角点出发， 通过改变角点的参数来拟合 点云， 得到最终的立方体模型； 对于未收敛到正确大小的立方体进行基于图像的配准。 2.根据权利要求1所述的曼哈顿结构建筑物的轻量重建方法， 其特征在于， 所述对图像 序列应用从运动中恢复重建， 得到相 机位姿和稀疏点云， 并执行基于线段的重建得到线云 包括： 将图像输入到三维重建系统COLMAP中来恢复相机姿态并生成稀疏点云， 然后将相机姿 势和图像输入L ine3D++系统， 生成线云L0。 3.根据权利要求2所述的曼哈顿结构建筑物的轻量重建方法， 其特征在于， 所述对线云 进行聚类包括： 连接方向接近且最近端点小于阈值的两线段来获得一个更长的线段， 新线段的方向为 两原始线段方向的均值， 新线段长度为两线段在新线段 方向的投影范围； 合并方向接近且两线段之间的距离小于 阈值， 且投影长度重合度高的两条线段来作为 一条新的线段， 新线段的方向为两原始线段方向的均值， 新线段长度为两线段在新线段方 向的投影范围。 4.根据权利要求3所述的曼哈顿结构建筑物的轻量重建方法， 其特征在于， 所述在线云 上采样得到采样点包括： 从聚类后的线云L中采样点以生成更多点， 对于L中的每一条线段， 从任意端点出发， 沿 着线段方向按照预设间隔进行点采样， 并将它们与稀疏点云P0合并； 使用符号P来表示新的 点云。 5.根据权利要求4所述的曼哈顿结构建筑物的轻量重建方法， 其特征在于， 所述从线云 中检测平面包括： 将检测到的平面集S设置为空， 同时每条线都被标记有一个状态:自由线、 纹理线或结 构线； 不支持任何平面的线是自由线； 仅支持一个平面的线是纹理线， 纹理线位于平面内； 支持两个平面的线是结构线， 其位于两个平面的相交边缘； 其中规定一条线最多支持两个 平面； 在处 理之初所有 线初始化 为自由线； 对于线云L中的每一条非结构线li迭代搜索另一条与li平行或垂直同时共面的非结构 线lj， 然后li和lj形成种子平面Pi,j； 如果种子平面Pi,j平行并靠近S中的已有平面， 则该种子 平面被视为重复平面并被丢弃； 接着计算该种子平面的两个主方向， d1(Pi,j)＝normalize(li)和d2(Pi,j)＝normalize (li×N)， 其中N是平面法线； 然后计算这两条种子线的包围盒， 该包围盒的两轴与 两个主方 向对齐； 同时计算种子平面的置信度min(|l| /edge(l)),l∈{li,lj}， 其中edge(l)表示边界 框边在平行于l的方向上的长度； 对线段li找到所有合格的种子平面， 并选 择置信度最高的一个作为最终候选平面； 遍历 L中的自由线和纹理线， 将与候选平 面共面的线段加入到候选平面中进 行扩张； 对扩张后的权　利　要　求　书 1/4 页 2 CN 114863042 A 2平面进行DBSCAN聚类得到若干子平面； 聚类后的分数低于阈值的子平面将被删除， 子平面 的分数定义为子平 面上的所有线段长度之和； 剩余子平面将 被添加到现有的平 面集S， 同时 更新支持这些子平面的线段的状态； 当所有平面已被检测后， 通过计算所有支持线段在两 个主方向的投影来设置S 中每个平面的边界； 在每个平面周围添加 边距来扩展每个平面的 边界。 6.根据权利要求5所述的曼哈顿结构建筑物的轻量重建方法， 其特征在于， 所述通过寻 找正交平面切割得到角点包括： 从线云L获得平面S后， 计算所有三个相互正交平面的交点； 三个正交平面相交并生成 三条相交线和六个延伸方向； 通过从这六个方向中选择三个正交方向， 形成一个角点； 假 设 P1和 P2是 d 的 两 个 相 邻 平 面 ，计 算 方 向 d 的 置 信 度 为 其中li是从原点沿d方向到Pi边界的距离， Li是Pi在d方向 的宽度， λ是一个预设的足够长的长度， 当li>λ时立即接受d为有效方向， 表明d方向指向一 个相当大 的平面区域； 置信度大于阈值的方向被接受为有效轴方向， 同时指定初始轴长度 为(l1+l2)/2； 从有效方向选取三个相互正交方向的所有可能组合， 生成以交点为原点的角 点。 7.根据权利要求6所述的曼哈顿结构建筑物的轻量重建方法， 其特征在于， 所述从角点 出发， 通过改变角点的参数来拟合 点云， 得到最终的立方体模型包括： 该角点包含一个原点位置oi和三个轴方向 及其相应的固定轴长度 将拟合过程规约为一个非线性最小二乘优化问题， 给定一个角点ci找到使以下目标函数最 小化的最佳参数 E(ci)＝Ecover(ci)+Eregul(ci)+Econst(ci) 其中包含三项:鼓励立方体多拟合附近 的点的覆盖项Ecover(ci)； 惩罚轴的过度延伸以 及原点和轴方向的过度偏移的正则化项目Eregul(ci)； 使角点三个轴保持相互垂直并保持近 似长方体的形状的约束 项Econst(ci)； 覆盖项被定义 为： 其中d(p,ci)是点p到由角点ci决定的立方体表面的最近距离； 当p位于立方体内d(p, ci)是负的， 当p 在立方体外则是负的； 损失函数fl(x)定义如下： 其中如果点到平面的距离在阈值ξ 内， 就接受该点作为平面的一部分； 计算分数后还使权　利　要　求　书 2/4 页 3 CN 114863042 A 3