(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210498870.0 (22)申请日 2022.05.09 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 陈星宇　熊晏民　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 李娜 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/766(2022.01) G06V 10/40(2022.01)G06V 10/22(2022.01) G06T 9/00(2006.01) G06T 7/70(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01) (54)发明名称 三维模型构建方法、 装置、 电子设备及存储 介质 (57)摘要 本公开关于一种三维模型构建方法、 装置、 电子设备及存储介质， 该方法包括： 获取包含目 标物体的目标图像的二维信息， 二维信息包含目 标物体的多个 关键点所对应的二维特征， 然后将 二维信息分别与每个关键点所对应的二维特征 进行融合， 得到每个关键点所对应的融合特征， 再分别对每个关键点对应的融合特征进行位置 回归， 得到多个二维关键点坐标， 然后再对多个 二维关键点坐标分别进行三维映射， 得到目标物 体的多个三维关键点坐标， 最后根据目标物体的 多个三维关键点坐标， 构建目标物体的三维模 型。 本公开通过上述方法提高了最终获得的目标 物体的三维模 型的时序一致性， 从而解决对视频 中目标物体的三维重建存在时序不 一致的问题。 权利要求书2页 说明书15页 附图5页 CN 114898039 A 2022.08.12 CN 114898039 A 1.一种三维模型构建方法， 其特 征在于， 所述方法包括： 获取包含目标物体的目标图像的二维信 息， 所述二维信 息包含所述目标物体的多个关 键点所对应的二维特 征； 将所述二维信 息分别与每个关键点所对应的二维特征进行融合， 得到每个关键点所对 应的融合特 征； 分别对每 个关键点对应的融合特 征进行位置回归， 得到多个二维关键点 坐标； 对多个所述二维关键点坐标分别进行三维映射， 得到所述目标物体的多个三维关键点 坐标； 根据所述目标物体的多个三维关键点 坐标， 构建所述目标物体的三维模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取多组包含所述目标物体的样本目标图像， 所述样本目标图像携带所述目标物体的 多个目标三维关键点 坐标； 将所述样本目标图像输入预设模型， 得到所述目标物体的多个样本二维关键点坐标和 样本三维关键点 坐标； 根据所述目标物体的多个样本二维关键点坐标、 样本三维关键点坐标和目标三维关键 点坐标， 对所述预设模型进行训练， 得到三维坐标 预测模型； 获取包含目标物体的目标图像的二维信息， 直至得到多个三维关键点坐标的步骤， 包 括： 将所述包含目标物体的目标图像输入所述三维坐标预测模型， 得到所述目标物体的多 个三维关键点 坐标。 3.根据权利要求2述的方法， 其特 征在于， 根据所述目标物体的多个样本二维关键点坐标、 样本三维关键点坐标和目标三维关键 点坐标， 对所述预设模型进行训练， 得到三维坐标 预测模型， 包括： 根据所述多个样本二维关键点坐标和所述多个样本三维关键点坐标， 得到一致性样本 距离； 根据所述多个目标三维关键点坐标与多个样本三维关键点坐标， 得到准确性样本距 离； 以最小化一致性样本距离， 且最小化准确性样本距离为目标， 根据所述一致性样本距 离和所述 准确性样本距离， 对所述预设模型进行训练， 得到所述 三维坐标 预测模型。 4.根据权利要求3所述的方法， 其特征在于， 根据 所述多个样本二维关键点坐标和所述 多个样本三维关键点 坐标， 得到一 致性样本距离， 包括： 对单个样本目标图像所对应的多个样本二维关键点坐标进行数据扩增， 得到二维扩增 样本； 对单个样本目标图像所对应的多个样本三维关键点坐标进行数据扩增， 得到三维扩增 样本； 计算单个样本目标图像所对应的多个样本二维关键点坐标与所述二维扩增样本之间 的距离， 得到第一样本距离； 计算单个样本目标图像所对应的多个样本三维关键点坐标与所述三维扩增样本之间 的距离， 得到第二样本距离；权　利　要　求　书 1/2 页 2 CN 114898039 A 2根据所述第一样本距离和所述第二样本距离， 得到所述 一致性样本距离 。 5.根据权利要求1所述的方法， 其特征在于， 对所述多个二维关键点坐标进行三维映 射， 得到所述目标物体的多个三维关键点 坐标， 包括： 根据所述目标图像对应的图像特征， 对所述多个二维关键点坐标进行姿态池化， 得到 二维关键点特 征向量集合； 根据所述二维关键点特征向量集合与当前变量矩阵， 得到所述目标物体的多个网络顶 点特征； 对所述多个网络顶点特 征进行卷积处理， 得到所述目标物体的多个三维关键点 坐标。 6.根据权利要求1所述的方法， 其特 征在于， 获取包含目标物体的目标图像的二维信息， 包括： 对所述包 含目标物体的目标图像进行裁 剪， 得到包 含所述目标物体的目标图像块； 对包含所述目标物体的目标图像块进行特征提取， 得到所述目标图像块对应的图像特 征； 对所述图像特 征进行上采样， 得到包 含目标物体的目标图像的二维信息 。 7.一种三维模型构建装置， 其特 征在于， 所述装置包括： 第一获取模块， 被配置为获取包含目标物体的目标图像的二维信息， 所述二维信息包 含所述目标物体的多个关键点所对应的二维特 征； 融合模块， 被配置为将所述二维信息分别与每个关键点所对应的二维特征进行融合， 得到每个关键点所对应的融合特 征； 回归模块， 被配置为分别对每个关键点对应的融合特征进行位置回归， 得到多个二维 关键点坐标； 映射模块， 被配置为对多个所述二维关键点坐标分别进行三维映射， 得到所述目标物 体的多个三维关键点 坐标； 构建模块， 被配置为根据所述目标物体的多个三维关键点坐标， 构建所述目标物体的 三维模型。 8.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至6中任一项所述的三 维模型构建方法。 9.一种存储介质， 其特征在于， 当所述存储介质中的指令由电子设备的处理器执行时， 使得所述电子设备能够执 行如权利要求1至 6中任一项所述的三维模型构建方法。 10.一种计算机程序产品， 包括计算机指令， 其特征在于， 所述计算机指令被处理器执 行时实现权利要求1至 6中任一项所述的三维模型构建方法。权　利　要　求　书 2/2 页 3 CN 114898039 A 3