(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210290482.3 (22)申请日 2022.03.23 (65)同一申请的已公布的文献号 申请公布号 CN 114663496 A (43)申请公布日 2022.06.24 (73)专利权人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 专利权人 北京科技大 学顺德研究生院 (72)发明人 曾慧　修海鑫　刘红敏　樊彬　 张利欣　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06T 7/70(2017.01) G06T 7/277(2017.01) G06T 7/55(2017.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 US 2020041276 A1,2020.02.0 6 CN 112102399 A,2020.12.18 CN 113108771 A,2021.07.13 CN 110910447 A,2020.0 3.24 CN 114022527 A,202 2.02.08 CN 110490928 A,2019.1 1.22 US 2022036577 A1,202 2.02.03 CN 108665496 A,2018.10.16 YAN WANG et.al.Unsupervised Learn ing of Accurate Camera Pose and Depth From Video Sequences W ith Kalman Fi lter. 《IE EE Access》 .2019, 张玮奇.基 于学习的单目同步定位与地图构 建方法研究. 《中国优秀博硕士学位 论文全文数 据库(博士)信息科技 辑》 .2022, 周凯等.动态 环境下融合 边缘信息的稠密视 觉里程计算法. 《哈尔滨工业大 学学报》 .2021,第 53卷(第2期), (续) 审查员 黄虹 (54)发明名称 一种基于卡尔曼位姿估计网络的单目视觉 里程计方法 (57)摘要 本发明提供一种基于卡尔曼位姿估计网络 的单目视觉里程计方法， 属于计算机视觉技术领 域。 所述方法包括： 构建深度估计网络和基于卡 尔曼滤波的位姿估计网络； 根据位姿估计网络输 出的每对相邻帧图像之间的位姿变换以及深度 估计网络输出的输入帧的深度图像， 计算视频图 像序列基于运动加权的光度误差损失函数； 在构 建的位姿估计网络与 深度估计网络中， 引入变分 自动编码器结构， 计算变分自动编码器损失函 数； 基于得到的光度误差损失函数和变 分自动编 码器损失函数， 采取针对帧缺失情况的训练策略训练位姿估计网络与 深度估计网络； 利用训练好 的位姿估计网络估计每帧图像对应的相机位姿。 采用本发 明， 能够提高相机位姿估计的精度并适 应帧缺失的情况。 [转续页] 权利要求书4页 说明书13页 附图2页 CN 114663496 B 2022.10.18 CN 114663496 B (56)对比文件 Chunhui Zhao et.al.Pose estimati on for multi- camera s ystems. 《2017 IE EE Internati onal Conference o n Unmanned Systems (ICUS)》 .2018,2/2 页 2[接上页] CN 114663496 B1.一种基于卡尔曼位姿估计网络的单目视 觉里程计方法， 其特 征在于， 包括： 构建深度估计网络和基于卡尔曼滤波的位姿估计网络； 其中， 位姿估计网络， 用于输出 输入的每对相邻帧图像之间的位姿变换， 深度估计网络， 用于 输出输入帧的深度图像； 根据输出的每对相邻帧图像之间的位姿变换以及输入帧的深度图像， 计算视频图像序 列基于运动加权的光度误差损失函数； 在构建的位姿估计网络与深度估计网络中， 引入变分自动编码器结构， 计算变分自动 编码器损失函数； 基于得到的光度误差损失函数和变分自动编码器损失函数， 采取针对帧缺失情况的训 练策略训练位姿估计网络与深度估计网络； 利用训练好的位姿估计网络估计待估计位姿的视频图像序列中每帧图像对应的相机 位姿； 其中， 所述根据输出的每对相邻帧图像之间的位姿变换以及输入帧的深度图像， 计算 视频图像序列基于运动加权的光度误差损失函数包括： 将位姿估计网络输出的每对相邻帧图像之间的位姿变换相乘得到较长时段的位姿变 换， 基于得到的较长时段的位姿变换， 计算图像之间基于运动加权的光度误差； 根据计算得到的光度误差， 计算视频图像序列基于运动加权的光度误差损失函数； 其中， 所述将位姿估计网络输出的每对相邻帧图像之间的位姿变换相乘得到较长时段 的位姿变换， 基于得到的较长时段的位姿变换， 计算图像之间基于运动加权的光度误差包 括： 对于长度为N的一段视频图像序列， 其对应的时刻为t0， t1， ...， tN‑1， 将位姿估计网络输 出的每对相邻帧图像之间的位姿进行累积相乘， 得到较长时段的位姿变换 其中， 为由时刻tj到时刻ti的图像之间的位姿变换； N为输入位姿估计网络与深度估计网络 的每个批次的视频图像序列的长度； 对于图像 上的一个 点 其三维坐 标由其深度图像 还原； 其在图像 上对 应的投影点 表示为： 其中， K为摄相机内参数； 为tj时刻的深度图像； 通过对图像 采样， 得到tj时刻图像 的重构图像 对于 处的像素 使用 计算其运动加权项Wmw： 利用得到的运动加权项Wmw， 计算图像 和 之间基于运动加权的光度误差：权　利　要　求　书 1/4 页 2 CN 114663496 B 3