(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210321285.3 (22)申请日 2022.03.24 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 袁媛　刘赶超　李超　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 王鲜凯 (51)Int.Cl. G06V 10/74(2022.01) G06T 7/73(2017.01) G06V 10/774(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 20/13(2022.01) G06V 20/17(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多源影像匹配的无 人机视觉定位方法 (57)摘要 本发明提供了一种基于多源影像匹配的无 人机视觉定位方法。 首先， 分别利用已有的多源 匹配图像和真实无人机场景影像对特征提取网 络进行训练； 然后， 利用训练好的网络对无人机 影像进行特征提取， 并利用位置点信息对无人机 进行位置估计， 减小定位搜索范围； 接着， 对估计 位置范围内的卫星图像进行特征提取， 并利用相 似性度量对无人机影像与卫星图像进行特征匹 配， 得到无人机定位结果。 本发明能够较好地解 决卫星图像与无人机影像之间的异质性匹配问 题， 可用于多种应用场景， 且计算量小， 能够较好 地满足无 人机平台的实时性定位需求。 权利要求书1页 说明书5页 附图3页 CN 114842220 A 2022.08.02 CN 114842220 A 1.一种基于多源影 像匹配的无 人机视觉定位方法， 其特 征在于步骤如下： 步骤1： 采用Google  Earth Pro上采集的卫星和虚拟无人机匹配图像对用于特征提取 的孪生网络进行训练， 保存网络参数； 利用带标签的真实场景无人机起飞位置影像对网络 进行再训练， 得到训练好的适应现实无人机工作场景 的特征提取网络； 所述的用于特征提 取的孪生网络包括顺序连接的卷积层1、 最大池化层1、 卷积层2、 最大池化层2、 卷积层3、 卷 积层4、 卷积层5、 最大池化层3、 卷积层6和卷积层7， 其中， 卷积层1的卷积核大小为7 ×7× 24， 步长为 1， 卷积层2的卷积核大小为5 ×5×24， 步长为1， 卷积层3和卷积层4的卷积核 大小 为3×3×96， 步长为1， 卷积层5的卷积核大小为3 ×3×64， 步长为1， 卷积层6的卷积核大小 为3×3×128， 步长为1， 卷积层7的卷积核大小为8 ×8×128， 步长为1， 最大池化层 1和最大 池化层2的核大小为3 ×3， 最大池化层3的核大小为6 ×6； 步骤2： 将无人机影像在横向和纵向分别均匀切成三份， 形成九宫格， 将每一小格下采 样到128×128， 并利用步骤1训练好的网络进行特征提取， 提取的9个特征共同构成整张无 人机图像的描述 I'k； 步骤3： 取无人机当前时刻最近的前n个定位位置点进行位置估计， 根据这些位置点所 处的经纬度和每两个位置点之间的飞行时长， 分别计算无人机在经纬两个方向的n ‑1个位 置区间内 的飞行速度， 记在经度方向的n ‑1个位置区间内 的飞行速度序列为Vlong， 在纬度方 向的n‑1个位置区间内的飞行速度序列为Vlat， 将无人机的运动轨迹视为匀速运动， 序列 Vl o n g和Vl a t内的 速度均值服从t分布 ， 在经度或 纬度方向上的 速度范围 为 其中， 和S*2分别代表经度或纬度方向速度的均 值和方差， α 是t分布的置信度参数， tα/2(n‑2)表示在置信度为1 ‑α 的情况下利用n ‑1个采样 区间的t分布侧分位数， 通过查t分布表得到， n的取值范围为3～6， α 的取值为0.005； 初始时 刻的前n个定位 位置点利用起飞位置进行初始化； 以速度范围乘以当前时刻与上述第n个位置点飞行时刻的时间差， 得到在该时段内的 位移范围， 如果得到的位移范围小于20m， 保留其为20 m， 再与第n个位置点的坐标相加， 得到 无人机当前 所处的位置范围； 步骤4： 对步骤3得到的位置范围内的卫星图像每10m进行一次切割， 每次将卫星图像在 横向和纵向分别均匀切成三份， 形成九宫格， 将每一小格下采样到128 ×128， 并利用步骤1 训练好的网络进行特征提取， 将提取 的每张卫星图像的9个特征及其位置标签放入待匹配 库； 步骤5： 遍历待匹配库， 计算每张卫星图像的9个特征与步骤2得到的无人机图像上九宫 格对应位置的特征之间的L2范数， 以得到的9个L2范数值的和作为整张图像的相似性度量 值， 如此待匹配库中每张卫星图像得到一个与无人机图像的相似性度量值， 将相似性度量 值最小的卫星图像的位置标签作为当前无人机定位结果； 如果最小的两个相似性度量值之 差大于阈值β， 认为当前定位结果可信， 将当前无人机定位结果作为一个定位位置点； 所述 的阈值β 的取值 为0.25； 步骤6： 重复执 行步骤2到步骤5， 直到 视觉导航飞行任务结束。权　利　要　求　书 1/1 页 2 CN 114842220 A 2基于多源 影像匹配的无人机 视觉定位方 法 技术领域 [0001]本发明属多源遥感匹配技术领域， 具体涉及一种基于多源影像匹配的无人机视觉 定位方法。 背景技术 [0002]无人机定位通常使用卫星导航来实现， 然而作为一种被动的信号接收方式， 导航 信号在特殊场景下容易被干扰。 当失去信号时， 随着时间的推移， 惯性测量单元的累积误差 会越来越大。 计算机视觉通过计算机系统对视觉信息进行处理、 分析， 实现对目标的检测、 识别、 跟踪、 定位等功能， 具有较强的抗干扰能力。 因此， 基于视觉匹配的无人机定位可以很 好地解决卫星拒止条件下的无 人机定位问题。 [0003]无人机视觉定位方法大致分为三种： 无地图定位方法(如视觉里程法)、 基于构建 地图的定位方法(如同步定位与构图方法)和基于已有地图的定位方法(如影像匹配方法)。 这三种视觉定位方法各有优缺点和适用范围： 基于构建地图和无地图定位的方法只需要安 装在UAV(Unmanned  Aerial Vehicle， 无人驾驶空中飞行器)上的摄像头， 但帧间运动的估 计误差会严重累积； 基于影像匹配方法需要额外的预先记录的地理参考图像库， 但可以获 得UAV的绝对位置， 且不会累积误差 。 [0004]基于影像匹配方法主要分为传统方法和深度学习方法。 传统方法基于人工设计的 描述符提取特征来实现遥感影像匹配， 主要通过描述符相似性和/或空间几何关系来寻求 局部特征(区域、 线、 点)之间的对应关系。 局部显著特征的使用使这类方法可以快速运行， 并且对噪声、 复杂的几何变形和显著的辐射度差异具有鲁棒性。 但是， 由于更高分辨率和更 大尺寸数据的普及， 方法无法满足更多对应性、 更高准确性和更灵活应用的要求。 随着大量 的标记数据集的提出， 深度学习方法， 特别 是卷积神经网络(CNN)， 在图像匹配领域取得了 非常好的效果。 CNN的主要优点是其在标签数据的引导下， 能够自动学习有利于影像匹配的 特征。 与人工 设计的描述符相比， 基于深度学习的特征不仅包含低级空间信息， 还包含高级 语义信息 。 由于强大的自动提取 特征的能力， 深度学习方法能获得较高的匹配准确率。 [0005]尽管基于影像匹配的无人机视觉定位方法具有显著的优势， 但仍有一些问题需要 解决： 首先， 带有地理信息的参考图像和无人机图像成像条件不同， 而这种多源影像匹配存 在异质性问题； 另外， 难以利用少量的标注数据适应丰富多样的应用场景； 最后， 无人机的 平台也对实时性 提出了严苛的要求。 发明内容 [0006]为了克服现有技术的不足， 本发明提供一种基于多源影像匹配的无人机视觉定位 方法。 首先， 分别利用已有的多源匹配图像和真实无人机场景影像对特征提取网络进行训 练； 然后， 利用训练好的网络对 无人机影像进行特征提取， 并利用位置点信息对 无人机进 行 位置估计， 减小定位搜索范围； 接着， 对估计位置范围内的卫星图像进行特征提取， 并利用 相似性度量对无人机影像与卫星图像进行特征匹配， 得到无人机定位结果。 本发明能够较说　明　书 1/5 页 3 CN 114842220 A 3