(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210264446.X (22)申请日 2022.03.17 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 金灵枫　陈佳舟　李硕文　徐阳辉　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 王益新 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种无人机航拍图像中物体的聚类方法 (57)摘要 一种无人机航拍图像中物体的聚类方法， 能 实现对存在于多视角航拍图像中的物体的聚类， 使目标检测结果的语义更加清晰， 解决了无人机 巡检中图像结果无法映射到实际物体的问题， 包 括： (1)根据物体在图像中的标记框， 裁剪出一大 一小两张子图； (2)分别配对每组子图作为中 ‑环 双流孪生神经网络的输入； (3)通过神经网络的 输出和物体在各自对应的子图中心经纬度坐标 计算得到相似度距离， 相似度距离小于阈值的 图 像对认为是距离可达的； (4)传递距离可达性， 得 到内部元素 互相距离可达的图像集合， 作为聚类 结果。 本发明具有以下优点： 方法普适性强； 准确 度高； 计算效率高； 结果简洁。 权利要求书2页 说明书4页 附图3页 CN 114743114 A 2022.07.12 CN 114743114 A 1.一种无 人机航拍图像中物体的聚类方法， 其特 征在于， 包括以下步骤： 1)根据物体在图像中的标记框， 裁 剪出一大一小两张子图； 2)分别配对每组子图作为中 ‑环双流孪生神经网络的输入； 3)通过神经网络的输出和物体在各自对应的子 图中心经纬度坐标计算得到相似度距 离， 相似度距离小于阈值的图像对认为是距离可达的； 4)传递距离可达性， 得到内部元 素互相距离可达的图像集 合， 作为聚类结果。 2.根据权利要求1所述的一种无人机航拍图像中物体的聚类方法， 其特征在于， 在步骤 (1)中根据物体标记框裁剪出一张子图记为x ′， 再扩大标记框裁剪出稍大的子图记为x； 扩 大边框得到 子图x时如触碰 到原图边界， 则停止扩大边框 。 3.根据权力要求1所述的一种无人机航拍图像中物体的聚类方法， 其特征在于， 步骤 (2)所述的中 ‑环双流孪生神经网络， 是指由两套 卷积层和池化层组合构成的中央流和环绕 流孪生神经网络， 中央流的输入为 一对子图(x ′1,x′2)， 环绕流的输入为 一对子图(x1,x2)； 上述的中 ‑环双流孪生神经网络的决策层计算相似度距离表示 为： 中‑环双流孪生神经网络的学习目标函数为： 其中， ω表示神经网络的权重； fω表示神经网络的输 出； m表示样本的数量； yi表示第i个 样本是否相似， 相似则为1， 否则为0； β 表示相似的阈值， Dω超过β 则认为是不相似的， 是正则化项； 中‑环双流孪生神经网络的激励函数为ReLu函数。 4.根据权力要求3所述的一种无人机航拍图像中物体的聚类方法， 其特征在于， 所述的 中‑环双流孪生神经网络能接受不同分辨 率的输入图像。 5.根据权力要求3所述的一种无人机航拍图像中物体的聚类方法， 其特征在于， 分配图 像对进入中 ‑环双流孪生神经网络计算时， 来源于同一张航拍的图的一对子图认为是距离 不可达的， 不进入神经网络中计算； 图像对中心经纬度坐标范式距离超过经纬度定位平均 定位误差3倍以上的， 认为是距离不可达的， 不进入神经网络中计算。 6.根据权力要求1所述的一种无人机航拍图像中物体的聚类方法， 其特征在于， 在步骤 (3)中计算图像对的经纬度坐标的范式距离， 并结合神经网络输出 的相似度距离判断其距 离可达性， 具体包括： 所述的图像对之间的经纬度距离表示 为： Dlla＝(lon1‑lon2)2+(lat1‑lat2)2         (3) (lon1,lat1),(lon2,lat2)分别是图像对的经纬度坐标近似到以米为度量单位的结果， 对我国的经纬度坐标将其乘105可得到近似解； 将神经网络输出的Dω根据[0, β ]作min ‑max归一化， 记为D'ω； Dlla则以3倍定位误差为 界 作min‑max归一化， 记为D'lla， 根据Dreachable＝α1D'ω+α2D'lla( α1, α2是权重系数， 满足α1+α2＝ 1)得到可达距离， βreachable是距离可达阈值， 满足Dreachable≤βreachable的认为是距离可达的。权　利　要　求　书 1/2 页 2 CN 114743114 A 27.根据权力要求1所述的一种无人机航拍图像中物体的聚类方法， 其特征在于， 在步骤 (4)中进行距离可达性传递， 距离可达的图像属于同一集合； 传递距离可达性过程中， 要检 测存在来自同一航拍图像的物体的情况， 如发现以存在某一集合的物体的同时对两个或多 个不可进 行可达性合并的集合可达则选择可达距离近的集合进入， 并修改对其他集合的可 达性为不可达。权　利　要　求　书 2/2 页 3 CN 114743114 A 3