(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346833.8 (22)申请日 2022.03.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 蒋玉杰　李娟　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/54(2022.01) G06V 10/44(2022.01) G06V 10/36(2022.01)G06V 10/30(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双通路特 征融合的动物 识别方法 (57)摘要 本发明公开了基于双通路特征融合的动物 识别方法， 通过构建CNN ‑LBP双通路网络模型， 对 图像进行插值和锐化处理， 解决监测图像质量低 的问题。 融合CNN提取特征和纹理特征等浅层信 息， 保留了浅层语义信息的提取。 在卷积神经网 络中增加了边框预测回归模块， 考虑到了两框的 重叠部分、 中心点距离和长宽比， 增加了宽高比 的惩罚项目， 解决了原损失函数作在训练过程中 梯度不能自适应改变的问题； 优化LBP特征提取 算法， 考虑了中心像素值与邻域像素值的影响最 后， 降低噪声点的影响； 最后在特征融合中增加 了通道注 意力机制， 有利于通道降维和跨通道信 息交互。 本发明相较于YOLOV5和LBP识别方法在 召回率和准确率均有提升 。 权利要求书1页 说明书6页 附图1页 CN 115273131 A 2022.11.01 CN 115273131 A 1.基于双通路特 征融合的动物 识别方法， 其特 征在于： 该 方法包括如下步骤， 数据预处理： 时采用图像翻转、 转换、 拼接、 融合的图像增强。 每次处理均得到一个变换 矩阵， 再将所有变换矩阵连乘得到最终的变换矩阵。 采用三次插值和锐化来提高图像的质 量。 定义CNN‑LBP双通路模型结构： 由主干卷积神经网络、 LBP特征提取通路、 特征融合模 块、 边框预测回归网络构成。 分析基于卷积神经网络在进行特征提取时采取模块逐层抽取 的方式， 每个模块输出尺寸不同会抽取网络最高层的输出特征作为识别依据。 定义CNN ‑LBP 双通路模型， 通过卷积神经网络和LBP特征提取通路分别提取图像信息， 再通过多尺度特征 融合的方式将不同网络层的特 征进行融合， 提高特 征表达能力。 基于LBP特征提取： 考虑中心像素值与邻域像素值的影响， 通过计算计算邻域各像素值 与中心像素值之差的平方和C与限定值W进 行比较， 若C在限定范围内， 选取中心像素值为阈 值计算LBP值， 充分考虑中心像素值与邻域像素值的作用， 准确描述局部图像特征； 若C不在 限定范围内， 则选择邻域像素和中心像素的中值作为阈值进行计算， 降低噪声点的影响。 YOLOV5模型设置： 主干网络设计为深度 为152层残差网络， 划分为5部分， 其中每部分的 卷积分组卷积， 通过主干网络4次下采样操作提取到的特征输出特征图。 引入感兴趣区域特 征ROI提取， 减少复杂背景对目标识别的影响。 基于改进的通道注意力机制的特征融合： 针对原concat融合方式在特征融合过程中， 会导致图像本身通道数增加的缺点， 对于处理后的上下分支特征通道， 采用提出 的通道注 意力特征融合模块CAF F进行信息集成。 边框预测损失模块： 在边框预测模块中使用EIOU_Loss损失函数， 增加了宽高比的惩罚 项目。 模型预测： 完成模型训练后， 输入 任意尺寸的测试 数据， 获得动物的种类和位置 。权　利　要　求　书 1/1 页 2 CN 115273131 A 2基于双通路特征融合的动物识别方 法 技术领域 [0001]本发明属于图像识别技术领域， 具体地， 涉及一种融合CNN和LBP的动物图像识别 分类方法。 背景技术 [0002]随着社会科技的不变进步， 计算机视觉已然成为当今一大火热的研究领域。 计算 机视觉通过计算机代 替人类的视觉处理系统， 能够 模拟人类视觉系统对图像中的内容进 行 理解和处理。 目标检测识别作为其中的热门领域之一， 其功能就是从 图像中提取感兴趣目 标的特征以及识别出其类别。 [0003]野生动物资源对维系自然生态平衡具有举足轻重的作用， 为了保证对野生动 物的 有效保护， 收集大量丰富的野生动物监测信息， 国内外 围绕信息化的野生动物监测 技术开 展了大量的研究。 野生动物大数据是野生动物保护策略制 定的基础， 而如何利用人工智能 等新兴技术赋能动物信息处 理是目前研究的热点与难点。 [0004]目前， 在众多保护区中已经广泛应用了红外感应相机和无线图像传感器用来监测 野生动物。 相对于于传统的人工监测方式， 这一方式极大提高了监测的效率。 然而以上方式 采集到的监测图像数据量佳较多， 目前主要依赖人工筛选分类， 这一方法又大大降低了数 据处理的效率。 近十年， 人工智能技术的巨大发展和突破， 如监控视频检测、 行人检测、 舰船 识别、 人脸识别等， 为人们的生活带来了诸多便利， 提高了城市的智能化水平。 深度学习的 快速发展同时也为动物图像的快速、 准确的自动识别提供了较优的解决方案， 因此基于卷 积神经网络的野生动物自动识别研究具有很高的现实意 义。 [0005]基于局部二值模式(LBP)的特征提取能够较好地保留图像的纹理特征。 通过引入 卷积神经网络， 一种深度监督学习 下的机器学习模型， 目标识别的准确 率得到很大幅度的 提高， 并且已经成为图像研究领域的主流技术。 现有技术存在以下缺点： (1)传统目标检测 识别方法中进 行人为特征提取， 在实际应用中对图像目标存在着 较高的漏检和误检以及效 率低的情况； 而且对于存在类间相似度高， 人眼不容易辨别的难题， 传统机器学习方法往往 不能有效提取到相似物体之间的细微差异。 (2)基于卷积神经网络的目标检测识别算法能 够自动地提取图像中的目标特征， 同时也能够得到某种程度上的平移、 旋转、 倾斜和尺度不 变形， 多个卷积层可以理解并学习到输出 的多层次信息， 随着网络层的增加可以更好的提 取抽象特征， 是一种高效的目标检测识别的算法， 但是存在随着网络深度的加深， 许多低频 信息例如纹 理特征会丢失， 影响模型的收敛性能。 发明内容 [0006]本发明的目的是针对现有技术方案 的不足， 利用卷积神经网络获得的特征， 设计 CNN‑LBP双路融合特征提取模式。 相对于手动提取而言能够更好的表现目标的特征， 理解并 学习目标的抽象特征。 并且一定程度上解决了随着卷积层的加深浅层信息如纹理特征不断 变浅的问题， 在获取全局抽象特征的同时也能够捕捉细节信息； 增加 低质量图像的预 处理，说　明　书 1/6 页 3 CN 115273131 A 3