(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210320338.X (22)申请日 2022.03.29 (71)申请人 淮北师范大学 地址 235000 安徽省淮北市相山区东 山路 100号 (72)发明人 沈龙凤　简昱磊　刘怀愚　高向军　 葛方振　李想　洪留荣　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 姬莉 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于多线索融合的动物行为识别方法 (57)摘要 本发明提供了一种基于多线索融合的动物 行为识别方法， 包括： 构建行为数据集； 对RGB帧 提取动物运动的光流图像； 将RGB 帧和光流帧输 入到多线索融合网络构建的动物行为识别模型 中对动物行为进行识别， 包括： 用双流网络对RGB 帧和光流帧进行特征提取得到动物行为的表观 特征和运动特征； 将上述特征进行多线索特征交 换， 弃掉对最终结果失去影响的特征图； 将MFSM 模块的双流特征输入到AFFM模块， 对表观特征和 光流特征进行自适应特征融合， 得到运动信息增 强的表观特征； 将融合后的特征输入到主干网络 中， 通过分类器得到最终的行为预测结果。 该方 法可以可靠、 自动化、 高效的完成对动物行为识 别， 很大程度上解决人工标注所 带来的问题。 权利要求书2页 说明书10页 附图3页 CN 114743134 A 2022.07.12 CN 114743134 A 1.一种基于多 线索融合的动物行为识别方法， 其特 征在于， 包括： 获取动物行为视频 数据， 从视频中提取RGB帧； 对RGB帧进行光 流提取， 得到动物运动的光 流帧； 将RGB帧和光流帧输入到多线索融合网络构建的动物行为识别模型中对动物行为进行 识别， 识别步骤 包括： 用双流的特征提取网络对RGB帧和光流帧进行特征提取， 得到动物行为的表观特征和 运动特征； 将表观特征和运动特征输入到多线索特征交换模块MFSM， 进行多线索特征交换， 如果 特征映射的尺度因子小于设定阈值， 则该 特征映射将被相同位置的其 他线索替换； 将多线索特征交换模块的输出结果输入到自适应特征融合模块AFFM， 对特征交换后的 表观特征和光流特征进行自适应特 征融合， 得到运动信息增强的表 观特征； 将自适应特征融合模块的输出结果输入到主干网络 中， 通过分类器得到最终的行为预 测结果； 根据行为预测结果和行为类别， 通过交叉熵损 失函数计算损 失值， 将损 失进行误差反 向传播， 迭代更新网络参数， 直至动物行为识别模 型收敛， 以基于收敛后的动物行为识别模 型进行行为识别， 获得识别结果。 2.根据权利要求1所述的基于多线索融合的动物行为识别方法， 其特征在于， 所述多线 索特征交换模块MFSM引入批量归一化层， 使用xm,c表示第m个特征网络中的第c个特征映射， 在批量归一 化层中， xm,c执行仿射变换如下： 其中， μm,c和σm,c分别表示特征映射c在第m个特征网络中所有像素位置的均值和均值标 准差； γm,c和βm,c是可训练的尺度因子和偏移量； ε为常数； x'm,c表示xm,c执行仿射变换后 得 到的值； 其中， xm,c的输入是表观特征和运动特征的不同特征映射的张量值， m表示不同的输入 特征， 包括表 观特征和运动特 征； c表示的则是不同的特 征映射； 表观特征和运动特征输入到多线索特征交换模块MFSM中， 分别先进行批量归一化， 得 到这两种特征的不同γm,c， γm,c的作用是评估xm,c和x'm,c的相关性， 然后再判断是否要进行 特征交换。 3.根据权利要求2所述的基于多线索融合的动物行为识别方法， 其特征在于， 采用公式 (2)判断是否要 进行特征交换： 权　利　要　求　书 1/2 页 2 CN 114743134 A 2其中， xm,c的输入是表观特征和运动特征的不同特征映射的张量值， m表示不同的输入 特征， 包括表观特征和运动特征； c表示的则是不同的特征映射， m'表 示另外一种输入特征， M表示输入特 征的数量； 如果该特征映射c的尺度因子γm,c大于阈值θ， 则x'm,c是xm,c执行仿射变换后得到的值； 如果该特征映射c的尺度因子γm,c小于阈值θ， 则使用其他特征网络的特征映射c的平均值 替换掉当前特征映射c， 由于输入特征只有表观特征和运动特征， 则只需要使用别的特征网 络的特征映射进行替换， 实现多 线索特征的交换。 4.根据权利要求3所述的基于多线索融合的动物行为识别方法， 其特征在于， 所述自适 应特征融合模块AF FM的融合方法如下： 其中， yij是位置(i,j)处的输入特征经过权重计算后(i,j)的张量； αij和βij是通过网络 自适应学习获得的针对不同线索的两个 空间重要性权重； αij和βij在特征映射之间共享； 定 义αij+βij＝1， 并且根据以下公式αij, βij∈[0,1]， 其中， αij和βij分别用 和 作为SoftMax函数的控制参数； 使用1×1卷积层和SoftMax函数计算从x1、 x2中的权重映射αij、 βij， 通过网络进行自适 应学习； 在网络中， 和 的输入分别是 特征交换后的表 观特征和光流特征； 和 通过1×1卷积计算得到 和 将 和 进行拼接后再次通过1 ×1卷 积计算改变通道数， 再使用SoftMax函数计算出权 重映射参数αij和βij； 表观特征和光流特征的特征图在每个位置(i,j)与各自的权重映射参数αij和βij的(i, j)处相乘再相加得到最后的融合结果。 5.根据权利要求1所述的基于多线索融合的动物行为识别方法， 其特征在于， 所述主干 网络为InceptionV3， 其包括： 第一部分为输入层， 有两个输入 的流， 分别是RGB帧和光流帧； 输入层由六个2D卷积块 和两个最大池化层和一个自适应特征融合模块组成； 其中2D卷积块一层卷积层、 一层激活 层、 一层批量归一化层和多线索特征交换层组成， 通过批量归一化层得到多线索特征交换 层需要的参数后进行多 线索交换； 多 线索交换的输出将作为下一层的输入； 第二部分为融合层， 由三个InceptionA块、 一个InceptionC块、 四个InceptionB块、 1个 InceptionD块和两个InceptionE块组成； 这些Inception块的输入是自适应融合模块的输 出， 融合层的最后会将这些I nception块进行拼接， 输入到下一层； 第三部分为输出层， 由平均池化层和全连接层组成， 得到最终的分类结果。权　利　要　求　书 2/2 页 3 CN 114743134 A 3