(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210612060.3 (22)申请日 2022.05.31 (71)申请人 合肥学院 地址 230601 安徽省合肥市经济技 术开发 区锦绣大道 99号 (72)发明人 唐超　童安炀　 (74)专利代理 机构 合肥拓信专利代理事务所 (普通合伙) 34251 专利代理师 徐海燕 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于协同异质深度学习网络的红外人 体行为识别方法 (57)摘要 本发明公开了一种基于协同异质深度学习 网络的红外人体行为识别方法， 属于计算机视觉 领域， 包括如下步骤： 首先， 构建基于红外图像的 动作的视图表征， 分别构建同一动作的红外图像 空间信息视图和红外光流时间信息视图； 其次， 分别搭建卷积神经网络和长短时记忆网络， 构建 出两个异质深度网络进行基于视图差异的异质 网络协同训练， 训练过程中采用基于多次输出一 致性和置信度评估两种方法来挑选未标签数据； 最后， 通过协同训练好的异质网络模 型进行特征 提取并进行特征融合， 然后输入到随机森林进行 训练及分类识别， 有效克服了深度学习和半监督 学习在行为识别中存在的弊端， 将深度学习和半 监督学习结合进行 人体行为完 美识别。 权利要求书3页 说明书9页 附图1页 CN 115147864 A 2022.10.04 CN 115147864 A 1.一种基于协同异质深度学习网络的红外人体行为识别方法， 其特征在于， 包括如下 步骤： 步骤一、 构建协同异质深度 学习网络 中的动作视图： 基于红外图像的动作视图表征， 分 别构建同一动作的红外图像视图和红外光 流视图； 步骤二， 构建基于红外 图像视图和红外光流视 图的协同异质深度学习 网络： 分别搭建 卷积神经网络和长 短时记忆网络， 构建出两个异质深度网络进行基于视图差异的异质网络 协同训练， 协同训练后 获得两个异质的深度网络模型， 分别是卷积神经网络模型和长短时 记忆网络模型； 步骤三， 对未标记样本评估： 在两个异质的深度网络模型的协同训练过程中， 采用一致 性和置信度评估两种评估标准， 多次输出选取可信度高的无标签数据纳 入对方网络的训练 集中， 提高模型对动作潜在信息的理解能力， 稳定的选取 无标签数据添加伪标签； 步骤四： 进行特征融合： 协同训练后的两个异质的深度网络模型对全连接层的输出进 行归一化， 得到两个网络对同一动作预测出 的不同结果， 选取决策级融合中采用不同 比例 的加权融合进行分类， 对比最大值融合， 提高模型的泛化能力。 2.根据权利要求1所述的基于协同异质 深度学习网络的红外人体行为识别方法， 其特 征在于， 所述的红外图像视图为红外图像空间信息视图， 是直接获得的红外图像数据本身； 红外光流视图具体为红外光 流时间信息 视图， 通过红外图像视频构建出来。 3.根据权利要求1或2所述的基于协同异质深度学习网络的红外人体行为识别方法， 其 特征在于:所述红外光 流视图构建过程如下， 给定基于红外图像视图的少量有标签数据 和大量无标签数据 从以下三个步骤构建红外光 流视图： 1)、 通过Farneback光流法Flow()， 即公式(1)提取相邻两帧红外图像 间动作 运动的x方向位移 和y方向位移 2)、 使用Polar(),即公式(2)对 进行笛卡尔坐标转化极坐标， 将得到的极 径 和极角 通过Color()， 即公式(3)进行颜色空间转化为灰度图 消除杂乱背 景对行为识别的影响： 3)、 对 使用直方图正规化方法进行图像增强， 自动的调整灰度级范围以提高对比 度和局部特征的表征能力， 得到 对应的光 流图 其中， Imax、 Imin分别为 的最大、 最小灰度级， [Omin,Omax]为 的灰度级范围； 构建出具有红图图像视图和红外光流视图的数据集 和权　利　要　求　书 1/3 页 2 CN 115147864 A 2其中， view∈{I nfra,Flow}。 4.根据权利要求1所述的基于协同异质 深度学习网络的红外人体行为识别方法， 其特 征在于:所述协同异质深度学习网络的学习过程： (a)、 在有标记红外图像视图数据集和有标记红外光流视 图数据集上分别训练卷积神 经网络和长短时记 忆网络， 获得初始的卷积神经网络模型和长短时记 忆网络模型； (b)、 初始化训练好的卷积神经网络模型对未标记红外图像视图数据集中部分子集进 行预测标记， 并从 中挑选置信度较高的红外图像视图标记样本对应的红外光流视图数据加 入到红外光流视图有标记样本集中用于训练更新长短时记忆网络模型； 与此同时， 初始化 训练好的长 短时记忆网络模型对未标记红外光流视图数据集中部分子集进 行预测标记， 并 从中挑选置信度较高的红外光流视图标记样本对应的红外图像视图数据加入到红外图像 视图有标记样本集中用于训练更新卷积神经网络模型； 上述两个并行的协同训练过程通过 多次迭代达 到停机条件； (c)、 经过协同训练后， 可以获得两个异质的深度网络模型， 分别是卷积神经网络模型 和长短时记忆网络模型， 在预测的时候， 通过对两个网络的进行加权决策级融合预测输出 结果。 5.根据权利要求1所述的基于协同异质 深度学习网络的红外人体行为识别方法， 其特 征在于:对未标记样本评估具体分别使用基于随机Dropout技术的卷积神经网络和 长短时 记忆网络对无标签数据进行多次输出， 通过对模型多次输出 的预测结果进行分析， 依据置 信度和一 致性两种评估方法， 稳定的选取 无标签数据添加伪标签。 6.根据权利要求1或5所述的基于协同异质深度学习网络的红外人体行为识别方法， 其 特征在于:稳定的选取 无标签数据步骤， 给定一个无标签样本 重复M次输入网络， 基于随机 失活技术得到M个部分神经元组 成的子模型对 的N个类别的预测结果； 其中， 第m次的预测结果 为P(m)： 设定阈值 τ， 对 进行置信度评估 第m次预测的结果H(m)＞τ时， conf(m)＝1； 当M次预测的最大概率H(m)都超过阈值τ时， 证明 具有一定的可信度； 否则 表明无标签样本 的可信度 较低； 为避免模型对错误标记仍有较 高置信度， 以及模型的不确定性、 偶然性因素的干扰， 进 一步对M次预测结果进行一 致性评估 权　利　要　求　书 2/3 页 3 CN 115147864 A 3