(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210452885.3 (22)申请日 2022.04.27 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 陈志　周晨　岳文静　艾虎　王悦　 何丽　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 冯宁 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/44(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于人体轮廓和关键点特征融合的步 态识别方法 (57)摘要 本发明公开了一种基于人体轮廓和关键点 特征融合的步态识别方法， 包括： 输入单人行走 的步态视频， 获取视频中的行人轮廓序列； 将步 态视频代入OpenPo se算法模 块， 获得归 一化的人 体关键点信息序列， 将行人轮廓序列代入 GaitSet算 法模块， 获得步态 轮廓序列的特征； 将 人体关键点信息序列由LSTM和CNN组成的人体关 键点特征提取模块； 分别获得步态轮廓特征向量 和人体关键点特征向量； 将步态轮廓特征向量和 人体关键点特征向量连接后输入 特征融合模块； 将步态融合特征导入融合网络进行特征学习， 识 别出视频中人物的身份。 本发明利用人体轮廓特 征提取模块和人体关键点特征提取模块分别提 取其特征， 然后进行特征层融合得到步态融合特 征， 提高步态 识别的准确率和鲁棒 性。 权利要求书3页 说明书7页 附图1页 CN 114821786 A 2022.07.29 CN 114821786 A 1.一种基于人体 轮廓和关键点特 征融合的步态 识别方法， 其特 征在于， 包括： 基于输入的单人行走步态视频， 获取视频中的行人轮廓序列， 并将步态视频代入 OpenPose算法模块， 获得归一 化的人体关键点信息序列； 将行人轮廓序列代入GaitSet算法模块， 获得步态轮廓序列的特征； 将人体关键点信息 序列导入人体关键点特 征提取模块， 得到人体关键点的特 征； 基于步态轮廓序列的特征和人体关键点的特征， 分别获得步态轮廓特征向量和人体关 键点特征向量； 将步态轮廓特征向量和人体关键点特征向量连接后输入特征融合模块， 获得步态融合 特征； 将步态融合特 征导入融合网络进行 特征学习， 识别出视频中人物的身份。 2.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 基于输入的单人行走步态视频， 获取视频中的行人轮廓序列过程中还包括对行人轮廓 序列进行裁 剪， 获得裁 剪后的行 人轮廓序列的方法包括： 步态视频利用KN N算法， 获得步态视频每帧图像的人体 轮廓； 基于每帧图像的人体轮廓计算每帧单人轮廓图像的非零像素点个数， 并根据图像像素 的阈值选择 是否输出图像； 对输出的图像获取不为0的行像素和的上限值和下限值的索引值区间， 并根据索引值 区间裁剪输出图像的上 下区域， 获得裁 剪图像； 在裁剪图像中查找基于x轴的中位数， 并以查找出中位数确定图像中人的x轴中心点； 从中心点 开始各向两侧进行切片， 得到行和列都为64 位的图像数组； 转换图像数组类型， 获得 行人轮廓序列。 3.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 将步态视频代入OpenPose算法模块， 获得归一 化的人体关键点信息序列的方法包括： 基于步态视频， 获取视频中人体各个关键点的位置坐标； 在视频中人体各个关键点的位置坐标中选取颈部关键点的位置为原点， 以颈部和臀部 的距离为基准， 对其 他关键点做归一 化， 获得归一 化后的人体关键点帧序列； 其中， 归一 化公式为： 式中， Pi是关键点i的位置， P ’i是关键点归一化后的位置， P是颈部关节点的位置， D是颈 部和臀部关键点之间的距离 。 4.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 所述人体关键点特征提取模块包括： LSTM模块和CNN模块； 将人体关键点信息序列导入 人体关键点特征提取模块， 得到人体关键点的特征的方法为 获取的人体关键点帧序列分别 传入LSTM模块和CN N模块， 获得 人体关键点的每帧的特 征。 5.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 基于人体关键点的特 征， 获得人体关键点特 征向量的方法包括： 基于人体关键点的每帧的特征， 得到每帧特征所关联的特征向量， 并将得到的每帧的 特征向量进行 连接；权　利　要　求　书 1/3 页 2 CN 114821786 A 2将连接后特 征向量的输入压缩块， 得到 62╳128维的人体关键点特 征向量。 6.根据权利要求4所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 所述LSTM模型由全连接层和LSTM层组成， 将LSTM的特 征维度设置为25 6维； 所述CNN模块为设置10层3 ╳3的卷积层， 第一层 卷积层的过滤器数量设置为32个， 第二 层和第三层卷积层以及第五层和 第六层卷积层中间分别设置一个池化层， 第二层到第四层 卷积层的过滤器数量设置为64个， 其余过滤器数量设置为 128个， 并将第一层池化层与第四 层卷积层进行残差连接、 第二层池化层和第七层卷积层进行残差连接， 全连接层的维度设 置为256维数； 特征提取模块还包括压缩模块， 所述压缩模块由BN层、 ReLU层、 Dropout层和128维的全 连接层组成。 7.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 将步态轮廓特征向量和人体关键点特征向量连接后输入特征融合模块， 获得步态融合 特征的方法包括： 将步态轮廓特征向量和人体关键点特征向量的每一维度进行连接， 获得每一维度的连 接向量； 将每一维度的连接向量 导入特征融合模块的全连接层， 得到人体步态融合特 征向量； 其中， 特征融合模块引入三元损失函数进行训练， 三元损失函数的表达公式为： 式中， LBA()表示正负样本的损失值之和， 表示锚点样本与正样本之间的距离和锚 点样本与负样本之间的距离的差， 表示第i个锚点样本， 表示第j个锚点样本， D表示两 个样本之间的距离， 表示第i个正样本， 表示第i个负样本， m表示根据实际需要设定的 阈值参数， 用于控制锚点样 本与正样本的距离和锚点样本与负样本的距离 之差， a表示锚点 样本， p表示负样本， n表示负样本， i表示正样本编号， j表 示负样本编号， P表 示有P个id， K表 示每个id有K个样本 。 8.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法， 其特征在 于， 将步态融合特 征导入融合网络进行 特征学习， 识别出视频中人物的身份的方法包括： 将步态融合特征FQ与融合网络特征库中的每一个特征FG进行欧氏距离的计算， 获得将 步态融合特 征FQ与融合网络特 征库中的每一个特 征FG距离结果； 基于距离结果的远近， 选择近似的距离结果并基于近似的距离结果关联的特征确定识 别结果， 从而对该视频中的人物完成身份识别。 9.一种处理装置， 包括存储器和 处理器， 其特征在于， 存储器存储有计算机程序， 其被 处理器执以实现权利要求1至8 中任一项所述的基于人体轮廓和关键点特征融合的步态识 别方法。 10.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时权　利　要　求　书 2/3 页 3 CN 114821786 A 3