(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210464698.7 (22)申请日 2022.04.29 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 侯振杰　施海勇　钟卓锟　尤凯军　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 杨闯 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种超关节与多模态网络及其在行为识别 方法 (57)摘要 本发明涉及神经网络技术领域， 尤其涉及一 种超关节与多模态网络及其在行为识别方法， 包 括： 采集人体深度图， 利用DMMS流对深度图进行 特征提取， 并计算深度数据预测分数； 采集人体 骨架序列， 分别提取原始关节和超关节数据， 结 合超关节和普通关节构建骨架信息， 送入结构化 时空特征学习模型， 得到静态和动态关节数据 流、 静态和动态超关节数据流， 并将原始关节和 超关节的数据流进行自适应权重融合， 分别得到 关节数据预测分数和超关节预测分数； 将DMMS流 和骨架流的分类预测分数相加生成最终的预测 分数。 本发 明从深度图中学习人体部位在空间中 丰富的纹理信息， 从骨架序列中学习运动姿态变 化中丰富的时空特 征。 权利要求书2页 说明书9页 附图4页 CN 114782992 A 2022.07.22 CN 114782992 A 1.一种超关节与多模态网络及其在行为识别方法， 其特 征在于， 包括以下步骤： S1采集人体深度图， 利用DM MS流对深度图进行 特征提取， 并计算深度数据预测分数； S2、 采集人体骨架序列， 并分别提取原始关节和超关节数据， 结合超关节和普通关节构 建骨架信息， 将骨架信息送入结构化时空特征学习模型， 分别得到 静态和动态关节数据流、 静态和动态超关节数据流， 并将原始关节和超关节的数据流自适应权重融合， 得到关节数 据预测分数和超关节预测分数； S3、 将DMMS流和骨架流的分类预测分数相加生成最终的预测分数。 2.根据权利要求1所述的超关节与多模态网络及其在行为识别方法， 其特征在于， 所述 步骤S2包括： S21、 根据普通关节的依赖关系进行超关节构建， 并根据超关节和普通关节构建骨架信 息； S22、 将骨架信息送入结构化时空特 征学习模型。 3.根据权利要求2所述的超关节与多模态网络及其在行为识别方法， 其特征在于， 所述 超关节构建包括： 首先， 计算RWE和RWH， 分别为RW指向RE和RH的方向 向量， 计算公式如下： 其中,RW， RE和RH分别表示人体骨架中的右手腕， 右手肘和右手； 然后， 计算两个相交向量的笛卡尔积得到向量所在平面的法向量 n， 计算公式如下： 然后， 以RE为 起点的两个骨骼的方向 向量， 计算两个方向 向量的夹角， 计算公式如下： 最后得到超关节数据向量HyperJo int， 计算公式为： 4.根据权利要求3所述的超关节与多模态网络及其在行为识别方法， 其特征在于， 所述 结合超关节和普通关节构建骨架信息包括： 构成人体的骨架图用变量G(V,H)表示， 公式为： 其中， V是构成人体骨架图的空间节点 集合， H是给人体骨架关节上建立的依赖关系； 骨架的动态信 息被定义为骨架序列 上相邻骨架上骨架元素之间的差， 在时间域上给骨 架姿态建立联系， 公式如下： 权　利　要　求　书 1/2 页 2 CN 114782992 A 25.根据权利要求2所述的超关节与多模态网络及其在行为识别方法， 其特征在于， 所述 将骨架信息送入结构化时空特征学习模型包括： 利用卷积神经网络的时空特征学习模块用 于在骨架信息上 人体动作特 征的提取。 6.根据权利要求5所述的超关节与多模态网络及其在行为识别方法， 其特征在于： 所述 时空特征学习模块包括节点时序特征学习块和空间全局特征学习块， 通过叠加时空块， 构 建特征学习模块， 从骨架信息中学习原 始骨架节点之间依赖关系的有效时空特 征。 7.根据权利要求6所述的超关节与多模态网络及其在行为识别方法， 其特征在于： 所述 节点时序特 征学习块的构建包括如下步骤： 首先， 使用卷积块注意力模块对输入网络的张量增加注意力， 表示提升输入数据的特 征表达能力； 然后， 使用卷积核大小为(1 ×1)的卷积层在网络中自动学习骨架关节的位置特征； 公 式化定义 为： fT(X)＝σ(φ(A ttn(X)))    (9) 其中， X表示一个三阶张量 φ表示由卷积层结构的函数， σ表示ReLU激活函 数， 而Attn表示一个注意力区块； 最后， 使用大小为(3 ×1)的卷积核将骨架关节位置上学习到的特征信息在时间上聚合 起来， 输出是一个三阶张量 通过如下公式进行定义： A＝φ(fT(X))    (10) 8.根据权利要求6所述的超关节与多模态网络及其在行为识别方法， 其特征在于： 所述 空间全局特征学习块的构建包括： 使用大小为(3 ×3)的卷积核在网络上自动学习骨架节 点 在空间域上协同运动的语义特征， 卷积操作能够聚合构成人体的元素 的空间结构信息， 公 式化定义 为： fS(A)＝φ(A')     (11) 其中， A'表示矩阵的变换， 将一个三阶张量 变换成 权　利　要　求　书 2/2 页 3 CN 114782992 A 3