(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210396540.0 (22)申请日 2022.04.15 (71)申请人 陕西科技大 学 地址 710021 陕西省西安市未央区未央大 学园区 (72)发明人 张开生　李昊晨　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 涂秀清 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 基于双流网络的人体姿态估计方法 (57)摘要 本发明公开了基于双流网络的人体姿态估 计方法， 步骤1： 加载数据集， 强化训练数据集。 步 骤2： 使用YOLO  v3对输入图像进行人体检测， 获 得人体检测框， 剪裁人体检测框得到固定的纵横 比。 步骤3： 对剪裁后的人体 图像采用MSR算法进 行处理。 步骤4： 将获得的人体 图像与MSR人体 图 像分别输入姿势细化网络与姿势校正网络进行 特征提取。 步骤5： 将双流网络输出的两组特征图 通过自适应特征融合进行融合。 步骤6： 对融合后 的特征图进行通道压缩， 生成人体热图， 并回归 关键点坐标。 步骤7： 通过opencv连接相对应的关 键点。 本发明拥有更好的准确度与泛化性， 在不 同的外部环境下能够保持较好的泛化 性。 权利要求书2页 说明书6页 附图3页 CN 114882585 A 2022.08.09 CN 114882585 A 1.基于双流网络的人体姿态估计方法， 其特 征在于， 具体包括以下步骤： 步骤1： 加载MPII数据集或MS  COCO2017数据集， 对训练数据采用数据增强的方法强化 训练， 生成输入图像； 步骤2： 使用YOLO  v3对输入图像进行人体检测， 获得人体检测框， 并将人体检测框的高 度或宽度剪 裁到固定的纵横比， 得到 剪裁后的RGB人体图像； 步骤3： 对剪裁后的RGB人体图像采用MSR算法进行处理并生成MSR图像， MSR算法从RGB 图像中去除了低频成分， 并保留部分高频成分， 消除光照影响； 步骤4： 将剪裁后的人体RGB图像与MSR图像输入双流网络进行特征提取， 双流网络由姿 势细化网络与姿势校正网络组成， RGB图像输入姿势细化网络， MSR图像输入姿势校正网络， 生成两组特 征图； 步骤5： 将双流网络输出的两组特征图通过自适应特征融合算法进行进一步融合， 得到 特征融合后的特 征图； 步骤6： 对特征融合后的特征图通过conv1 ×1卷积层进行通道压缩， 生成人体热图， 并 回归关键点 坐标， 得到人体关键点； 步骤7： 通过opencv连接相对应的人体关键点。 2.根据权利要求1所述的基于双流网络的人体姿态估计方法， 其特征在于， 所述步骤1 中， 数据增强包括裁剪、 翻转、 旋转和缩放； 其中， 旋转范围为 ‑45°～+45°， 缩放范围为0.7～ 1.35。 3.根据权利要求1所述的基于双流网络的人体姿态估计方法， 其特征在于， 所述步骤3 中， SSR为如下公式(1)： r(x,y)＝ log[S(x,y)]‑log[S(x,y)*F(x,y)]      (1)； 其中S(x， y)为原图像， r(x， y)为图像反射信息， F(x， y)为环绕函数， 取高斯环绕函数， 如下公式(2)： MSR在SSR的基础 上， 对多个SSR的输出同大、 中、 小尺度 参数在一定权重下相叠加， 得到 如下公式(3)： 其中k＝3， ωi为权重参数。 4.根据权利要求1所述的基于双流网络的人体姿态估计方法， 其特征在于， 所述步骤4 中， 双流网络由姿势细化网络与姿势校正网络的支路网络组成， 两个支路网络具有不同的 结构： 姿势细化网络由四个网络深度相同的残差阶梯 网络串联组成； 姿势校正网络采用四 个网络深度由浅 到深的残差阶梯网络串联组成， 从多个尺度中提取 特征。 5.根据权利要求1所述的基于双流网络的人体姿态估计方法， 其特征在于， 所述步骤5 中， 自适应特征融合首先整合来自所有分支的信息， 将两组特征图通过元素求和， 融合多个 分支的结果， 如下公式(4)：权　利　要　求　书 1/2 页 2 CN 114882585 A 2F'＝FMSR+FRGB    (4)； 其中， FMSR是MSR图像通过校正网络生成的特征 图， FRGB是RGB图像通过细化网络生成 的特征图； 将融合结果F ’通过全局平均池化来嵌入全局信息， 生成c个元素所 组成的一 维向 量S， c是F ’的通道数； 之后将S通过全连接层降低通道数得到向量Z， 通过降低通道数来提高 效率， Z有d个元 素组成， d为全连接产生的新的通道数， 如下公式(5)： d＝max{L,c /r}     (5)； 其中， L表示d的最小值， r表示压缩比例， 此处设置L＝32， r＝8； 本算法采用跨通道的注 意力机制， 自适应地选择不同空间尺度的信息； 将向量Z再通过全连接层恢复原通道数c得 到A与B通道权重向量， 生 成结果通过Softmax在A、 B权重向量间进行归一化处理， 得到a、 b如 下公式(6)和(7)： 其中， i∈(1， 2， …， c)， 最终的特征图F是通过各组特征图上的注意力权重获得如下公 式(8)和公式(9)： Fi＝aiFMSRi+biFRGBi     (8)； ai+bi＝1                 (9)。权　利　要　求　书 2/2 页 3 CN 114882585 A 3