(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210178866.6 (22)申请日 2022.02.25 (71)申请人 北京育达东方软件科技有限公司 地址 100080 北京市海淀区海淀东 三街2号 13层1301-02 (72)发明人 陈奕名　王超　霍卫涛　张小艳　 张建鑫　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 卢夏子 (51)Int.Cl. G06F 3/01(2006.01) G06K 9/00(2022.01) G06V 40/10(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/02(2006.01) G09B 5/06(2006.01) (54)发明名称 互动答题方法、 装置、 存 储介质及学习机 (57)摘要 本公开涉及一种互动答题方法、 装置、 存储 介质及学习机， 其中方法包括： 获取摄像头采集 的目标图像； 通过姿态识别模型对 所述目标图像 进行姿态识别， 得到多个骨骼关键点； 通过聚类 网络对所述多个骨骼关键点进行聚类 分析， 以确 定所述目标图像中的用户在图像中的姿态所表 征的答题选项。 通过本技术方案， 用户在使用学 习机进行答题时， 学习机可以自动识别用户当前 的姿态， 并根据用户当前的姿态确定用户所选择 的答题选项， 从而提高学习机的答题智能化程 度， 增加用户与学习机的互动性以及答题的趣味 性， 同时， 也可以在用户不便于在学习机屏幕上 点击答题选项的时候， 如手上沾有污渍时， 为用 户提供另外的可选答题方式。 权利要求书3页 说明书13页 附图5页 CN 114721505 A 2022.07.08 CN 114721505 A 1.一种互动答题方法， 其特 征在于， 包括： 获取摄像头采集的目标图像； 通过姿态 识别模型对所述目标图像进行姿态 识别， 得到多个骨骼关键点； 通过聚类网络对所述多个骨骼关键点进行聚类分析， 以确定所述目标图像中的用户在 图像中的姿态所表征的答题选项。 2.根据权利要求1所述的方法， 其特征在于， 所述通过聚类网络对所述多个骨骼关键点 进行聚类分析， 以确定所述目标图像中的用户在图像中的姿态所表征的答题选项， 包括： 从所述多个骨骼关键点中选择一个关键点作为基准 点； 分别计算每一骨骼关键点与 所述基准点之间的偏差值， 并根据 所有偏差值获得偏差向 量； 将所述偏差向量输入到所述聚类网络中， 获得 所述偏差向量对应的类簇； 根据所述类簇的标签确定出对应的所述 答题选项。 3.根据权利要求2所述的方法， 其特 征在于， 所述 根据所有偏差值获得偏差向量， 包括： 若所述所有偏差值组成的向量的长度 未达到所述 聚类网络的输入长度要求， 则在所述 向量的末尾补零， 直至向量的长度达 到所述输入长度要求， 得到所述偏差向量。 4.根据权利要求3所述的方法， 其特征在于， 所述偏差向量中， 所述所有偏差值中为0的 数值位于不为0的数值之后。 5.根据权利要求2所述的方法， 其特征在于， 在得到多个骨骼关键点之后， 所述方法还 包括： 获取当前时刻体感答题器测得的第一坐标， 其中， 所述体感答题器设置于所述用户的 一身体部位上， 用于测量所述部位的坐标； 获取当前时刻所述多个骨骼关键点中与所述体感答题器所测量部位对应的目标骨骼 关键点的第二 坐标， 所述第一 坐标与所述第二 坐标的原点相同； 根据所述第一 坐标对所述第二 坐标进行修 正， 得到修 正坐标； 将所述多个骨骼关键点中所述目标骨骼关键点的第二 坐标替换为所述 修正坐标。 6.根据权利要求5所述的方法， 其特征在于， 所述体感答题器为设置于用户手部的可穿 戴设备或供用户手指佩戴的装置 。 7.根据权利要求5所述的方法， 其特征在于， 所述根据所述第 一坐标对所述第 二坐标进 行修正， 得到修 正坐标， 包括： 确定所述第一 坐标对应的二维坐标； 根据当前时刻的所述二维坐标和所述第 二坐标， 以及前一 时刻的所述二维坐标和所述 第二坐标， 计算所述部位移动的距离与图像像素间的第一比例关系， 所述前一时刻为前一 次通过姿态 识别模型进行姿态 识别， 得到多个骨骼关键点的时刻； 根据所述第 一比例关系， 计算当前时刻的所述二维坐标对应到所述目标图像上的目标 坐标； 根据所述目标坐标对所述第二 坐标进行修 正， 得到所述 修正坐标。 8.根据权利要求7所述的方法， 其特征在于， 所述第 一比例关系为第 一欧式距离与第 二 欧式距离的比值， 其中， 所述第一欧式距离为所述当前时刻的第二坐标与所述前一时刻的 第二坐标之 间的欧式距离， 所述第二欧式距离为所述当前时刻的二 维坐标与所述前一时刻权　利　要　求　书 1/3 页 2 CN 114721505 A 2的二维坐标之间的欧式距离 。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述第一比例关系， 计算当前时 刻的所述 二维坐标对应到所述目标图像上的目标坐标， 包括： 根据在当前时刻及之前的预设时间范围内的每一 时刻对应的所述第 一比例关系， 计算 第一比例关系的平均值， 得到第二比例关系； 其中， 每个时刻为通过姿态识别模 型进行一次 姿态识别， 得到多个骨骼关键点的时刻； 根据所述第 二比例关系， 计算当前时刻的所述二维坐标对应到所述目标图像上的目标 坐标。 10.根据权利要求9所述的方法， 其特征在于， 所述根据在当前时刻及之前的预设时间 范围内的每一时刻对应的所述第一比例关系， 计算第一比例关系的平均值， 得到第二比例 关系， 包括： 根据在当前时刻及之前的预设时间范围内的每一 时刻对应的所述第 一比例关系， 计算 第一比例关系的加权平均值， 得到所述第二比例关系； 其中， 每个时刻的所述第一比例关系 对应一个加权系数， 所述加权系 数大于0且小于1， 且所述加权系数与所述当前时刻与所述 前一时刻的第一比例关系的比值呈负相关。 11.根据权利要求10所述的方法， 其特 征在于， 所述加权系数通过如下公式确定： 其中， αt为对应时刻的加权系数， 为该对应时刻的第一比例关系， 为该对应时 刻的前一时刻的第一比例关系， 0 <m<1。 12.根据权利要求1所述的方法， 其特征在于， 所述通过姿态识别模型对所述目标图像 进行姿态 识别， 得到多个骨骼关键点， 包括： 通过目标检测模型对所述目标图像进行检测， 以确定在所述目标图像中包含用户的情 况下， 含有用户的区域属于全身还是手部； 若含有用户的区域属于全身， 则通过人体姿态识别模型对所述目标图像进行全身姿态 识别， 得到全身的多个骨骼关键点； 若含有用户的区域属于手部， 则通过手部姿态识别模型对所述目标图像进行手部姿态 识别， 得到手部的多个骨骼关键点。 13.根据权利要求1所述的方法， 其特 征在于， 所述获取摄 像头采集的目标图像， 包括： 将所述摄 像头采集的视频写入到队列中， 形成视频帧图像队列； 将所述视频帧图像队列中的图像依次取 出并传输 至显示单元进行显示； 将当前时刻所述视频帧图像队列中位于队列顶端的图像确定为所述目标图像。 14.根据权利要求1 ‑13任一项所述的方法， 其特 征在于， 所述方法还 包括： 接收内容触发装置发送的标识信息； 根据所述标识信息， 解锁与所述标识信息对应的预设内容， 所述预设内容包括虚拟人 物、 虚拟服装或剧情。 15.根据权利要求14所述的方法， 其特征在于， 所述根据所述标识信息， 解锁与所述标 识信息对应的预设内容， 包括： 获取所述内容触发装置对应的装置ID；权　利　要　求　书 2/3 页 3 CN 114721505 A 3