(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210159478.3 (22)申请日 2022.02.21 (71)申请人 首都体育学院 地址 100191 北京市海淀区北三环西路1 1 号高德楼 201 (72)发明人 周志雄　王秋睿　 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/62(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于三维卷积时空特征聚类的弱监督 时序动作定位方法 (57)摘要 本发明专利提供了一种基于三维卷积时空 特征聚类的弱监督时序动作定位方法， 其特征在 于： (1)利用滑动窗口和等间隔采样提取视频帧； (2)通过三维卷积模型提取时序特征， 并用全连 接生成视频片段的表示特征； (3)当前的视频序 列特征通过聚类方法和已有 方法进行聚类比较， 相似距离半径小于阈值的即为合格的动作定位； (4)对动作定位的结果用非极大值抑制算法选取 最合适的定位区域。 权利要求书1页 说明书2页 附图1页 CN 114519837 A 2022.05.20 CN 114519837 A 1.本发明专利提供了一种基于三维卷积时空特征聚类的弱监督时序动作定位方法， 其 特征在于如下步骤： (1)利用滑动窗口和等间隔采样提取视频帧； (2)通过三维卷积模型提 取时序特征， 并用全连接生 成视频片段的表 示特征； (3)当前的视频序列特征通过聚类方法 和已有方法进 行聚类比较， 相似距离 半径小于阈值的即为合格的动作定位； (4)对动作定位 的结果用非极大值抑制算法选取最 合适的定位区域。权　利　要　求　书 1/1 页 2 CN 114519837 A 2一种基于三维卷积时空特征 聚类的弱监督时序动作定位方 法 一、 技术领域 [0001]动作定位、 聚类、 计算机 视觉、 人工智能 二、 背景技术 [0002]2.1通用技 术方法介绍 [0003]已有的视频动作定位方法主 要分为有监 督的方法、 无监 督的方法。 [0004]有监督的视频动作定位方法需要大量数据的训练， 从而达到对动作开始时间和结 束时间的定位。 当数据充足时， 一般模型表现较好。 但在实际应用中， 大量数据的标注难以 实现。 [0005]无监督的方法， 通常通过寻找特定 的有区分度的特征向量表示方法， 在时间片段 上以特征相似度为依据， 找到最匹配的片段。 [0006]2.2相似方法介绍 [0007]文献[2]是一种无监督 的动作定位方法， 和本方法有一定相似度。 其同样用I3D方 法(文献[1])提取视频 特征的表示。 [0008]文献[2]与本方法的区别主 要体现在： [0009](1)候选视频片段提取方式。 文献[2]基于一段包含动作全部的长视频片段， 本方 法用滑动窗口从原 始视频提取视频片段， 可能包 含完整动作， 也可能仅包 含部分动作。 [0010](2)最终特征表示 的生成方式。 文献[2]对采集 的片段分成多个子片段， 对每个子 片段提取特征， 并最终合并在一起。 本方法因为直接等间隔采样， 对视频片段全程一次整体 提取特征。 [0011](3)聚类方式。 文献[2]对当前视频动作和所有已有视频进行聚类。 本方法利用文 献[3]方法聚类， 仅用当前视频片段与已有的各个聚类中心里最中心的视频进行聚类。 [0012](4)聚类结果。 文献[2]对当前视频动作是有确定的类别分类的。 本方法因为可能 采用了仅含部分动作的视频片段， 当距离每个较远时(距离没有低于阈值)， 丢弃对当前视 频动作片段的聚类结果。 三、 发明内容 [0013]本申请在融合了创新技术和已有方法的基础上， 本专利实现了一种基于三维卷积 时空特征聚类的弱监 督时序动作定位方法。 [0014]首先， 利用滑动窗口和等间隔采样提取视频帧。 [0015]其次， 通过三维卷积模型I3D(文献[1])的方法提取时序特征， 并用全连接生成视 频片段的表示特征。 当前 的视频序列特征与已有的各个聚类中心里最中心的视频， 采用文 献[3]的方法进行聚类。 相似距离半径小于阈值的即为合格的动作定位， 否则丢弃当前视 频。 [0016]最后， 对所有合格视频采用文献[4]软极大值抑制算法方法去掉重叠区域过大的 预测结果。说　明　书 1/2 页 3 CN 114519837 A 3