(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211246330.X (22)申请日 2022.10.12 (71)申请人 成都西交智汇大 数据科技有限公司 地址 611731 四川省成 都市高新区西芯大 道3号3栋6层602室 (72)发明人 周永乐　张志鸿　 (74)专利代理 机构 北京集智东方知识产权代理 有限公司 1 1578 专利代理师 刘林　陈攀 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) (54)发明名称 一种实验步骤评分方法、 装置、 设备及可读 存储介质 (57)摘要 本发明提供了一种实验步骤评分方法、 装 置、 设备及可读存储介质， 涉及人工智 能技术领 域， 所述方法包括获取实验视频信息和参考实验 视频信息； 将实验视频信息进行预处理得到第一 信息； 将实验视频信息发送至三维卷积神经网络 模型得到第一特征向量， 将参考实验视频信息发 送至三维卷积神经网络模型得到第二特征向量； 根据第一特征向量和所述第二特征向量判断评 分点是否得分， 本发明通过对实验视频信息和参 考实验视频信息进行预处理， 再通过三维卷积神 经网络模型分别提取实验视频信息和参考实验 视频信息的时空特征向量， 根据判断两个时空特 征向量的相似度实现学生实验步骤的自动识别 并判断该实验步骤是否正确并自动评分， 大大的 减少了人工成本 。 权利要求书2页 说明书8页 附图2页 CN 115331154 A 2022.11.11 CN 115331154 A 1.一种实验步骤评分方法， 其特 征在于， 包括： 获取实验视频信 息和参考实验视频信 息， 所述参考实验视频信 息包括包含评分点的关 键帧； 将所述实验视频信 息进行预处理得到第 一信息， 所述第 一信息包括关键帧构 成的视频 序列； 将所述实验视频信 息发送至三维卷积神经网络模型得到第 一特征向量， 将所述参考实 验视频信息发送至所述三 维卷积神经网络模型得到第二特征向量， 所述第一特征向量和所 述第二特 征向量均为时空特 征的表征； 根据所述第一特 征向量和所述第二特 征向量判断评分点是否得分。 2.根据权利要求1所述的实验步骤评分方法， 其特征在于， 将所述实验视频信 息进行预 处理得到第一信息， 包括： 将所述实验视频信息进行稀疏采样得到 至少两个等长的视频片段； 将所述视频片段进行增强处 理得到增强处 理后的视频片段； 将所述增强处理后的视频片段发送至注意力模型选取权重高的N个视频片段构 成视频 序列， 得到第一信息 。 3.根据权利要求1所述的实验步骤评分方法， 其特征在于， 根据 所述第一特征向量和所 述第二特 征向量判断评分点是否得分， 包括： 将第一特征向量发送至时空分解模型得到第 三特征向量和第四特征向量， 将所述第 二 特征向量 发送至所述时空分解模型得到第五特征向量和第六特征向量， 所述时空分解模型 用于将时空特 征向量进行分解； 利用第一模型对第 三特征向量和第四特征向量进行增强， 得到增强后的第 三特征向量 和增强后的第四特征向量， 利用所述第一模型对第 五特征向量和第六特征向量进行增强， 得到增强后的第五特征向量和增强后的第六特征向量， 所述第一模型用于对时间特征和空 间特征进行增强； 将所述增强后的第三特征向量和所述增强后的第四特征向量进行融合得到第七特征 向量， 将所述增强后的第五特征向量和所述增强后的第六特征向量进 行融合得到第八特征 向量； 根据所述第七特 征向量和所述第八特 征向量判断评分点是否得分。 4.根据权利要求2所述的实验步骤评分方法， 其特征在于， 将所述视频片段进行增强处 理得到增强处 理后的视频片段， 包括： 获取视频片段中每一视频帧对应的最高亮度值和最低亮度值； 将所述每一视频帧对应的最高亮度值和最低亮度值与该视频帧中其他的像素点的亮 度值进行融合， 得到其 他的所述像素点的像素 更新幅值； 根据所述像素点的像素更新幅值对像素点的像素值进行更新， 得到增强处理后的视频 片段。 5.一种实验步骤评分装置， 其特 征在于， 包括： 获取模块， 用于获取实验视频信息和参考实验视频信息， 所述参考实验视频信息包括 包含评分点的关键帧； 第一处理模块， 用于将所述实验视频信息进行预处理得到第一信息， 所述第一信息包权　利　要　求　书 1/2 页 2 CN 115331154 A 2括关键帧构成的视频序列； 第二处理模块， 用于将所述实验视频信 息发送至三维卷积神经网络模型得到第 一特征 向量， 将所述参考实验视频信息发送至所述三维卷积神经网络模型得到第二特征向量， 所 述第一特 征向量和所述第二特 征向量均为时空特 征的表征； 判断模块， 用于根据所述第一特 征向量和所述第二特 征向量判断评分点是否得分。 6.根据权利要求5所述的实验步骤评分装置， 其特 征在于， 所述第一处 理模块， 包括： 采样单元， 用于将所述实验视频信息进行稀疏采样得到 至少两个等长的视频片段； 增强单元， 用于将所述视频片段进行增强处 理得到增强处 理后的视频片段； 第一处理单元， 用于将所述增强处理后的视频片段发送至注意力模型选取权重高的N 个视频片段构成视频序列， 得到第一信息 。 7.根据权利要求5所述的实验步骤评分装置， 其特 征在于， 所述判断模块， 包括： 分解单元， 用于将第 一特征向量发送至时空分解模型得到第 三特征向量和第四特征向 量， 将所述第二特征向量发送至所述时空分解模型得到第 五特征向量和第六特征向量， 所 述时空分解模型用于将时空特 征向量进行分解； 第二处理单元， 用于利用第一模型对第三特征向量和第 四特征向量进行增强， 得到增 强后的第三特征向量和增强后的第四特征向量， 利用所述第一模型对第五特征向量和 第六 特征向量进行增强， 得到增强后的第 五特征向量和增强后的第六特征向量， 所述第一模型 用于对时间特 征和空间特 征进行增强； 融合单元， 用于将所述增强后的第 三特征向量和所述增强后的第四特征向量进行融合 得到第七特征向量， 将所述增强后的第五特征向量和所述增强后的第六特征向量进行融合 得到第八特 征向量； 判断单元， 用于根据所述第七特 征向量和所述第八特 征向量判断评分点是否得分。 8.根据权利要求6所述的实验步骤评分装置， 其特 征在于， 所述增强单 元， 包括： 第一获取 单元， 获取视频片段中每一视频帧对应的最高亮度值和最低亮度值； 第三处理单元， 用于将所述每一视频帧对应的最高亮度值和最低亮度值与 该视频帧中 其他的像素点的亮度值进行融合， 得到其 他的所述像素点的像素 更新幅值； 第四处理单元， 用于根据所述像素点的像素更新幅值对像素点的像素值进行更新， 得 到增强处 理后的视频片段。 9.一种实验步骤评分 设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至4任一项所述实验步骤评分方 法的步骤。 10.一种可读存储介质， 其特征在于： 所述可读存储介质上存储有计算机程序， 所述计 算机程序被处 理器执行时实现如权利要求1至4任一项所述实验步骤评分方法的步骤。权　利　要　求　书 2/2 页 3 CN 115331154 A 3