(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210299804.0 (22)申请日 2022.03.25 (71)申请人 湖南工业大 学 地址 412007 湖南省株洲市天元区泰山西 路 (72)发明人 朱文球　李永胜　黄史记　宋纯丽　 (74)专利代理 机构 北京京华知联专利代理事务 所(普通合伙) 11991 专利代理师 李姣姣 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/62(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于ACNN和Bi-LSTM的微表情识别方 法、 系统 (57)摘要 本申请涉及一种基于ACNN和Bi ‑LSTM的微表 情识别方法、 系统。 所述方法包括： 获取待检测人 员的连续时间的多帧表情图像； 将所述多帧表情 图像输入微表情识别模型， 得到所述待检测人员 的表情所属类别； 其中， 所述微表情识别模型包 括初始特征向量提取网络、 与初始特征向量提取 网络连接的局部识别块注意力卷积神经网络、 与 初始特征向量提取网络连接的全局注意力卷积 神经网络和与局部识别块注意力卷积神经网络、 全局注意力卷积神经网络连接的双向长短期记 忆网络。 采用本方法能够提高微表情识别的准确 率。 权利要求书2页 说明书10页 附图3页 CN 114724210 A 2022.07.08 CN 114724210 A 1.一种基于ACN N和Bi‑LSTM的微表情识别方法， 其特 征在于， 所述方法包括： 获取待检测人员的连续时间的多帧表情图像； 将所述多帧表情图像输入微表情识别模型， 得到所述待检测人员的表情所属类别； 其 中， 所述微表情识别模型包括初始特征向量提取网络、 与初始特征向量提取网络连接的局 部识别块注意力卷积神经网络、 与初始特征向量提取网络连接的全局注意力卷积神经网络 和与局部识别块注意力卷积神经网络、 全局注意力卷积神经网络连接的双向长 短期记忆网 络。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述多帧表情图像输入微表情识别 模型， 得到所述待检测人员的表情所属类别， 包括： 将所述多帧表情图像输入初始特征向量提取网络经过迁移学习处理后， 得到第 一预设 尺度的初始特 征向量； 将初始特征向量输入局部识别块注意力卷积神经网络， 提取多个识别块， 并计算每个 识别块的带权特 征向量； 将初始特 征向量输入 全局注意力卷积神经网络， 得到带权的全局特 征向量； 将所有识别块的带权特征向量和带权的全局特征向量分别输入双向长短期记忆网络， 并通过三层全连接层处 理， 得到所述待检测人员的表情所属类别。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述多帧表情图像输入初始特征向 量提取网络经 过迁移学习处 理后， 得到第一预设尺度的初始特 征向量， 包括： 将所述多帧表情图像输入VGG16网络经过迁移学习处理后， 得到尺度 为512×28×28的 特征向量。 4.根据权利要求2所述的方法， 其特征在于， 所述将初始特征向量输入局部识别块注意 力卷积神经网络， 提取多个识别块， 并计算每 个识别块的带权特 征向量， 包括： 根据初始特 征向量提取面部关键点； 根据面部关键点 提取眉、 眼、 鼻、 口区域的微表情识别点； 以微表情识别点 为中心， 从初始特 征向量提取第二预设尺度的识别块； 将所述识别块分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理， 得到每个识别块的带权特 征向量。 5.根据权利要求2所述的方法， 其特征在于， 所述将初始特征向量输入全局 注意力卷积 神经网络， 得到带权的全局特 征向量， 包括： 将初始特征向量通过VGG16网络的conv4_2层到conv5_2层处理， 得到输出尺度为512 × 14×14的特征向量； 将尺度为512 ×14×14的特征向量分别经过一个全连接层和一个输出为权重标量的普 通注意力网络处 理， 得到带权的全局特 征向量。 6.根据权利要求1所述的方法， 其特 征在于， 还 包括： 获取多个采集者连续时间的多帧表情图像， 并设置每个采集者的微表情标签， 构建模 型训练数据集； 将所述模型训练数据集输入初始微表情识别模型， 对初始微表情识别模型进行训练， 得到训练后的微表情识别模型； 其中， 所述训练后的微表情识别模型包括初始特征向量提取网络、 与初始特征向量提权　利　要　求　书 1/2 页 2 CN 114724210 A 2取网络连接的局部识别块注意力卷积神经网络、 与初始特征向量提取网络连接的全局注意 力卷积神经网络和与局部识别块注意力卷积神经网络、 全局注意力卷积神经网络连接的双 向长短期记 忆网络。 7.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 所述双向长短期记忆网络还包括 中隐藏层、 全连接层以及隐藏层与全连接层之间的Dropout层。 8.一种基于ACN N和Bi‑LSTM的微表情识别系统， 其特 征在于， 所述系统包括： 待检测图像获取模块， 用于获取待检测人员的连续时间的多帧表情图像； 表情类别识别模块， 用于将所述多帧表情图像输入微表情识别模型， 得到所述待检测 人员的表情所属类别； 其中， 所述微表情识别模型包括初始特征向量提取网络、 与初始特征 向量提取网络连接的局部识别块注意力卷积神经网络、 与初始特征向量提取网络连接的全 局注意力卷积神经网络和与局部识别块注意力卷积神经网络、 全局注意力卷积神经网络连 接的双向长短期记 忆网络。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114724210 A 3