(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210342417.0 (22)申请日 2022.03.31 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 安入东　张智勐　丁彧　吕唐杰　 范长杰　胡志鹏　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 彭星 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人脸表情识别方法、 装置、 电子设备及 存储介质 (57)摘要 本申请涉及面部识别技术领域， 尤其涉及一 种人脸表情识别方法、 装置、 电子设备及存储介 质。 本申请通过基于待识别人脸图像对应的三维 人脸模型和各个面部动作单元的定义信息， 从待 识别人脸图像中划分出各个面部动作单元分别 对应的感兴趣区域图像； 基于从各个感兴趣区域 图像分别提取得到的人脸局部特征向量、 从待识 别人脸图像提取得到的人脸表情特征向量 以及 人脸细节特征向量， 确定人脸融合特征向量； 基 于人脸融合特征向量， 确定待识别人脸图像中人 物的目标表情， 这样， 通过将提取的与面部动作 单元紧密相关的人脸局部特征向量 以及人脸全 局特征向量进行融合后进行人脸表情识别， 可以 提升对人脸表情识别的准确率。 权利要求书3页 说明书17页 附图5页 CN 114743241 A 2022.07.12 CN 114743241 A 1.一种人脸表情识别方法， 其特 征在于， 所述人脸表情识别方法包括： 获取待识别人脸图像； 基于所述待识别人脸图像对应的三维人脸模型和各个面部动作 单元的定义信 息， 从所 述待识别人脸图像中划分出 各个所述 面部动作单 元分别对应的感兴趣区域图像； 基于从各个所述感兴趣区域图像分别提取得到的人脸局部特征向量、 从所述待识别人 脸图像提取 得到的人脸表情特 征向量以及人脸细节特 征向量， 确定人脸融合特 征向量； 基于所述人脸融合特 征向量， 确定所述待识别人脸图像中人物的目标表情。 2.根据权利要求1所述的人脸表情识别方法， 其特征在于， 所述基于所述待识别人脸图 像对应的三 维人脸模型和各个面部动作单元的定义信息， 从所述待识别人脸图像中划分出 各个所述 面部动作单 元分别对应的感兴趣区域图像， 包括： 根据标准人脸模型和所述待识别人脸图像， 确定所述待识别人脸图像对应的所述三维 人脸模型； 根据各个所述面部动作单元的定义信 息， 将所述三维人脸模型划分出各个面部局部区 域； 基于各个所述面部局部区域的区域掩码信 息， 从所述待识别人脸图像中划分出各个所 述面部动作单 元分别对应的感兴趣区域图像。 3.根据权利要求1所述的人脸表情识别方法， 其特征在于， 目标人脸表情识别模型包括 局部特征提取模块、 全局特征提取模块、 特征关联模块以及面部动作强度检测模块； 所述基 于从各个所述感兴趣区域图像分别提取得到的人脸局部特征向量、 从所述待识别人脸图像 提取得到的人脸表情特 征向量以及人脸细节特 征向量， 确定人脸融合特 征向量， 包括： 针对每一所述感兴趣区域图像， 将所述感兴趣区域图像输入所述局部特征提取模块， 确定所述感兴趣区域图像对应的人脸局部特 征向量； 将所述待识别人脸图像输入所述全局特征提取模块， 确定所述人脸表情特征向量和所 述人脸细节特 征向量； 将各个所述人脸局部特征向量、 所述人脸表情特征向量以及所述人脸细节特征向量输 入所述特 征关联模块， 确定所述人脸融合特 征向量； 所述基于所述人脸融合特 征向量， 确定所述待识别人脸图像中人物的目标表情， 包括： 将所述人脸融合特征向量输入所述面部动作强度检测模块， 确定所述待识别人脸图像 中人物的目标表情。 4.根据权利要求3所述的人脸表情识别方法， 其特征在于， 在所述获取待识别人脸图像 之前， 根据以下步骤训练出 所述目标 人脸表情识别模型： 利用多个样本人脸图像对初始人脸表情识别模型进行训练得到中间人脸表情识别模 型； 其中， 所述初始人脸表情识别模型中的全局特征提取模块包括人脸表情特征提取网络、 人脸细节特 征提取网络以及人脸身份特 征提取网络； 去除所述中间人脸表情识别模型中的人脸身份特征提取网络， 并对去除所述人脸身份 特征提取网络的所述中间人脸表情识别模型中的特征关联模块和 面部动作强度检测模块 进行下一轮次训练， 得到训练好的所述目标 人脸表情识别模型。 5.根据权利要求3所述的人脸表情识别方法， 其特征在于， 在所述获取待识别人脸图像 之前， 根据以下步骤确定用于人脸表情识别模型训练的样本人脸图像：权　利　要　求　书 1/3 页 2 CN 114743241 A 2从训练数据集中， 筛 选出各个样本人物对应的m个训练人脸图像； 针对每一所述样本人物， 从所述样本人物对应的m个训练人脸图像 中， 筛选出处于激活 状态的各个面部动作单 元分别对应的n个候选人脸图像； 针对每一所述样本人物， 从处于激活状态的每一面部动作单元对应的n个候选人脸图 像中， 筛选出所述面部动作单 元对应的各个强度级别的目标 人脸图像； 将所述目标 人脸图像， 确定为所述样本人脸图像； 其中， m和n均为 正整数， 且m>n。 6.根据权利要求3所述的人脸表情识别方法， 其特征在于， 所述局部特征提取模块包括 至少两个卷积网络和全连接网络； 所述针对每一所述感兴趣区域图像， 将所述感兴趣区域 图像输入所述局部特征提取模块， 确定所述感兴趣区域图像对应的人脸局部特征向量， 包 括： 将所述感兴趣区域图像输入第一卷积网络， 确定第一局部特 征向量； 将所述第一局部特 征向量输入第二卷积网络， 确定第二局部特 征向量； 将所述第二局部特 征向量输入所述全连接网络， 确定所述人脸局部特 征向量； 其中， 所述第一卷积网络和所述第二卷积网络分别使用的卷积核不同。 7.根据权利要求3所述的人脸表情识别方法， 其特征在于， 所述特征关联模块包括目标 图注意力网络； 根据以下步骤生成所述目标图注意力网络： 将各个样本人脸局部特征向量、 样本人脸表情特征向量以及样本人脸细节特征向量分 别作为初始图注意力网络的节点； 统计用于训练的多个样本人脸图像中各个所述 面部动作单 元共同出现的次数； 根据统计的各个所述面部动作单元共同出现的次数， 构造所述初始图注意力网络 中的 各个节点之间的连接关系， 生成所述目标图注意力网络 。 8.根据权利要求3所述的人脸表情识别方法， 其特征在于， 所述将各个所述人脸局部特 征向量、 所述人脸表情特征向量以及所述人脸细节特征向量输入所述特征关联模块， 确定 所述人脸融合特 征向量， 包括： 针对第一人脸特征向量， 确定所述第一人脸特征向量分别与第二人脸特征向量、 所述 人脸表情特征向量以及所述人脸细节特征向量之间的注意力系数； 所述第一人脸特征向量 和所述第二人脸特 征向量为不同的所述人脸局部特 征向量； 将所述第一人脸特征向量对应的多个注意力系数作为权重， 对所述第二人脸特征向 量、 所述人脸表情特征向量以及所述人脸细节特征向量进行特征加权计算， 确定所述第一 人脸特征向量对应的中间融合特 征向量； 将所述第一人脸特征向量对应的中间融合特征向量进行非线性激活处理， 确定所述第 一人脸特 征向量对应的人脸融合特 征向量。 9.根据权利要求1所述的人脸表情识别方法， 其特征在于， 所述基于所述人脸融合特征 向量， 确定所述待识别人脸图像中人物的目标表情， 包括： 基于所述人脸融合特征向量， 确定所述待识别人脸图像中处于激活状态的各个面部动 作单元， 以及处于 激活状态的每 个面部动作单 元对应的强度级别； 根据激活状态的各个面部动作单元， 以及处于激活状态的每个面部动作单元对应的强 度级别， 确定所述待识别人脸图像中人物的目标表情。权　利　要　求　书 2/3 页 3 CN 114743241 A 3