(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111442071.3 (22)申请日 2021.11.30 (71)申请人 苏州亿歌网络科技有限公司 地址 215000 江苏省苏州市中国(江苏)自 由贸易试验区苏州片区苏州工业园区 启泰路68号友谊时光大厦17 F (72)发明人 万业号　丁静　刘钱　宋大伟　 (74)专利代理 机构 北京品源专利代理有限公司 11332 代理人 李礼 (51)Int.Cl. G06V 40/16(2022.01) G06N 20/00(2019.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种面容元素的分类方法、 装置、 设备及存 储介质 (57)摘要 本发明实施例公开了一种面容元素的分类 方法、 装置、 设备及存储介质。 该方法包括获取待 分类人脸图像， 并生成与待分类人脸图像对应的 多个局部子图， 每个局部子图对应人脸上的设定 面容元素； 根据与每个局部子图分别对应的图像 特征集， 以及面容元素几何特征集， 确定每个局 部子图中面容元素的所属类型。 本发 明实施例的 技术方案解决现有技术通过卷积神经网络进行 图像特征提取时， 经过卷积层和池化层因纹理结 构的空间几何大小特征的弱化导致对五官部位 识别带来较大阻碍的问题， 实现精 准识别人脸五 官部位， 准确对人脸五官分类的效果。 权利要求书2页 说明书10页 附图3页 CN 114202789 A 2022.03.18 CN 114202789 A 1.一种面 容元素的分类方法， 其特 征在于， 包括： 获取待分类人脸图像， 并生成与待分类人脸图像对应的多个局部子 图， 每个局部子 图 对应人脸上的设定面 容元素； 根据与每个局部子 图分别对应的图像特征集， 以及面容元素几何特征集， 确定每个局 部子图中面 容元素的所属类型。 2.根据权利要求1所述的方法， 其特征在于， 根据与每个局部子图分别对应的图像特征 集， 以及面 容元素几何特 征集， 确定每 个局部子图中面 容元素的所属类型， 包括： 获取与当前处 理的目标局部 子图对应的目标面 容元素； 在预先训练的全部面容元素分类模型中， 获取与 所述目标面容元素匹配的目标面容元 素分类模型， 并将所述目标局部 子图输入至所述目标面 容元素分类模型中； 通过所述面容元素分类模型从目标局部子图中提取匹配的图像特征集以及面容元素 几何特征集， 并根据所述图像特征集以及面容元素几何特征集， 确定所述 目标局部子图中 目标面容元素的所属类型。 3.根据权利要求2所述的方法， 其特征在于， 所述目标面容元素分类模型具体包括： 图 像特征提取网络、 面 容元素几何特 征提取网络、 特 征融合网络以及分类网络； 所述图像特征提取网络， 用于根据输入的目标局部子 图， 在多个维度下提取图像特征 集； 所述面容元素几何特征提取网络， 用于在输入的目标局部子图中提取与目标面容元素 对应的面 容元素几何特 征集； 特征融合网络， 用于将所述图像特征集和所述面容元素几何特征集进行特征拼接， 得 到融合特 征集； 分类网络， 用于根据所述融合特征集， 确定所述目标局部子 图中所述目标面容元素的 所属类型。 4.根据权利要求3所述的方法， 其特征在于， 所述图像特征提取网络为基于注意力 机制 的卷积神经网络 。 5.根据权利要求3所述的方法， 其特征在于， 所述面容元素几何特征包括下述至少一 项： 面容元素的尺度、 倾 斜角度、 关键点间的夹角、 以及边 缘曲率。 6.根据权利要求1所述的方法， 其特征在于， 生成与待分类人脸图像对应的多个局部子 图， 包括： 在所述待分类人脸图像中， 标注得到多个人脸关键点； 根据与不同面容元素分别对应的人脸关键点集合， 在标注得到的各人脸关键点中， 确 定与待分类人脸图像中的各面 容元素分别对应的目标 人脸关键点； 根据与各待分类人脸图像中的各面容元素分别对应的目标人脸关键点， 形成与待分类 人脸图像中的各面 容元素分别对应的局部 子图。 7.根据权利要求2所述的方法， 其特征在于， 在预先训练的全部面容元素分类模型中， 获取与所述目标面 容元素匹配的目标面 容元素分类模型之前， 还 包括： 获取训练样本集合， 所述训练样本集中包括人脸上每个面容元素的全部类型的样本图 像； 生成与每个样本图像分别对应的多个局部子图， 并将与同一面容元素对应的多个局部权　利　要　求　书 1/2 页 2 CN 114202789 A 2子图归集 为同一面容元素样本集 合中； 使用每个面容元素样本集合对预设的机器学习模型进行训练， 得到与每个面容元素分 别对应的面 容元素分类模型。 8.一种面 容元素的分类装置， 其特 征在于， 包括： 面容元素生成模块， 用于获取待分类人脸图像， 并生成与待分类人脸图像对应的多个 局部子图， 每个局部子图对应人脸上的设定面 容元素； 面容元素类型确定模块， 用于根据与每个局部子 图分别对应的图像特征集， 以及面容 元素几何特 征集， 确定每 个局部子图中面 容元素的所属类型。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的面 容元素的分类方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时实现如权利要求1 ‑7中任一所述的面 容元素的分类方法。权　利　要　求　书 2/2 页 3 CN 114202789 A 3