(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210364466.4 (22)申请日 2022.04.08 (71)申请人 杭州云栖智慧视通科技有限公司 地址 310000 浙江省杭州市西湖区转塘科 技经济区块16号2幢401室 (72)发明人 毕海　徐晓刚　李冠华　 (74)专利代理 机构 天津市尚仪知识产权代理事 务所(普通 合伙) 12217 专利代理师 邓琳 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图卷积的人脸聚类优化方法 (57)摘要 本发明公开了一种基于图卷积的人脸聚类 优化方法， 通过人脸特征F以及人脸特征相似度， 人脸图像质量分； 使用人脸特征相似度与人脸图 像质量分构建人脸特征相似 图， 得到GCN网络输 入数据； 将得到含 有点属性矩阵 和邻接矩阵 的每个图样本 与GCN网络进行重建， 并通 过重建后GCN网络输出每个图样本 中每个人 脸节点是否属于该人脸类别结果； 根据输出的人 脸类别结果进行判定， 如果某一人脸不属于这个 类， 则将该人脸从此类中移除， 同时， 对距离 该类 有较高相似度的人脸进行核验， 如果待核验人脸 属于该类别， 则将该人脸加入此类别中； 实现了 人脸聚类优化与提纯的目的。 权利要求书2页 说明书6页 附图2页 CN 114882547 A 2022.08.09 CN 114882547 A 1.一种基于图卷积的人脸聚类优化方法， 其特 征在于： 包括以下几个步骤， 步骤1、 数据集准备与预处理； 使用预训练人脸识别模型提取待训练人脸识别数据， 得 到人脸特征F以及人脸特征相似度， 对于每一个人脸特征F一般表 示为p维人脸特征向量， 则 有F∈Rp； 随后使用人脸图像质量判定方法对待训练人脸识别数据的人脸图像进行判定， 人 脸图像质量分类值 Q， 以及得到人脸图像质量分； 步骤2、 使用人脸特征相似度与人脸图像质量分构建人脸特征相似图， 得到GCN网络输 入数据； 是通过图神经网络 G＝{V， E， A}利用人脸特征相似度与人脸图像质量分构建输入样 本图Ti， 并得到每 个图样本 中的节点属性矩阵 和邻接矩阵 步骤3、 将得到含有点属性矩阵 和邻接矩阵 的每个图样本 与GCN网络进行重建， 并通过重建后GCN网络 输出每个图样本 中每个人脸节点是否属于该 人脸类别结果； 步骤4、 根据输出的人脸类别结果进行判定， 如果某一人脸不属于这个类， 则将该人脸 从此类中移除， 同时， 对距离该类有较高相似度的人脸进行核验， 如果待核验人脸属于该类 别， 则将该 人脸加入此类别中； 实现了人脸聚类优化与提纯的目的。 2.根据权利要求1所述的一种基于图卷积的人脸聚类优化方法， 其特征在于， 所述的步 骤2中， 使用人脸特征相似度与人脸图像质量分构建人脸特征相 似图， 得到GCN网络输入数 据； 是通过图神经网络 G＝{V， E， A}利用人脸特征相似度与人脸图像质量分构建输入样 本图 Ti， 并得到每 个图样本 中的节点属性矩阵 和邻接矩阵 的方法是， 其中图神经网络G＝{V， E， A}表示由若干节点V， 若干连边E和邻接关系矩阵A组成的图 神经网络， 其中每个节 点具有d维属性向量， 当一个图存在N个节 点， 则图神经网络输入的节 点属性矩阵X∈RN×D和邻接矩阵A∈RN×N,设vi∈V,eij＝(vi， vj)∈E作为节点Vi与节点Vj的一 条连边， 则NxN邻接矩阵A， 其中Aij＝ωij＞0如果cij∈E,Aij＝wij＝0如果 其中， 通过D 表示人脸识别训练数据集， 用 表示某个人脸训练图像样本， 其中i表示 训练人脸ID中第i号人脸ID， j表示第i号人脸ID下第j张人脸图像， 同样， 用 表示人脸图像 样本人脸特征向量， 用 表示人脸图像样本人脸图像质量分数， 对图神经网络G＝{V， E， A} 一个输入样本Ti从某一人脸ID下随机采样k个人脸样本 作为正样 本， k小于该ID下人脸样本总数N， 一般k大于3， 选取H集合中 最优质量人脸样本 为 作为优质节点样本,再从不属于i的人脸ID样本随机选取 个人脸样本做为异常节点 样本 且 通常取 小于等于5,其中 被标记为正样本类别 标签为0, 被标记为异常样本类别标签为1， 并在样本间使用人脸向量间求得的相似度距 离， 并建立节点间邻接关系形成一个图神经网络一个输入样本图； 其中， X∈RN×D表示为图神经网络G＝{V， E， A}输入的节点属 性矩， 其中节点属性向量个 数即是正样本和异常样本个数和， 建立人脸节点的属 性数据向量， 节点属 性数据向量由节 点间相似度计算得到， 定义Mij为不同人脸图像样本间相似度， 则有Mij＝φ(Fi， Fj)； 其中人权　利　要　求　书 1/2 页 2 CN 114882547 A 2脸节点属性包括： 与优质节点相似度， 节点与其他节点中最优相似度， 节点与其他节点中次 优相似度、 和节点与其 他节点中最差相似度； 根据人脸节点属性构建节点属性数据； 综上， 采样图神经网络图神经网络输入样本图集合K,其中每个图样本 均由节点属性 矩阵 和邻接矩阵 组成， 从而作为GCN网络的输入数据。 3.根据权利要求2所述的一种基于图卷积的人脸聚类优化方法， 其特征在于， 所述将得 到含有点属性矩阵 和邻接矩阵 的每个图样本 与GCN网络进行重建， 并通过重建后 GCN网络输出每个图样本 中每个人脸节点是否属于该人脸类别结果的方法是， 利用GCN 网络聚合来自其邻居节点的特征信息来封装每个节点的隐藏表示， 具体为， 在特征聚合之 后， 将非线性变换应用于结果输出， 采用如下公式更新隐藏层节点属性状态： 其中 表示度矩阵,X(l)表示节点在第l层特征， X(l+1)表示节点 在第l+1层特征， W(l)表示第l层权重， 获得每个节 点的图感知的 隐藏状态， 对于每个节 点， 它 的隐藏状态包含了来自邻居节点的信息， 在最后一层GCN网络输出每个节点状态为二分类 向量， 用以表示该节点是否属于 本个类别， 根据公式 构建2～3层图卷积神经网络网络模型， 然后利用 重新构建的GCN网络对每个图样本 中每个人脸节点是的人脸类别结果进行识别， 并输出 识别类别结果。 4.根据权利要求1所述的一种基于图卷积的人脸聚类优化方法， 其特征在于， 还包括步 骤5、 对GCN网络训练， 是以步骤2中所示步骤构建GCN网络的输入样 本， 构建生 成数据样 本过 程中， 以70％的比率构建难例样本， 即在选取正样 本采样过程中， 优选与本批次质优样本相 似度较低样本， 选取异常样本时， 优选采样与正样本相 似度较高的样本数据， 将GCN网络的 输入样本数据按3:1:1比率分为训练数据、 验证数据和测试数据， 使用步骤4构建的GCN网络 在训练集上进 行训练， 同时在验证集上验证精度， 待在 验证集上精度不再上升时， 停止训练 并在测试集上测试 结果， 最近保存GCN网络模型训练权 重参数文件。权　利　要　求　书 2/2 页 3 CN 114882547 A 3