(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370723.5 (22)申请日 2022.04.11 (71)申请人 台州学院 地址 317099 浙江省台州市临海市东方大 道605号台州学院 (72)发明人 潘仙张　陈坚　马仁利　 (74)专利代理 机构 杭州赛科专利代理事务所 (普通合伙) 33230 专利代理师 汪爱平 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06Q 10/06(2012.01) G06Q 30/02(2012.01) (54)发明名称 一种融合AI面部表情识别和主观打分的满 意度评价系统 (57)摘要 本发明涉及一种融合AI面部表情识别和主 观打分的满意度评价系统， 视频监控 单元获取被 采集者的面部视频流， 识别帧提取单元提取面部 视频流中的一帧或多帧进行识别； 人脸图像处理 单元基于识别帧获取被采集者信息、 提取面部表 情特征并进行面部表情识别， 获得初级满意度， 满意度评价单元获取被采集者的主观打分信息、 获得次级满意度， 融合初级满意度和次级满意 度， 展示单元输出展示融合后的满意度评价结 果。 本发明对AI面部表情识别和主观打分的评价 结果进行融合， 且二者可以相互验证、 相辅相成， 提高了满意度评价的准确性和客观 性， 克服感性 工学中脑电分析法、 眼动追踪法易受噪声影响、 信号的分辨率不高以及主观评价法的结果准确 性差的劣势。 权利要求书2页 说明书7页 附图3页 CN 114783023 A 2022.07.22 CN 114783023 A 1.一种融合AI面部表情识别和主观打分的满意度评价系统， 其特征在于： 所述系统包 括： 一视频监控单 元， 用于获取被采集 者的面部 视频流； 一识别帧提取 单元， 用于提取 所述面部视频流中的一帧或多帧进行识别； 一人脸图像处理单元， 用于基于识别帧获取被采集者信息、 提取面部表情特征并进行 面部表情识别， 获得初级满意度M； 一满意度评价单元， 用于获取被采集者的主观打分信 息、 获得次级满意度M ’， 融合初级 满意度和次级满意度； 一展示单 元， 用于输出展示初级满意度和次级满意度融合后的满意度评价结果S。 2.根据权利要求1所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 配合所述人脸图像处 理单元设置有面部表情识别模型； 所述面部表情识别模型包括： 第一识别模型， 包括并列设置的Alexnet网络和VGG19网络， 对应Alexnet网络和VGG19 网络的输出端顺次设有注意力机制网络和分类决策函数； 第二识别模型， 为Alexnet网络， 所述Alexnet网络配合连接有SVM分类 器； 第三识别模型， 为VG G19网络， 所述VG G19网络配合连接有SVM分类 器。 3.根据权利要求2所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 所述注意力机制网络融合Alexnet网络和VGG19网络的输出， 满足qL(K)＝q(K)+J (K)； q(K)和J(K)分别为全局特 征和局部特征， q(K)＝sig(Ba(D(K) ))， J(K)＝sig(Ba(K) )； K＝wAVAlexnet+wgVvgg， 其中， VAlexnet和Vvgg分别为Alexnet网络的fc7层和VGG19网络的倒数第二层fc ‑4096输 出， 且均为4096*1的向量， wA和wg为对应的权重， LA和Lg分别为Alexnet网络的fc7层和VGG19 网络的倒数第二层fc ‑4096输出的向量长度， i为Alexnet网络的fc7层和VGG19网络的倒数 第二层fc ‑4096输出的向量的每个元素的序号， wr为求D(Kr)过程中对 应向量的第r个元素的 权值； μA和σA分别为Alexnet网络的fc7层输出的向量的元素的平均值和方差， μg和σg分别为 VGG19网络的倒数第二层fc ‑4096输出的向量的元 素的平均值和方差； 所述分类决策函数 其中， wi为对应qL(K)输出 的权值， m为1至p的整 数， p为表情的类别数。 4.根据权利要求2所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 对每个识别帧， 复制一份后分别输入第一识别模型的Alexnet网络和VGG19网络， 将权　利　要　求　书 1/2 页 2 CN 114783023 A 2Alexnet网络的fc7层输出及VGG19网络的倒数第二层fc ‑4096的输出一并输入注意力机制 网络， 以分类决策函数对注意力机制网络输出 的表情特征进行分类， 取分类后概率最大 的 结果， 作为第一 面部表情识别结果A； 对每个识别帧， 以Alexnet网络获得识别帧对应人脸的fc7特征并以SVM分类器进行分 类， 得到第二 面部表情识别结果B； 以VGG19网络获得识别帧对应人脸的倒数第二层fc ‑4096特征并以SVM分类器进行分 类， 得到第三 面部表情识别结果C； 将A、 B、 C以决策层进行决策， 当B不等于C时， 以A为面部表情识别结果； 当B等于C时， 则 以B为面部表情识别结果。 5.根据权利要求1所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 所述人脸图像处理单元中， 对面部表情识别结果的满意情绪、 中性情绪和不满意 情绪分别赋满意度权值； 获取一定时间T内被采集 者的L个识别帧， 计算初级满意度M， 其中， λ1和 λ2分别为满意情绪和中性情绪对应的满意度权值， θ(t)和φ(t)分别为处于 满意情绪和中性情绪时的满意度赋值。 6.根据权利要求5所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 当任一识别帧对应的面部表情识别结果 为满意情绪时， θ(t)为1； 当任一识别帧对应的面部表情识别结果 为不满意情绪时， θ(t)为 ‑1； 其余情况下， θ(t)为0； 当任一识别帧对应的面部表情识别结果 为中性情绪时， φ(t)为1， 否则φ(t)为0 。 7.根据权利要求5所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： λ1为1， λ2＜0.03。 8.根据权利要求5所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： S＝α M+β M ’， 其中，‑1≤M’≤1。 9.根据权利要求8所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 若F≥1或F≤ ‑1， 则α ＝1、 β ＝0， 否则， α ＝0、 β ＝0.1。 10.根据权利要求1所述的一种融合AI面部表情和主观打分融合的满意度评价系统， 其 特征在于： 所述视频监控单元包括若干摄像头， 配合所述视频监控单元设有比对 单元， 所述 比对单元以VLAN对同一时刻提取 的被采集者的识别帧对应的头像和内置的标准头像进行 相似度对比， 以相似度最高识别帧对应的头像作为人脸图像； 对识别帧进行 预处理。权　利　要　求　书 2/2 页 3 CN 114783023 A 3