(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210422919.4 (22)申请日 2022.04.21 (71)申请人 厦门大学 地址 361000 福建省厦门市思明区思明南 路422号 (72)发明人 林光毅　王备战　姚俊峰　刘昆宏　 洪清启　陈俐燕　 (74)专利代理 机构 厦门市新 华专利商标代理有 限公司 3 5203 专利代理师 朱凌 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 17/16(2006.01) G06F 17/18(2006.01) (54)发明名称 一种基于深度学习的微表情识别方法及系 统 (57)摘要 本发明提供了表情识别技术领域的一种基 于深度学习的微表情识别方法及系统， 方法包 括： 步骤S10、 交互型机器人通过3D摄像头获取图 像流； 步骤S20、 交互型机器人通过人脸识别算法 检测所述图像流中的人脸并进行截 取， 获取人脸 数据流并上传服务器； 步骤S30、 服务器从所述人 脸数据流中提取包括人脸动态数据和人脸静态 数据的人脸数据组； 步骤S40、 服务器基于软编码 输出创建一微表情识别模型， 并对 所述微表情识 别模型进行训练； 步骤S50、 服务器将所述人脸数 据组输入训练后的微表情识别模型得到微表情 信息， 并将所述微表情信息反馈给交互型机器 人， 交互型机器人基于接收的所述微表情信息进 行互动响应。 本发明的优点在于： 极大的提升了 微表情识别的准确率。 权利要求书2页 说明书9页 附图3页 CN 114882553 A 2022.08.09 CN 114882553 A 1.一种基于深度学习的微表情识别方法， 其特 征在于： 包括如下步骤： 步骤S10、 交 互型机器人通过3D摄 像头获取图像流； 步骤S20、 交互型机器人通过人脸识别算法检测所述图像流中的人脸并进行截取， 获取 人脸数据流并上传服 务器； 步骤S30、 服务器从所述人脸数据流中提取包括人脸动态数据和人脸静态数据的人脸 数据组； 步骤S40、 服务器基于软编码输出创建一微表情识别模型， 并对所述微表情识别模型进 行训练； 步骤S50、 服务器将所述人脸数据组输入训练后的微表情识别模型得到微表情信息， 并 将所述微表情信息反馈给 交互型机器人， 交互型机器人基于接收的所述微表情信息进 行互 动响应。 2.如权利要求1所述的一种基于深度学习的微表情识别方法， 其特征在于： 所述步骤 S10中， 所述交 互型机器人设有5G通信模块， 所述3D摄 像头的拍摄帧数至少为10 0fps。 3.如权利要求1所述的一种基于深度学习的微表情识别方法， 其特征在于： 所述步骤 S20具体为： 交互型机器人对所述图像流进行降噪处理后， 通过Op enCV中基于Haar特征的人脸识别 算法检测所述图像流中的人脸并进行截取， 获取 人脸数据流并上传服 务器。 4.如权利要求1所述的一种基于深度学习的微表情识别方法， 其特征在于： 所述步骤 S30具体包括： 步骤S31、 服务器利用BS ‑RoIs算法从人脸数据流中提取出顶点帧， 将所述顶点帧作为 人脸静态数据； 步骤S32、 提取所述人脸数据流的起始帧， 利用所述起始帧和顶点帧提取横向光流信息 u、 纵向光流信息v以及光学应变信息ε； 利用FlowNet模型从所述人脸数据流中提取光流信 息vis， 将所述u、 v、 ε 以及vis作为人脸动态数据； 步骤S33、 将各所述人脸静态数据以及人脸动态数据缩放到相同尺寸， 组成人脸数据 组。 5.如权利要求1所述的一种基于深度学习的微表情识别方法， 其特征在于： 所述步骤 S40中， 所述微表情识别模型包括一卷积层、 一池化层、 一第一残差块、 一卷积核、 一第二残 差块、 一拉伸块、 三层全连接层、 一软编码矩阵以及一软编码输出模块； 所述卷积层、 池化层、 第一残差块、 卷积核、 第二残差块、 拉伸块、 三层全连接层、 软编码 矩阵以及软编码输出模块依次连接； 所述卷积层以及池化层用于对人脸数据组进行特征提取； 所述第 一残差块用于对提取 的特征进 行贡献度分类， 并突显有用的特征， 抑制无效的特征； 所述卷积核用于对提取的特 征进行拼接整合； 所述第二残差块用于对各特征 的权重进行调整； 所述拉伸块用于对权重 调整后的特征进行拉伸， 形成1 ×N的特征向量； 所述三层全连接层用于将1 ×N的特征向量 转换为L个输出值； 所述软编码矩阵用于对各输出值进 行解码； 所述软编 码输出模块用于计 算解码后的输出值中， 最小损失对应的情绪类别， 所述情绪类别即微表情信息 。 6.一种基于深度学习的微表情识别系统， 其特 征在于： 包括如下模块： 图像流获取模块， 用于交 互型机器人通过3D摄 像头获取图像流；权　利　要　求　书 1/2 页 2 CN 114882553 A 2人脸数据流获取模块， 用于交互型机器人通过人脸识别算法检测所述图像流中的人脸 并进行截取， 获取 人脸数据流并上传服 务器； 人脸数据组提取模块， 用于服务器从所述人脸数据流中提取包括人脸动态数据和人脸 静态数据的人脸数据组； 微表情识别模型创建模块， 用于服务器基于软编码输出创建一微表情识别模型， 并对 所述微表情识别模型进行训练； 微表情识别模块， 用于服务器将所述人脸数据组输入训练后的微表情识别模型得到微 表情信息， 并将所述微表情信息反馈给交互型机器人， 交互型机器人基于接 收的所述微表 情信息进行互动响应。 7.如权利要求6所述的一种基于深度 学习的微表情识别系统， 其特征在于： 所述图像流 获取模块中， 所述交 互型机器人设有5G通信模块， 所述3D摄 像头的拍摄帧数至少为10 0fps。 8.如权利要求6所述的一种基于深度 学习的微表情识别系统， 其特征在于： 所述人脸数 据流获取模块具体为： 交互型机器人对所述图像流进行降噪处理后， 通过Op enCV中基于Haar特征的人脸识别 算法检测所述图像流中的人脸并进行截取， 获取 人脸数据流并上传服 务器。 9.如权利要求6所述的一种基于深度 学习的微表情识别系统， 其特征在于： 所述人脸数 据组提取模块具体包括： 人脸静态数据提取单元， 用于服务器利用BS ‑RoIs算法从人脸数据流中提取出顶点帧， 将所述顶点帧作为人脸静态数据； 人脸动态数据提取单元， 用于提取所述人脸数据流的起始帧， 利用所述起始帧和顶点 帧提取横向光流信息u、 纵向光流信息v以及光学应变信息ε； 利用FlowNet模型从所述人脸 数据流中提取光 流信息vis， 将所述u、 v、 ε 以及vis作为人脸动态数据； 人脸数据组生成单元， 用于将各所述人脸静态数据以及人脸动态数据缩放到相同尺 寸， 组成人脸数据组。 10.如权利要求6所述的一种基于深度学习的微表情识别系统， 其特征在于： 所述微表 情识别模型创建模块中， 所述微表情识别模型包括一卷积层、 一池化层、 一第一残差块、 一 卷积核、 一第二残差块、 一拉伸块、 三层全连接层、 一软编码矩阵以及一软编码输出模块； 所述卷积层、 池化层、 第一残差块、 卷积核、 第二残差块、 拉伸块、 三层全连接层、 软编码 矩阵以及软编码输出模块依次连接； 所述卷积层以及池化层用于对人脸数据组进行特征提取； 所述第 一残差块用于对提取 的特征进 行贡献度分类， 并突显有用的特征， 抑制无效的特征； 所述卷积核用于对提取的特 征进行拼接整合； 所述第二残差块用于对各特征 的权重进行调整； 所述拉伸块用于对权重 调整后的特征进行拉伸， 形成1 ×N的特征向量； 所述三层全连接层用于将1 ×N的特征向量 转换为L个输出值； 所述软编码矩阵用于对各输出值进 行解码； 所述软编 码输出模块用于计 算解码后的输出值中， 最小损失对应的情绪类别， 所述情绪类别即微表情信息 。权　利　要　求　书 2/2 页 3 CN 114882553 A 3