(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210501128.0 (22)申请日 2022.05.09 (71)申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） 地址 230088 安徽省合肥市望江西路5 089 号,中国科学技术大学先进技术研究 院未来中心B120 5-B1208 (72)发明人 陆闻滢　 (74)专利代理 机构 广州海心联合专利代理事务 所(普通合伙) 44295 专利代理师 黄为 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/70(2022.01) G06V 40/50(2022.01)G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/00(2006.01) A61B 5/16(2006.01) A61B 5/18(2006.01) A61B 5/369(2021.01) (54)发明名称 基于多模态Tran sformer网络的驾驶员疲 劳 检测系统 (57)摘要 本发明公开了基于多模态Transformer网络 的驾驶员疲 劳检测系统， 涉及深度学习及智能生 物医学信号处理。 数据采集模块， 用于获取驾驶 员的脑电信号及其面部表情图像块； 嵌入处理模 块， 用于对脑电信号和面部表情图像块进行嵌入 处理， 以获取脑电令牌和图像块令牌； 自注意力 分析模块， 用于通过Transformer编码器对脑电 令牌和图像块令牌进行多头自注 意力分析， 以获 取脑电信号令牌向量和图像块令牌向量； 结果预 测模块， 用于通过预测函数式对令牌向量进行结 果预测。 本发 明能够根据驾驶员的脑电和面部表 情来获得驾驶员的驾驶状态并实时地给出反馈， 有效提高了驾驶的安全性。 权利要求书2页 说明书5页 附图3页 CN 114782933 A 2022.07.22 CN 114782933 A 1.基于多模态Transformer网络的驾驶员疲劳检测系统， 其特 征在于， 包括， 数据采集模块， 用于采集驾驶员的脑电信号及其面部表情图像， 并将所述面部表情图 像分割为 面部表情图像块； 嵌入处理模块， 用于对所述脑电信号和面部表情图像块进行嵌入处理， 以获取脑电令 牌和图像块令牌； 自注意力分析模块， 用于通过Transformer编码器对所述脑电令牌和图像块令牌进行 多头自注意力分析， 以获取脑电信号令牌向量和图像块令牌向量； 结果预测模块， 用于通过能进行降维处理 的预测函数式对所述脑电信号令牌向量和图 像块令牌向量进行 结果预测。 2.根据权利要求1所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征 在于， 所述预测函数式为， predicti on＝tanh(W(Po oling([EEG class token； Image class token]))+b)； 式中， prediction为预测结果值； EEG  class token为脑电信号令牌向量； Image   classtoken为图像块令牌向量； Po oling为池化 函数； b为偏置向量； W 为权重向量。 3.根据权利要求2所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征 在于， 根据Transformer的分类任务构建一损失函数， 通过所述损失函数对 预测结果值进行 分析， 以对预测结果 值进行优化。 4.根据权利要求3所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征 在于， 所述损失函数为， 式中， yi表示预测结果值样本是否属于第i类分类任务； pi为模型认为样本属于第i类分 类任务的概 率； task为参数因子； clas s为类别数目。 5.根据权利要求1所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征 在于， 所述脑电信号令牌向量和图像块令牌向量均通过以下公式获取， x’＝MSA(LN(x))+x； output＝tanh(MLP(L N(x’))+x’)； 式中， MSA为多头自注意力机制 函数； LN为层标准化函数； x为Transformer编码器的输 入值； x’为x经过多头自注 意力机制函数运算后的输出值； MLP为多层感知器函数； tanh为分 类器函数； output为Transformer编码器的输出值。 6.根据权利要求1所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征 在于， 通过以下公式对所述脑电信号和面部表情图像块进行嵌入处 理， EEG＝[EEGclass； EEG1；…； EEGt]+posEEG； Image＝[Ima geclass； ImagePatch1；…； ImagePatchn]+posImage； 式中， EEG为脑电令牌， 且EEG∈Rt×c； R为实数域； t为时间维度上的采样 点的数目； C为通 道数目； EEGclass为脑电信号类别令牌； posEEG为脑电信号的位置嵌入矩阵， 且posEEG∈R(t +1)×c； Image为图像块令牌； Imageclass为面部表情图像块类别令牌； posImage为面部表情图像 块的位置嵌入矩阵， 且posImage∈R(n+1)×c。 7.根据权利要求6所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征权　利　要　求　书 1/2 页 2 CN 114782933 A 2在于， 通过以下公式为所述脑电令牌和图像块令牌添加位置向量， 式中， PE(pos,2i)为元素的行向量； PE(pos,2i+1)为元素的列向量； pos为脑电信号或面部表 情图像块在时序 序列中的位置， 也即位置嵌入矩阵中的行向量； i是矩阵行向量的维度。 8.根据权利要求1所述的基于多模态Transformer网络的驾驶员疲劳检测系统， 其特征 在于， 所述 面部表情图像分割为 面部表情图像块的数量 为， n＝H×L/P2； 式中， P为图像尺寸； L 为图像长度； H为图像宽度； C为 通道数目。权　利　要　求　书 2/2 页 3 CN 114782933 A 3