(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210300517.7 (22)申请日 2022.03.25 (71)申请人 常州工学院 地址 213031 江苏省常州市新北区辽河路 666号 (72)发明人 王鹏　陶文杰　王世龙　苑硕　 杨东磊　储智超　陈玥　 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/50(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合无参注意力机制的视线 估计方法 (57)摘要 本发明涉及视线估计方法的改进， 具体是一 种融合无参注 意力机制的视线估计方法； 包括如 下步骤： 步骤一、 使用梯度方向直方图结合受限 制局部模型的方法检测人脸及人脸特征点； 步骤 二、 基于PnP法估计头部姿态， 建立归一化坐标 系， 将人脸图像转换到归一化空间中； 在人脸检 测步骤中采用了基于方向梯度直方图结合基于 受限制的局部模型的方法进行人脸和人脸特征 点检测， 达到了快速准确检测人脸和人脸特征点 的目的， 为头部姿态估计提供了准确的人脸特征 点， 同时节约了计算资源， 保证了神经网络的运 行速度； 在检测到人脸图像后通过PnP算法估计 用户头部姿态和建立归一化坐标系， 并对数据集 进行归一化处理， 以便视线估计能够在归一化空 间中执行。 权利要求书5页 说明书12页 附图6页 CN 114724211 A 2022.07.08 CN 114724211 A 1.一种融合无参注意力机制的视线估计方法， 其特 征在于， 包括如下步骤： 步骤一、 使用梯度方向直方图结合受限制局部模型的方法检测人脸及人脸特 征点； 通过相机采集人全脸的原始图片， 采用基于梯度方向直方图结合受限制的局部模型的 方法进行 人脸和人脸特 征点检测， 同时为头 部姿态估计提供准确的人脸特 征点； Step210、 图像标准化： 先采用Gamma校正法对输入图像的颜色空间进行标准化， Gamma 校正公式为： I'(x,y)＝ I(x,y)γ             (1) 其中I(x,y)为原图像 像素值， I'(x,y)为校正后的图像 像素值， γ为Gam ma校正系数； Step220、 边缘方向计算： 计算图像像素点的梯度， 像素点的梯度描述了在该点处像素 值变化速度的快慢， 计算公式为： 公式(2)中Gx(x,y)、 Gy(x,y)分别代表输入图像在像素点(x,y)处的水平和垂直方向的 梯度， 根据像素点(x,y)处的水平和垂 直方向的梯度的变化求取该点的像素值梯度， 计算 公 式为： 公式(3)中G(x,y)代 表像素点(x,y)处梯度的幅值， φ代 表像素点(x,y)处梯度的方向； Step230、 直方图计算： 将图像划分成细 胞单元， 大小为8 ×8， 然后统计每一个细胞单元 的梯度直方图， 即可得到一个细胞单元 的描述符， 然后将每个细胞单元 的描述符串联起来 即可得到一个bl ock的HOG特征描述符； Step240、 对bl ock归一化： 采用L2范 数归一化算法， 公式如下： 公式(4)中v'i是归一化后元素， vi为待归一 化向量中的元 素， i＝1,2...n； Step250、 合成窗口HOG特征向量： 将检测窗口所有block的特征向量级联， 构成该检测 窗口的HOG特征向量， 将特征向量送入到事先已经训练好的支持向量机中， 判断图片中是否 包含人脸； Step260、 人脸特征点检测： 选取受限制的局部模型方法， 具体为： 首先初始化直视相机 状态下人脸的位置， 然后在该人脸对应的每个特征点的邻域范围内查找符合约束 条件的实 际位置， 形成完整的 的人脸68个特 征点分布； 使用基于方向梯度直方图结合受限制局部模型的方法进行人脸和人脸特征点检测， 达 到了快速准确检测到人脸和人脸特 征点的目的； 步骤二、 基于PnP法估计头部姿态， 建立归一化坐标系， 将人脸 图像转换到归一化空间 中； 头部姿态估计通过将图片中的人脸特征点投影到三维人脸模型上， 根据二维和三维坐权　利　要　求　书 1/5 页 2 CN 114724211 A 2标变换关系矩阵， 求解欧拉角， 得出头部姿态， 具体选取的特征点共7个， 分别为双眼内外角 和嘴角、 鼻尖位置； 具体方法为： 利用输入 的世界坐标系点的位置和Step260获取的图片人脸特征点位置 以及相机参数计算得到 旋转、 平移向量， 使用PnP法得到 头部姿态的欧拉角； 平移矩阵： 物体相对于相机的空间位置关系矩阵， 用T表示； 旋转矩阵： 物体相对于相机的空间姿态关系矩阵， 用R表示； (1)世界坐标系到相机坐标系转换公式为： 相机坐标系到像素坐标系转换公式为： 像素坐标系到世界坐标系的转换公式为： 图像中心坐标系到像素坐标系转换公式为： 使用PnP法， 即可求得旋转矩阵的欧拉角， 公式如下：权　利　要　求　书 2/5 页 3 CN 114724211 A 3