(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210504365.2 (22)申请日 2022.05.10 (71)申请人 中山大学·深圳 地址 518107 广东省深圳市光明区公常 路 66号中山大 学深圳校区 申请人 中山大学 (72)发明人 苟超　朱捷　玉悦钊　李孟棠　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 郑堪泳 (51)Int.Cl. G06V 40/18(2022.01) G06V 40/16(2022.01) G06V 10/46(2022.01) G06V 10/766(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于耦合级联回归的眼动追 踪方法 (57)摘要 本发明提供一种基于耦合级联回归的眼动 追踪方法， 该方法实现人眼状态检测、 视线估计 和瞳孔中心 检测， 实时准确地完成三个眼动追踪 任务， 更好地解决了单一方法无法实现多个眼动 追踪的问题； 融合眼部图像全局形状结构信息和 局部图像特征， 考虑了人眼瞳孔位置变化和视线 变化内在对应 关系， 通过提取瞳孔中心和周围眼 部关键点相对位置形状特征来分析人的视线， 更 好地解决了光照条件变化、 个人生理特征差异和 头部姿态变化等不利因素带来的检测准确率不 高的问题。 权利要求书2页 说明书8页 附图3页 CN 114973389 A 2022.08.30 CN 114973389 A 1.一种基于耦合级联回归的眼动追踪方法， 其特 征在于， 包括以下步骤： S1： 对输入图片进行 人脸检测， 并进行 人脸关键点对齐； S2： 利用步骤S1提取出人脸关键点， 提取出眼部图片， 初始化眼部关键点并计算出眼睛 局部图像特 征和全局形状特 征； S3： 利用步骤S2得到的局部图像特征和全局形状特征， 通过第一个回归模型估计眼睛 状态； S4： 将步骤S2得到的特征和步骤S3得到的眼睛状态， 通过第二个回归模型估计三维视 线方向向量； S5： 利用步骤S2得到的特征、 步骤S3得到的眼睛状态和步骤S4得到的视线方向向量组 合， 通过第三个回归 模型估计瞳孔中心位置并更新关键点 位置； S6： 根据更新后的关键点位置来更新局部图像特征、 全局形状特征、 眼睛状态和视线方 向， 交替迭代多次输出 稳定的眼睛状态、 视线方向和人眼瞳孔中心位置 。 2.根据权利要求1所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S1 中进行人脸检测的过程是： 对输入图像通过在特征矩形区域来计算像素值之差得到haar ‑like特征， 并使用积分 图对Haar ‑like特征求值进行加速， 每一类特征用一个Adaboost分类器进行分类， 重复训练 不同的Adaboost分类器， 最后将这些不同的分类器级 联， 得到一个强分类器， 该强分类器识 别出人脸位置。 3.根据权利要求2所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S1 中人脸关键点对齐的过程是： 计算基于每一个均值人脸的标记点的特征， 然后通过计算估计人脸和真实人脸之间的 偏移量进行 人脸对齐， 最终输出 人脸关键点 位置。 4.根据权利要求3所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S1 的具体过程是： S11： 将待测图片灰度化； S12： 在灰度化图像上用搜索窗口扫描图像， 并通过积分图计算子窗口的haar ‑like特 征值； S13： 级联的AdaBoost训练出的强分类器对子窗口的特征值进行筛选， 通过所有强分类 器筛选的子窗口即为人脸所在区域； S14： 将输入图像截取出人脸图像， 从51个特征点上提取出的尺度不变特征变换特征 SIFT， 每个特征点提取出了128个SIFT特 征； S15， 利用得到的SIFT特 征并使用监 督下降法S DM的方法优化目标函数： d(x0+Δx)表示输入图像的标记点， h表示非线性特征提取函数， φ*表示人工标记地 SIFT特征。 最终将初始特 征回归到人脸真实形状特 征上。 5.根据权利要求4所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S2 的具体过程是： S21： 从获得的人脸关键点中选取 人眼关键点， 分别截取 出左眼和右眼的图像；权　利　要　求　书 1/2 页 2 CN 114973389 A 2S22： 使用人眼的平均关键点位置初始化截取的眼部图像的关键点位置， 关键点位置包 括2个眼角关键点， 2个眼睑关键点、 2个瞳孔 边缘关键点及1个瞳孔中心位置； S23： 提取 7个眼部关键点的SIFT特 征构成眼睛局部图像特 征； S24： 计算人眼关键点 位置两两之间的正负差值构成眼睛全局形状特 征。 6.根据权利要求5所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S2 中， 所述眼睛局部图像特征为眼部图像的SIFT特征， SIFT特征指的是尺度不变特征变换； 所 述的全局形状特 征为人眼关键点 位置两两之间的正负差值。 7.根据权利要求6所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S3 中， 所述眼睛状态是眼睛为睁开的概率， 该概率在0到1之间， 初始 化1， 也表示眼睑对瞳孔的 遮挡程度。 8.根据权利要求7所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S3 中， 所述的第一个回归模型ft建立了局部图像特征Φ(x， I)和全局形状信息Ψ(x)与眼睛状 态更新值Δp之间的映射关系， 我们定义眼睛状态更新值为Δpt＝ft(I,xt‑i； θf)， 其中θf为 回归模型的参数， I为眼部图像， xt‑1为上一次迭代得到的关键点位置， 估计眼睛状态的目标 更新值， 然后与之前眼睛状态pt‑1相加即得到基于局部图像特征和全局关键点结构形状信 息的眼睛状态。 9.根据权利要求8所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤S4 中， 所述三维视线方向向量是表示视线的三个角度， 分别为偏航角、 俯仰角和翻滚角， 三维 视线方向 向量初始化 为三维零向量； 所述的第二个回归模型gt建立了局部图像特征Φ(x， I)、 全局形状信息Ψ(x)和眼睛状 态p与视线方向更新值Δv之间的映射关系， 定义视线方向向量更新值为Δvt＝gt(I,xt‑1, pt； θg)， 其中θg为回归模型的参数， I为眼部图像， xt‑1为上一次迭代得到的关键点位置， pt为 眼睛状态， 估计视线方向的目标更新值， 然后与之前视线 方向vt‑1相加即得到估计的视线方 向。 10.根据权利要求9所述的基于耦合级联回归的眼动追踪方法， 其特征在于， 所述步骤 S5中， 所述的第三个回归模型ht建立了局部图像特征Φ(x， I)、 全局形状信息Ψ(x)、 眼睛状 态p、 视线方向向量v和关键点位移Δx之间的映射关系， 我们定义视线方向向量为Δxt＝ht (I,xt‑1,pt,vt； θh)， 其中θh为回归模型的参数， I为眼部图像， xt‑1为上一次迭代得到的关键 点位置， pt为眼睛状态， vt为视线方向向量， 即得到关键 点位移的目标更新值， 然后与上一次 迭代得到的关键点 位置xt‑1相加即得到估计的关键点 位置和瞳孔中心位置 。权　利　要　求　书 2/2 页 3 CN 114973389 A 3