(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210350896.0 (22)申请日 2022.04.02 (71)申请人 西安电子科技大 学广州研究院 地址 510700 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 申请人 西安电子科技大 学 (72)发明人 王晓甜　苗垟　赵至夫　韩皓轩　 冯继凡　王可心　庄伟林　杨安东　 石中熙　 (74)专利代理 机构 西安知诚思 迈知识产权代理 事务所(普通 合伙) 61237 专利代理师 何秀娟 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) (54)发明名称 基于图像增强的低照度环境下人体检测方 法、 电子设备及储 存介质 (57)摘要 本发明公开了基于图像增强的低照度环境 下人体检测方法、 电子设备及储存介质， 检测方 法为： 将低照度图像输入至低照度图像增强模块 中， 得到增强后图像； 将增强后图像输入至改进 的人体检测模块中， 输出人体检测预测结果； 通 过多任务损失函数， 对低照度图像增强模块和人 体检测模块进行多阶段联合优化， 训练得到端到 端的低照度人体检测框架； 将低照度图像输入到 训练好的端到端的低照度人体检测框架中， 进行 图像增强以及人体检测， 输出人体检测预测结 果。 本发明构建的端到端的低照度图像人体检测 框架通过低照度图像增强模块和人体检测模块 的相互适应， 实现了更高的检测精度， 对不同光 照环境下 人体检测具有更强的鲁棒 性。 权利要求书2页 说明书14页 附图3页 CN 114708615 A 2022.07.05 CN 114708615 A 1.基于图像增强的低照度环境下 人体检测方法， 其特 征在于， 包括以下步骤： 步骤1， 将低照度图像输入至光照增强 曲线估计网络， 输出低照度图像对应的高阶光照 增强曲线参数矩阵； 将光照增强曲线参数矩阵代入高阶光照增强曲线函数中进行迭代， 得 到高阶光照增强曲线； 低照度图像三个通道中的每个归一化像素根据其对应的高阶光照增 强曲线进行动态范围调整， 得到增强后图像； 步骤2， 将增强后图像输入至人体 检测模块中， 输出 人体检测预测结果： 步骤21， 将增强后图像输入至特征提取网络， 依次通过Focus模块、 3组由CBH模块和 IRB_X block模块组成的模块、 一组由CBH模块和CPP模块组成的模块， 分别输出五个不同尺 度信息的特 征图； 步骤22， 五个不同尺度信息的特征图中， 对于尺寸信息由小到大的前四个特征图， 依次 进行通道数减半、 2倍上采样的处理， 并与其维度相同的特征图进行拼接， 从而构建四个不 同尺度信息的更新特 征图； 四个不同尺度信息的更新特征图中， 对于尺寸信息由大到小的前三个更新特征图， 进 行通道数减半、 2倍下采样的处理， 并与其维度相同的更新特征图进行拼接， 从而构建四个 不同尺度信息的拼接特 征图； 步骤23， 将四个不同尺度信息的拼接特征图输入至预测输出网络， 通过添加预测头， 并 分别对四个不同尺度信息的拼接特征图通过卷积层进 行维度变换， 输出相应的预测框位置 和尺度信息， 最后通过非极大值抑制算法， 获得 人体检测预测结果； 步骤3， 通过多任务损失函数， 对低照度图像增强模块和人体检测模块进行多阶段联合 优化， 训练得到端到端的低照度人体 检测框架； 步骤4， 将低照度图像输入到训练好的端到端的低照度人体检测框架中， 进行图像增强 以及人体 检测， 输出 人体检测预测结果。 2.根据权利要求1所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 步 骤1中， 所述光照增强曲线估计网络包括依次连接的Focus模块和6层深度可分离卷积层； 每 个深度可分离卷积层由1个3 ×3深度卷积、 1个1 ×1卷积和激活函数层构成； 每个深度可分 离卷积层的输入， 是之前 所有卷积层的输出在通道维度上进行拼接后的特 征图。 3.根据权利要求1所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 步 骤1中， 所述高阶光照增强曲线函数， 如下式所示： LEn(x)＝LEn‑1(x)+An(x)LEn‑1(x)(1‑LEn‑1(x)) 式中， LEn(x)表示n轮迭代后增强后图像在坐标x位置的像 素值； LEn‑1(x)表示n ‑1轮迭代 后增强后图像在坐标x位置的像素值； An(x)表示第n轮迭代中输入的低照度图像在坐标x位 置对应的光照增强曲线参数矩阵。 4.根据权利要求1所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 步 骤21中， 所述CBH模块由卷积运算、 批归一化处理以及H ‑Swish激活函数组成； 所述IRB_X   block模块由2X个反转残差瓶颈模块和三个CBH模块组成； 所述S PP模块为金字塔池化模块。 5.根据权利要求4所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 所 述反转残差瓶颈模块， 包括依次连接的7 ×7的深度可分离卷积操作、 1 ×1卷积操作、 3 ×3的 深度可分离卷积操作、 1 ×1的卷积操作， 当模块的输入维度与输出维度不同时， 将模块中的 短接连接去除。权　利　要　求　书 1/2 页 2 CN 114708615 A 26.根据权利要求1所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 步 骤23中， 所述预测头由步骤21得到的五个不同尺度信息的特征图中第二大尺 寸的特征图通 过横向多尺度特 征融合生成。 7.根据权利要求1所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 步 骤3中， 所述多任务损失函数， 由低照度图形增强网络损失函数和人体检测网络损失函数加 权求和而得， 具体如下式所示： Ltotal＝ λenhanceLenhance+λdetectLdetect 式中， Ltotal表示多任务损失函数； Lenhance表示低照度图形增强网络损失函数； Ldetect表 示人体检测网络损失函数； λenhance表示低照度图形增强网络损失函数的加权系数； λdetect表 示人体检测网络损失函数的加权系数； 所述低照度图形增强网络损失函数， 具体如下式所示： Lenhance＝Lspa+Lexp+WcolLcol+WtvALtvA 式中， Lspa表示空间一致性损失函数； Lexp表示曝光控制损失函数； Lcol表示色彩恒常性 损失函数； Wcol表示色彩恒常性损失函数的加权系数； LtvA表示光照平滑度损失函数； WtvA表 示光照平滑度损失函数的加权系数； 所述人体 检测网络损失函数， 如下式所示： Ldetect＝ λcoordLCIOU+Lconf 式中， Ldetect表示人体检测网络损失函数； LCIOU表示预测框回归损失函数； λcoord表示预 测框回归损失函数的加权系数； Lconf表示置信度损失函数。 8.根据权利要求7所述的基于图像增强的低照度环境下人体检测方法， 其特征在于， 所 述低照度图形增强网络损失函数的加权系数λenhance和人体检测网络损失函数的加权系数 λdetect在训练迭代的过程中按以下公式进行动态加权平衡调整， 具体为： 式中， T为实数参数； ωξ(t‑1)表示t‑1次迭代中的损失函数Lξ的相对下降率； Lξ(t‑1)表示t‑1次迭代中的损失函数； Lξ(t‑2)表示t‑2次迭代中的损失函数； λξ(t)表 示t次迭代中的损失函数Lξ的加权系数； ωp(t‑1)表示t‑1次迭代中某一损失函数的相对下 降率； ξ∈{ enhance,detect}， t＝1,2时， ω(t)＝1， p表示在求和函数中表示两个损失函数 的索引。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1～8中任一所述的方法步 骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1～8中任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114708615 A 3