(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210374465.8 (22)申请日 2022.04.11 (71)申请人 广州优创电子有限公司 地址 510000 广东省广州市番禺区大 龙街 长沙路15号 (72)发明人 苏泳　谭小球　刘柏林　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 时嘉鸿 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/59(2022.01) G06V 40/70(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01)G06V 10/46(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 后视镜搭载的基于多传感器融合的ADAS后 车识别系统 (57)摘要 本发明公开了一种后视镜搭载的基于多传 感器融合的ADAS后车识别系统， 包括： 拍摄模块， 设置在目标车辆的后视镜上， 用于拍摄目标车辆 后方的场景以获取视频数据流； 解帧处理模块， 用于对所述视频数据流进行解帧处理， 获取若干 帧视频图像； 确定模块， 用于对所述视频图像进 行图像分割， 确定每帧视频图像的车辆区域； 显 示模块， 用于根据所述车辆区域的像素信息确定 后方车辆的行车数据， 并将所述行车数据显示出 来。 对车辆后方环境进行全面的感知， 及时获取 后方车辆的行车数据， 发现后方车辆的驾驶状 态， 便于根据后方车辆的驾驶状态采 取相应的应 对措施， 消除安全隐患。 权利要求书2页 说明书7页 附图1页 CN 114782916 A 2022.07.22 CN 114782916 A 1.一种后视镜搭载的基于多传感器 融合的ADAS后车识别系统， 其特征在于， 包括： 拍摄 模块， 设置在目标车辆的后视镜上， 用于拍摄目标车辆后方的场景以获取视频数据流； 解帧 处理模块， 用于对所述视频数据流进行解帧处理， 获取若干帧视频图像； 确定模块， 用于对 所述视频图像进行图像 分割， 确定每帧视频图像的车辆区域； 显示模块， 用于根据所述车辆 区域的像素信息确定后方 车辆的行 车数据， 并将所述行 车数据显示出来。 2.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 所述拍摄模块 为ADAS智能摄 像头。 3.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 还包括： 第一识别模块， 用于对所述视频图像进行二值化处理， 得到二值图， 根据 所述二值图进 行车道线识别， 得到第一识别数据； 第二识别模块， 用于对所述视频图像进行灰度化处理， 得到灰度图， 根据 所述灰度图进 行障碍物 识别， 得到第二识别数据； 所述显示模块， 还用于将所述第一识别数据及所述第二识别数据显示出来。 4.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 所述行 车数据包括远光灯和近光灯状态、 车速、 转向、 刹车状态、 历史行驶轨 迹。 5.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 还包括： 预测模块， 用于根据所述行 车数据预测后方 车辆的行驶路径； 所述显示模块， 用于将所述行驶路径显示出来。 6.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 还包括： 驾驶行为确定模块， 用于： 在所述车辆区域对应的局部图像中确定出驾驶图像； 将所述驾驶图像输入预 先训练好的人体识别模型中， 确定 头部关键点及肢体关键点； 根据所述头 部关键点确定第一头 部图像； 根据所述肢体关键点确定第一肢体图像； 获取后方 车辆上驾驶员的红外图像； 对所述红外图像基于预设的人体不同部位的红外信 息不同的规则， 将所述红外图像分 割为第二头 部图像及第二肢体图像； 将所述第一头部 图像与所述第二头部 图像进行匹配， 在匹配成功后， 将所述第一头部 图像与所述第二头 部图像进行像素加权以实现图像融合处 理， 得到第一融合图像； 对所述第一融合图像进行归一 化处理， 并确定估计面部； 将所述估计面部与所述第一融合图像上的真实面部进行重 叠， 并确定 重叠信息； 计算所述估计面部上的像素点的SIFT特征， 并根据SIFT特征进行像素点的聚类， 得到 若干个聚类集 合； 根据所述重叠信息及所述若干个聚类集合确定所述估计面部与所述真实面部的对应 关系， 根据所述对应关系确定人脸特 征； 将所述第一肢体图像与所述第二肢体图像进行匹配， 在匹配成功后， 将所述第一肢体权　利　要　求　书 1/2 页 2 CN 114782916 A 2图像与所述第二肢体图像进行像素加权以实现图像融合处 理， 得到第二融合图像； 将所述第二融合图像输入肢体特 征提取模型， 确定肢体特 征； 基于若干个肢体特 征构建肢体的运动轨 迹； 根据所述人脸特 征及所述肢体的运动轨 迹， 确定驾驶行为； 报警模块， 用于将所述驾驶行为与 预设异常驾驶行为数据库中的异常驾驶行为进行匹 配， 在确定匹配成功时， 发出报警提 示。 7.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 还包括： 定位模块， 用于： 获取所述目标 车辆的北斗 定位信息及GP S定位信息； 根据所述北斗定位信息及GPS定位信息基于卡尔曼滤波算法， 确定目标车辆的定位信 息； 匹配模块， 用于： 根据所述定位信息调用规划地图， 确定预设道路场景图像； 对所述视频图像进行图像分割， 确定每帧视频图像的场景区域； 将所述预设道路场景图像与所述场景区域对应的道路场景图像进行时空对齐； 将处于同一 时空的预设道路场景图像与道路场景图像进行匹配， 根据匹配结果对所述 预设道路场景图像及道路场景图像进行相互校正。 8.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 还包括： 预处理模块， 用于在所述确定模块对所述视频图像进行图像分割前， 对所述 视频图像进行 预处理， 所述预处 理包括去噪点处 理及白平衡调整处 理。 9.如权利要求1所述的后视镜搭载的基于多传感器融合的ADAS后车识别系统， 其特征 在于， 还包括： 距离传感器， 用于感知目标 车辆与后方 车辆的距离信息； 警示模块， 用于在确定所述距离信息小于预设距离信息时， 发出警示信息 。 10.如权利要求6所述的后视镜搭载的基于多传感器 融合的ADAS后车识别系统， 其特征 在于， 所述人脸特 征包括驾驶员的情绪状态、 眼睛的开 合度。权　利　要　求　书 2/2 页 3 CN 114782916 A 3