(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210318910.9 (22)申请日 2022.03.29 (71)申请人 西北大学 地址 710069 陕西省西安市碑林区太白北 路229号 (72)发明人 高岭　贾帅宇　郭红波　王海　 郑杰　孙秦豫　 (74)专利代理 机构 西安西达专利代理有限责任 公司 61202 专利代理师 刘华 (51)Int.Cl. H04N 7/18(2006.01) G08B 19/00(2006.01) G08B 27/00(2006.01) H04W 4/14(2009.01)H04W 4/90(2018.01) G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于计算机视觉的智能监控报警系统 及方法 (57)摘要 一种基于计算机视觉的智能监控报警系统 及方法， 包括GSM短信模块、 显示模块、 图像采集 模块、 处理器、 火灾烟雾识别模块， 通过对原始 视 频数据进行处理， 并运用深度学习的方法对暴 力， 抽烟， 火灾事件进行 实时监测， 具有高每秒传 输帧数(fps)、 低算力需求、 高准确率、 强鲁棒性、 高稳定性的特性， 并且具有良好的地兼容性， 能 够集成到现有传统监控系统中。 此外， 当发生异 常事件时， 本系统会进行报警提醒并向发送报警 短信或邮件， 自动记录异常事件发生的时间， 用 户可以随时 回看任意时间视频内容。 权利要求书2页 说明书9页 附图3页 CN 114885119 A 2022.08.09 CN 114885119 A 1.一种基于计算机视觉的智能监控报警系统， 包括GSM短信模块、 显示模块、 图像采集 模块、 处理器、 火灾烟雾识别模块， 其特征在于， 处理器数据联通吸烟行为识别模块、 暴力行 为识别模块及火灾烟雾识别模块， 吸烟行为识别模块、 暴力行为识别模块及火灾烟雾识别 模块数据联通图像采集模块； 处理器中的GS M短信模块信号联通手机终端； 处理器还联通显 示模块； 所述的GSM短信模块用于将智能监控报警系统与短信服 务集成在一 起； 所述的显示模块用于通过将智能监控报警系统实时检测结果向系统管理员进行反馈； 所述的图像采集模块用于图像采集模块完成环境图像的采集与存储， 并具有长时间视 频存储能力， 为事故 发生后现场分析、 证据保存、 原因查找提供服 务； 所述的处 理器为系统提供信息处 理、 程序运行控制服 务； 所述的暴力行为识别模块 为系统提供实时视频暴力监测服 务； 所述的火灾烟雾识别模块 为系统提供实时视频中火灾及 烟雾监测服 务； 所述的吸烟行为识别模块 为系统提供实时视频中吸烟行为 监测服务。 2.一种基于计算机 视觉的智能监控报警方法， 其特 征在于， 该包括如下步骤： 1)通过图像采集模块对环境图像的采集与存 储； 2)采用暴力行为识别模块对帧图片信息进行 预测， 获得当前视频中暴力行为置信度； 3)采用火灾烟雾识别模块对帧图片信息进行 预测， 获得当前视频中火灾烟雾 置信度； 4)采用吸烟行为识别模块对帧图片信息进行 预测， 获得当前视频中吸烟行为置信度； 5、 通过显示模块将智能监控报警系统实时检测结果向系统管理员进行反馈； 6)当发生检测危险事件时， 通过GSM短信模块用于将智能监控报警系 统与短信服务集 成在一起， 向用户通过短信的方式进 行报警提示， 通过GS M短信模块充分利用短信服务的及 时能力， 达 到事故报警的实时性、 快速性。 3.根据权利要求1所述的一种基于计算机视觉的智能监控报 警方法， 其特征在于， 所述 的步骤2中包 含： 2.1)采用数据集对卷积网络模型进行训练， 建立暴力行为预测模型， 采用卷积网络提 取每个原始帧中的特征信息， 通过多个卷积层的数据 处理， 有效抓取到原始视频帧中的一 系列关键特 征； 2.2)在暴力行为预测过程中， 首先提取原始视频中的光流图像， 对原始视频帧进行处 理， 提取视频帧中的光流图像， 本部分密集的光流可以看作是在成对的连续 帧t和t+1之间 的一组位移矢量场d_t； 2.3)对原始视频帧经过预处理之后， 通过暴力行为识别模块中的空间信息网络和时间 信息网络分别提取RGB帧中的空间特 征信息和光 流中的时序特 征信息； 2.4)对RGB帧中的空间特 征信息和光 流中的时序特 征信息进行有效融合； 2.5)根据 上述所得的特征融合结果对上述输入的帧图片信 息进行预测， 获得当前视频 中暴力行为置信度。 4.根据权利要求1所述的一种基于计算机视觉的智能监控报 警方法， 其特征在于， 所述 的步骤3中包 含： 3.1)采用灰度化和图像平 滑方法对于原 始视频流进行 预处理； 3.2)采用均值背景建模和提取运动区域的方法对视频帧中的烟雾和火焰图像进行图权　利　要　求　书 1/2 页 2 CN 114885119 A 2像分割处理， 由HSV、 RGB、 HSI三颜色空间分割出来的烟雾区域分别进行二值化， 对目标进行 有效图像分割； 3.3)通过火灾烟雾识别模块 提取烟雾火焰运动特 征、 纹理特征、 模糊模型 特征； 3.4)根据 上述所得火灾烟雾识别 模块对上述输入的帧图片信息预测， 获得当前视频中 火灾烟雾 置信度。 5.根据权利要求1所述的一种基于计算机视觉的智能监控报 警方法， 其特征在于， 所述 的步骤4中包 含： 4.1)使用数据集对卷积网络模型进行训练， 建立吸烟行为识别模型； 4.2)关键帧图像的获取:对所采集的视频材料进行的处理， 将所拍摄的视频流转化成 静止连续的视频序列帧图像， 根据吸烟行为的特点提取出包含最能表达吸烟行为特征的人 手的一帧图像， 即 关键帧图像， 即获取 人手的区域图像； 4.3)手势 目标的检测:把运动的人手部分从视频图像序列中分割出来， 包括背景模型 的建立、 前景运动目标的检测、 手势图像的预处理以及形态学的后处理过程， 能否准确、 有 效的分割出运动的手部区域图像， 将直接影响到后面手势特征提取和识别阶段的处理效 果， 是处理后续其他阶段的基础； 4.4)吸烟行为的手势特征提取:分析吸烟行为以及类似吸烟行为的手势特征， 由分割 得到的完整的手势图像中提取出能够表征吸烟这一行为的手势特征， 并对其特征进行详细 的剖析， 针对静态的手势识别其特征主要包括轮廓、 边缘、 形状等几何特征， 本文在特征提 取阶段， 对吸烟行为的视频进行了深入全面的研究， 根据手势的方位姿态及边缘分布等特 点提取出了准确适用的特 征向量； 4.5)分类识别:依据所提取的手势特征向量， 选取合适的方法和适当的判别准则将吸 烟和类似吸烟的手势进行分类识别并计算出识别率。权　利　要　求　书 2/2 页 3 CN 114885119 A 3