(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210400122.4 (22)申请日 2022.04.15 (71)申请人 西安商汤智能科技有限公司 地址 710075 陕西省西安市西咸 新区沣西 新城西部云谷二期1号楼15层15 01室 (72)发明人 黄小萃　孙其功　杨慧　马堃　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/766(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种咳痰检测方法、 装置及其相关设备和存 储介质 (57)摘要 本申请公开了一种咳痰检测方法、 装置及其 相关设备和存储介质， 该方法包括： 获取包含目 标对象的脸部的目标图像； 对目标图像进行咳痰 检测， 得到目标图像的咳痰检测结果， 其中， 目标 图像的咳痰检测结果用于表示目标图像中的目 标对象是否存在咳痰。 通过上述方式， 本申请能 够在不接触目标对象的情况 下进行咳痰检测。 权利要求书2页 说明书11页 附图5页 CN 114913572 A 2022.08.16 CN 114913572 A 1.一种咳痰检测方法， 其特 征在于， 包括： 获取包含目标对象的脸部的目标图像； 对所述目标图像进行咳痰检测， 得到所述目标图像的咳痰检测结果， 其中， 所述目标图 像的咳痰检测结果用于表示所述目标图像中的目标对象是否存在咳痰。 2.根据权利要求1所述的方法， 其特征在于， 所述咳痰检测是利用咳痰检测模型执行 的， 所述咳痰检测模型包括依序连接的初始特征提取模块组和卷积模块组， 所述卷积模块 组包括依序连接的至少一个卷积模块； 所述对所述目标图像进行咳痰检测， 得到所述目标图像的咳痰检测结果， 包括： 利用所述初始特 征提取模块组对所述目标图像进行初始特 征提取， 得到第一特 征图； 利用所述卷积模块组对所述第一特 征图进行升维处 理， 得到第二特 征图； 基于所述第二特征图， 对所述目标图像中的目标对象的脸部进行分类， 得到所述目标 图像的咳痰检测结果。 3.根据权利要求2所述的方法， 其特 征在于， 所述卷积模块组包括多个卷积模块， 各所述卷积模块的卷积参数相同， 所述卷积模块 组中后一个所述卷积模块的卷积核数量是 前一个所述卷积模块输出的特 征图的通道数量； 和/或， 所述卷积模块包括至少一组卷积层、 标准 化层和激活函数层。 4.根据权利要求3所述的方法， 其特 征在于， 所述卷积模块包括依序连接的至少两组卷积层组， 每组所述卷积层组包括依序连接的 第一卷积层、 第二卷积层、 所述标准化层和所述激活函数层， 所述卷积模块用于利用所述至 少两组卷积层组依序对输入的特征图进行卷积处理得到卷积结果， 并将所述卷积结果与输 入所述卷积模块的特 征图进行融合， 得到融合结果。 5.根据权利要求2至4任一项所述的方法， 其特征在于， 所述初始特征提取模块组包括 第三卷积层和下采样层； 所述利用所述初始特征提取模块组对所述目标图像进行初始特征 提取， 得到第一特 征图， 包括： 利用所述第三卷积层对所述目标图像进行 特征提取， 得到第三特 征图； 利用所述下采样层对所述第三特 征图进行 下采样处 理， 得到所述第一特 征图。 6.根据权利要求2至5任一项所述的方法， 其特征在于， 所述第二特征图包括与若干通 道分别对应的若干通道特征图， 所述基于所述第二特征图， 对所述 目标图像中的目标对 象 的脸部进行分类， 得到所述目标图像的咳痰检测结果， 包括： 对所述若干通道特 征图中各位置对应的特 征进行特征融合， 得到目标 特征图； 对所述目标 特征图进行 特征增强， 得到增强特 征图； 对所述增强特 征图进行分类， 得到所述目标图像的咳痰检测结果。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述若干通道特征图中各位置对应 的特征进行特征融合， 得到目标 特征图， 包括： 利用重排列层从各所述通道特征图中， 提取位于对应位置的特征点， 得到各所述位置 对应的特 征点簇； 并基于各 所述位置对应的特 征点簇， 得到目标 特征图； 和/或， 所述对所述目标 特征图进行 特征增强， 得到增强特 征图， 包括： 获取所述目标特征图对应的参考特征图， 并将所述参考特征图与所述目标特征图相 加， 得到所述增强特 征图。权　利　要　求　书 1/2 页 2 CN 114913572 A 28.根据权利要求7 所述的方法， 其特 征在于， 所述目标 特征图作为所述 参考特征图； 和/或， 所述方法还 包括以下 所述咳痰检测模型的训练步骤： 利用所述咳痰检测模型依序对样本 图像进行初始特征提取、 升维处理以及特征融合， 得到样本目标 特征图； 获取所述样本目标特征图对应的样本参考特征图， 并将所述样本参考特征图与所述样 本目标特征图相加， 得到所述样本增强特征图； 其中， 所述参考特征图为本次训练所述咳痰 检测模型的若干样本图像对应的样本目标 特征图进行融合得到的全局特 征图； 对所述样本增强特 征图进行分类， 得到所述样本图像的咳痰检测结果； 基于所述样本图像的咳痰检测结果， 调整所述咳痰检测模型的网络参数。 9.根据权利要求1至8任一项所述的方法， 其特征在于， 所述获取包含目标对象的脸部 的目标图像， 包括： 获取对所述目标对象拍摄得到的对象画面； 从所述对象画面中提取 得到所述目标对象的脸部图像， 作为所述目标图像。 10.根据权利要求1至9任一项所述的方法， 其特征在于， 在所述对所述目标图像进行咳 痰检测， 得到所述目标图像的咳痰检测结果之后， 所述方法还 包括： 响应于当前帧对应的所述目标图像的咳痰检测结果为所述目标对象存在咳痰， 基于预 设数量历史帧对应的所述目标图像的咳痰检测结果， 确定所述目标对象是否存在咳痰。 11.根据权利要求10所述的方法， 其特征在于， 所述基于预设数量历史帧对应的所述目 标图像的咳痰检测结果， 确定所述目标对象是否存在咳痰， 包括： 响应于所述预设数量历史帧对应的所述目标图像的咳痰检测结果均为所述目标对象 存在咳痰， 确定所述目标对象存在咳痰； 或者， 响应于所述预设数量历史帧中所述咳痰检测结果为所述目标对象存在咳痰的帧数满 足预设比例， 确定所述目标对象存在咳痰； 和/或， 在基于预设数量历史帧对应的所述目标图像的咳痰检测结果， 确定所述目标对 象是否存在咳痰之后， 所述方法还 包括： 响应于确定所述目标对象存在咳痰， 向用户终端发送提示所述目标对象存在咳痰的提 示信息。 12.一种咳痰检测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取包 含目标对象的脸部的目标图像； 检测模块， 用于对所述目标图像进行咳痰检测， 得到所述目标图像的咳痰检测结果， 其 中， 所述目标图像的咳痰检测结果用于表示所述目标图像中的目标对象是否存在咳痰。 13.一种电子设备， 其特征在于， 所述电子设备包括存储器和 处理器， 所述存储器存储 有程序指令， 所述处理器用于执行所述程序指令以实现如权利要求1 ‑11任一项所述的方 法。 14.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储程序指 令， 所述程序指令能够被执 行以实现如权利要求1 ‑11任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114913572 A 3