(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210483725.5 (22)申请日 2022.05.05 (71)申请人 上海大学 地址 200072 上海市 静安区延长路149号上 海大学 (72)发明人 王斌　徐红飞　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 季永康 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/54(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于语义特征和颜色信息的运动目标 检测方法 (57)摘要 本发明提供了一种基于语义特征和颜色信 息的运动目标检测方法， 步骤包括： S1视频帧经 语义分割网络处理获取图像的基础、 测语义特征 图； S2建立自适应多特征语义背景模型， 将基础 语义特征图加载到自适应多特征语义背景模型 所包含的各个样本中； S3 经自适应多特征语义背 景模型， 对待测语义特征图中的像素进行目标像 素判断结果记为 ； S4计算待测语义特征图中 每个像素是目标像素的概率P并与预设阈值 进行比较结果记为 ； S5基于颜色信息建模的 运动目标检测算法， 对待测语义特征图中的像素 进行目标像素判断结果记为 ； S6对测语义特 征图中相邻帧的同一像素进行目标像素判断结 果记为 ； S7将 、 和 经投票机制处理， 生成 后， 再令 修正 以获取 。 权利要求书3页 说明书9页 附图4页 CN 114943914 A 2022.08.26 CN 114943914 A 1.一种基于语义特 征和颜色信息的运动目标检测方法， 步骤 包括： S1将视频第N帧图像输入语义分割网络以获取图像的基础语义特征图； 将视频N+1帧图 像输入语义分割网络以获取图像的待测语义特 征图； S2 建立自适应多特征语义背景模型， 将基础语义特征图加载到自适应多特征语义背 景模型所包含的各个样本中； S3基于步骤S2的自适应多特征语义背景模型， 对待测语义特征图中的像素进行目标像 素判断， 并将检测结果记为 ； S4 计算待测语义特征图中每个像素是目标像素的概率 P并与预设阈值 进行比较， 并 将检测结果记为 ； S5 基于颜色信息建模的运动目标检测算法， 对待测语义特征图中的像素进行目标像 素判断， 并将检测结果记为 ； S6对测语义特 征图中相邻帧的同一像素进行目标像素判断， 并将结果记为 ； S7令检测结果 、 和 参与预设投票机制， 以生成检测结果 后， 再令 修正 以获取最终的目标像素判断结果 。 2.根据权利要求1所述的基于语义特征和颜色信息的运动目标检测方法， 其中步骤S3 中的目标像素判断步骤包括： 计算待测语义特征图与自适应多特征语义背 景模型中每个样 本之间的像素距离值， 以供与预设阈值 进行比较， 进而获取对待测语义特征图中的像素 进行前景、 背景像素的判断结果， 并将检测结果记为 。 3.根据权利要求2所述的基于语义特征和颜色信息的运动目标检测方法， 其中步骤S3 中的像素距离值计算 步骤包括： 计算公式： ， 其中 代表像素(i,j)与语义背景的距离值， 代表像素(i,j)的语义背景模型， 代表当前像素的语义向量， 代表像素(i,j)的第n个背景样本， 代表像素(i,j) 与第n个样本之间的语义距离 。 4.根据权利要求1所述的基于语义特征和颜色信息的运动目标检测方法， 其中步骤S4 中的目标像素判断步骤包括： 将待测语义特征图中每个像素的语义特征向量中包含的数值 求和， 以得到每个 像素是前景像素的概 率P， 将该概率P与预设阈值 进行比较， 进而获取对权　利　要　求　书 1/3 页 2 CN 114943914 A 2待测语义特 征图中的像素进行 前景、 背景像素的判断结果， 并将检测结果记为 。 5.根据权利要求1所述的基于语义特征和颜色信息的运动目标检测方法， 其中步骤S6 中的目标像素判断步骤包括： 将待测语义特征图中相 邻帧的同一像素的颜色距离值与预设 阈值 进行比较， 进 而获取对待测语义特征图中的像素进行 前景、 背景像素的判断结果， 并 将结果记为 。 6.根据权利要求1所述的基于语义特征和颜色信息的运动目标检测方法， 其中步骤S1 中的语义分割网络包括： 编 码器和解码器， 其中所述编 码器为深度卷积神经网络， 且所述深 度卷积神经网络中每 个卷积块中的每 个卷积层皆被设置为与其后面的卷积层相连状态。 7.根据权利要求1所述的基于语义特征和颜色信息的运动目标检测方法， 其中步骤S1 中所获基础语义特征图为 （ ） ， 步骤S2中所述自适应多特征语义背景模 型记为： 其中 中每一个样本还包含一个背景效力计数器 来表示对应的语 义特征向量 的有效性， 其中各个样本表达式为： 。 8.根据权利要求1所述的基于语义特征和颜色信息的运动目标检测方法， 其中还包括 步骤S8自适应多特 征语义背景模型的更新， 其 步骤包括： S81判断自适应多特征语义背景模型的每个样本是否满足第一条件， 若满足的则该样 本的效力计数器的值加1， 并对该样本中的语义向量进 行调整、 若不满足则该样本的效力计 数器的值减1， 直至该样本的效力计数器值≤ 0时定义其为失效样本； S82当经自适应多特征语义背景模型错误判断待测语义特征图中的背景像素为前景像 素时， 则将该背 景像素的语义向量与自适应多 特征语义背 景模型中效力计数器值最小的背 景样本组成一个备用背景样本， 以对失效样本进行替换。 9.一种基于语义特 征和颜色信息的运动目标检测方法， 步骤 包括： S1将视频第N帧图像输入语义分割网络以获取图像的基础语义特征图； 将视频N+1帧图 像输入语义分割网络以获取图像的待测语义特 征图； S2 建立自适应多特征语义背景模型， 将基础语义特征图加载到自适应多特征语义背 景模型所包含的各个样本中； S3令自适应多特征语义背景模型对待测语义特征图进行目标检测， 以计算待测语义特 征图与自适应多 特征语义背景模型中每个样本之间的像素距离值， 若判断距离大于预设阈 值 ， 则定义该像素为前 景像素， 并将检测结果记为 ； S4 将待测语义特征图中每个像素的语义特征向量中包含的数值求和， 以得到每个像 素是前景像素的概率 P， 将该概率 P与预设阈值 进行比较， 若小于则判定该像素为前景像权　利　要　求　书 2/3 页 3 CN 114943914 A 3