(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210348823.8 (22)申请日 2022.04.01 (71)申请人 中央广播电视总台 地址 100089 北京市海淀区复兴 路11号 (72)发明人 李英斌　王玉全　崔文聪　李烨　 杨娜　高鑫翼　孙雨甜　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 朱磊　蒋雅洁 (51)Int.Cl. G06Q 30/02(2012.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种广告节目实时替换方法、 设备、 芯片及 存储介质 (57)摘要 本申请实施例公开了一种广告节目实时替 换方法、 装置、 电子设备、 芯片及计算机可读存储 介质， 其中， 所述方法包括： 构建并训练图像特征 提取网络； 利用所述图像特征提取网络连续对目 标节目的帧图像进行图像特征提取， 并将提取到 的所述帧图像的待匹配图像特征与特征库进行 匹配， 得到 所述帧图像的匹配结果； 若存在连续M 帧图像的匹配结果均满足预设的条件， 则判定所 述目标节目中存在第一被替换广告节目， 其中， M 为正整数； 基于预设的替换规则， 将所述第一被 替换广告节目替换为第一 新广告节目。 权利要求书3页 说明书13页 附图4页 CN 114820042 A 2022.07.29 CN 114820042 A 1.一种广告节目实时替换 方法， 其特 征在于， 包括： 构建并训练图像特 征提取网络； 利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提取， 并将提取到 的所述帧图像的待匹配图像特 征与特征库进行匹配， 得到所述帧图像的匹配结果； 若存在连续M帧图像的匹配结果均满足预设的条件， 则判定所述目标节目中存在第一 被替换广告节目， 其中， M为 正整数； 基于预设的替换规则， 将所述第一被替换广告节目替换为第一 新广告节目。 2.根据权利要求1所述的广告节目实时替换方法， 其特征在于， 在利用所述图像特征提 取网络连续对目标节目的帧图像进行图像特 征提取之前， 还 包括： 利用所述图像特 征提取网络提取 所有被替换广告节目的每一帧图像特 征； 基于所述所有被替换广告节目的每一帧图像特 征， 构建所述特 征库。 3.根据权利要求2所述的广告节目实时替换方法， 其特征在于， 在提取所有被替换广告 节目的每一帧图像特 征之前， 还 包括： 对所述所有被替换广告节目中的每个被替换广告节目的每一帧图像进行预处理操作， 使所述每 个被替换广告节目的每一帧图像都符合所述图像特 征提取网络的输入格式。 4.根据权利要求3所述的广告节目实时替换方法， 其特征在于， 所述利用所述图像特征 提取网络提取 所有被替换广告节目的每一帧图像特 征， 包括： 对输入所述图像特征提取网络的每个经过预处理的被替换广告节目的图像数据进行 处理， 提取每一帧图像的一维特 征矢量。 5.根据权利要求2 ‑4任一项所述的广告节目实时替换方法， 其特征在于， 所述方法还包 括： 在构建所述特征库后， 将所述特征库中的所有图像特征进行特征聚类， 得到N个原子特 征集合， 每个原子特 征对应若干个图像特 征形成的聚类； 其中， N 为正整数。 6.根据权利要求5所述的广告节目实时替换方法， 其特征在于， 所述预设的条件包括以 下至少一种条件： 第一条件， 所述第一条件为所述连续M帧图像的匹配结果都属于所述第一被替换广告 节目； 第二条件， 所述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图 像的时序与所述M个匹配结果对应于所述第一被替换广告节目的时序一样。 7.根据权利要求6所述的广告节目实时替换方法， 其特征在于， 在利用所述图像特征提 取网络连续对目标节目的每帧图像进行图像特 征提取之前， 还 包括： 对提取到的所述目标节目的帧图像进行预处理操作， 使提取到的所述目标节目的帧图 像符合所述图像特 征提取网络的输入格式。 8.根据权利要求3或7所述的广告节目实时替换方法， 其特征在于， 所述预处理操作包 括以下至少一种操作： 颜色空间转换、 下采样。 9.根据权利要求7所述的广告节目实时替换方法， 其特征在于， 所述利用所述图像特征 提取网络连续对目标节目的帧图像进行图像特 征提取， 包括： 利用所述图像特征提取网络连续对每个经过预处理的所述提取到的所述目标节目的 帧图像进行处 理， 提取每一帧图像的一维特 征矢量。权　利　要　求　书 1/3 页 2 CN 114820042 A 210.根据权利要求9所述的广告节目实时替换方法， 其特征在于， 所述将提取到的所述 帧图像的待匹配图像特 征与特征库进行匹配， 得到所述帧图像的匹配结果， 包括： 将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度 量计算， 得到N个原子特征相似性度量计算结果， 并将所述N个原子特征相似性度量计算结 果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较， 若N个原子特征相似 性度量计算结果都小于预设的第一阈值， 则判定该帧图像不属于被替换广告节目； 若N个原子特征相似性度量计算结果中存在大于或等于预设的第一阈值的计算结果， 再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设 的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性 度量计算， 得到K个图像特征相似性度量计算结果， 若所述K个图像特征相似性度量计算结 果中的每个图像特征相似性度量计算结果都小于预设的第二阈值， 则判定该帧图像不属于 被替换广告节目； 若K个图像特征相似性度量计算结果中存在大于或等于预设的第二阈值 的计算结果， 则判定该帧图像属于被替换广告节目， K个图像特征相似性度量计算结果中大 于或等于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果， 其中， K为 正整数。 11.根据权利要求9所述的广告节目实时替换方法， 其特征在于， 所述将提取到的所述 帧图像的待匹配图像特 征与特征库进行匹配， 得到所述帧图像的匹配结果， 包括： 将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度 量计算， 得到N个原子特征相似性度量计算结果， 并将所述N个原子特征相似性度量计算结 果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较， 若N个原子特征相似 性度量计算结果都大于预设的第三阈值， 则判定该帧图像不属于被替换广告节目； 若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果， 再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设 的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性 度量计算， 得到J个图像特征相似性度量计算结果， 若所述J个图像特征相似性度量计算结 果中的每个图像特征相似性度量计算结果都大于预设的第四阈值， 则判定该帧图像不属于 被替换广告节目； 若J个图像特征相似性度量计算结果中存在小于或等于预设的第四阈值 的计算结果， 则判定该帧图像属于被替换广告节目， J个图像特征相似性度量计算结果中小 于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果， 其中， J为 正整数。 12.根据权利要求10、 11任一项所述的广告节目实时替换方法， 其特征在于， 在得到所 述帧图像的匹配结果之后， 还 包括： 对所述匹配结果进行 可靠性判定 。 13.根据权利要求12所述的广告节目实时替换方法， 其特征在于， 所述对所述匹配结果 进行可靠性判定， 包括： 当单独一帧或连续i帧待匹配图像的匹配结果与其前后所属被替换广告节目片段不一 致时， 则判定其 为不可靠匹配结果； 当单独一帧或连续i帧的匹配结果对应到被替换广告节目中的时序与其前后的时序不 一致时， 则判定其 为不可靠匹配结果； 其中i 为正整数。权　利　要　求　书 2/3 页 3 CN 114820042 A 3