(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210601778.2 (22)申请日 2022.05.30 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 余淮　李皓　杨文　余磊　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 融合事件和图像的运动模糊图像线段检测 方法及系统 (57)摘要 本发明提供一种融合事件和图像的运动模 糊图像线段检测方法及系统， 构建训练样本集， 包括采集事件相机和普光相机数据， 配准生成运 动模糊图像， 标注线段， 将事件数据、 运动模糊图 像和线段标注打包作为训练样 本集； 基于事件和 图像特征融合构建运动模糊图像线段检测网络 模型， 所述运动模糊图像线 段检测网络模型包括 特征融合骨干网络和线检测头， 所述特征融合骨 干网络包括浅层模块和级 联对偶沙漏模块， 所述 线检测头包括线段建议网络模块和分类器； 利用 损失函数进行训练， 基于训练好的运动模糊图像 线段检测网络模 型， 输入待测试的运动模糊图像 和事件流， 对测试数据进行线段检测。 应用本发 明进行运动模糊图像线段检测的结果精度能够 满足需求。 权利要求书2页 说明书9页 附图3页 CN 114913342 A 2022.08.16 CN 114913342 A 1.一种融合事 件和图像的运动模糊图像线段检测方法， 其特 征在于： 包括以下步骤， 步骤1， 构建训练样本集， 包括采集事件相机和普光相机数据， 配准事件数据和普光图 像， 生成运动模糊图像， 标注线段， 将事件数据、 运动模糊图像和线段标注打包作为运动模 糊图像线段检测的训练样本集； 步骤2， 基于事件和图像特征融合构建运动模糊图像线段检测网络模型， 所述运动模糊 图像线段检测网络模型包括特征融合骨干网络和线检测头， 所述特征融合骨干网络包括浅 层模块和级联对偶沙漏模块， 所述浅层 模块对事件脉冲张量和运动模糊图像组合提取浅层 特征， 所述级联对偶沙漏模块对浅层事件和图像分支特征融合增强， 得到运动模糊图像和 事件帧的融合特征图； 所述线检测头包括线段建议网络模块和分类器， 线段建议网络模块 基于运动模糊图像和事件帧的融合特征图得到候选线段， 然后由分类器监督训练获得线段 的得分， 得到最终保留线段； 步骤3， 利用损失函数， 基于步骤1构建的训练数据集， 对步骤2构建的运动模糊图像线 段检测网络模型进行训练； 所述损失函数由线检测头中线段建议网络模块和分类器相应损 失加权构成； 步骤4， 基于步骤3所得训练好的运动模糊图像线段检测网络模型， 输入待测试的运动 模糊图像和事 件流， 对测试 数据进行线段检测。 2.根据权利要求1所述融合事件和图像的运动模糊图像线段检测方法， 其特征在于： 所 述浅层模块中包括2个浅层融合模块SFB和4个浅层卷积层， 输入的运动模糊RGB图像首先经 过浅层卷积层1进行下采样， 输入的事件脉冲张量经过浅层卷积层3进行下采样， 得到通道 数一致的图像和事件特征； 接着将图像和事件特征输入到第一个浅层融合模块SFB， 对两 路 特征进行融合， 并将融合后的两路特征分别与浅层卷积层1和浅层卷积层3输出的特征相 加； RGB图像分支输出的融合特征再经过浅层卷积层2进行下采样和特征提炼， 事件流特征 分支输出的融合特征再经过浅层卷积层4进 行下采样和特征提炼； 然后， 将 输出的图像和事 件特征送入到第二个浅层融合模块SFB， 进 行第二次特征融合； 最后 将融合后的图像和事件 特征分别与原始特征相加， 得到浅层图像特征和浅层事件特征， 这两个特征将被输入到后 续的第一个对偶沙漏模块。 3.根据权利要求2所述融合事件和图像的运动模糊图像线段检测方法， 其特征在于： 在 浅层融合模块SFB中， 对 于输入的图像特征XF和事件特征XE， 首先按通道拼接在一起， 并经过 卷积将通道数还原； 接着利用两个通道注意力模块CA分别计算两路特征的注意力AttnF和 AttnE， 并将注意力与原始特征相乘， 再与另一模态的原始特征相加， 实现注意力加权的特 征融合； 最后分别利用两个残差块对融合后的特征进行提炼， 并将提炼后的图像特征和事 件图像输出。 4.根据权利要求1所述融合事件和图像的运动模糊图像线段检测方法， 其特征在于： 当 级联对偶沙漏模块中包括N个对偶沙漏模块， 从第一个对偶沙漏模块开始到第N ‑1个对偶沙 漏模块， 在每一个对偶沙漏模块中， 将输入的图像和事件特征先经过编解码模块融合成单 路特征， 接着经过一个残差块， 然后通过残差连接 分别与原始输入的图像和事件 特征相加， 恢复为两路特征并最终输出给下一个对偶沙漏模块。 对于网络中最后一个对偶沙漏模块， 同样将输入的图像和事件特征先经过编解码模块融合成单路特征， 接着经过一个残差块， 然后不同于 之前的N‑1个对偶沙漏模块， 直接输出经过残差块后的单路融合特征， 用于后续权　利　要　求　书 1/2 页 2 CN 114913342 A 2的线段检测。 5.根据权利要求4所述融合事件和图像的运动模糊图像线段检测方法， 其特征在于： 每 个编解码模块中， 图像特征流和事件特征流分别依 次经过若干编码器模块， 每次编码后图 像特征和事件 特征输入到解码融合模块DFB中， 经DFB的融合特征和上层解码 器输出特征逐 元素相加输入到下层解码器。 6.根据权利要求4所述融合事件和图像的运动模糊图像线段检测方法， 其特征在于： 在 解码融合模块DFB中， 首先利用通道拼接和的卷积将输入的图像特征和事件特征融合为一 个特征， 再送入到Transformer对特 征进一步融合和提炼。 7.根据权利要求1或2或3或4或5或6所述融合事件和图像的运动模糊图像线段检测方 法， 其特征在于： 由线 段建议网络模块相应的交叉点预测损失、 线段预测损失和分类器相应 的最终线段分类损失加权构成损失函数。 8.一种融合事件和图像的运动模糊图像线段检测系统， 其特征在于： 用于实现如权利 要求1‑7任一项所述的一种融合事 件和图像的运动模糊图像线段检测方法。 9.根据权利要求8所述融合事件和图像的运动模糊图像线段检测系统， 其特征在于： 包 括以下模块， 第一模块， 用于构建训练样本集， 包括采集事件相机和普光相机数据， 配准事件数据和 普光图像， 生成运动模糊图像， 标注线段， 将事件数据、 运动模糊图像和线段标注打包作为 运动模糊图像线段检测的训练样本集； 第二模块， 用于基于事件和图像特征融合构建运动模糊图像线段检测网络模型， 所述 运动模糊图像线段检测网络模型包括特征融合骨干网络和线检测头， 所述特征融合骨干网 络包括浅层 模块和级联对偶沙漏模块， 所述浅层模块对事件脉冲张量和运动模糊图像组合 提取浅层特征， 所述级联对偶沙漏模块对浅层事件和图像分支特征融合增强， 得到运动模 糊图像和事件帧的融合特征图； 所述线检测头包括线段建议网络模块和分类器， 线段建议 网络模块基于运动模糊图像和事件帧的融合特征图得到候选线段， 然后由分类器监督训练 获得线段的得分， 得到最终保留线段； 第三模块， 用于利用损失函数， 基于第一模块构建的训练数据集， 对第 二模块构建的运 动模糊图像线段检测网络模型进 行训练； 所述损失函数由线检测头中线段建议网络模块和 分类器相应损失加权构成； 第四模块， 用于基于第三模块所得训练好的运动模糊图像线段检测网络模型， 输入待 测试的运动模糊图像和事 件流， 对测试 数据进行线段检测。 10.根据权利要求8所述融合事件和图像的运动模糊图像线段检测系统， 其特征在于： 包括处理器和存储器， 存储器用于存储程序指令， 处理器用于调用存储器中的存储指令执 行如权利要求1 ‑7任一项所述的一种融合事 件和图像的运动模糊图像线段检测方法。权　利　要　求　书 2/2 页 3 CN 114913342 A 3