(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210537471.0 (22)申请日 2022.05.18 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 葛宏伟　王世豪　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 7/00(2006.01) (54)发明名称 一种基于贝叶斯深度多任务学习的语义分 割与深度预测方法 (57)摘要 本发明属于人工智能与计算机视觉领域， 公 开了一种基于贝叶斯深度多任务学习的语义分 割与深度预测方法。 该方法将语义分割 与深度预 测任务视为多任务， 利用深度学习方法解决多模 态问题， 通过预训练处理的主干网络生成包含多 个尺度的原始共享特征， 并利用提出的贝叶斯多 通道交流单元与任务共享单元实现尺度与任务 特征之间的交流； 最后通过设计的贝叶斯多模态 蒸馏机制输出语义分割 与深度预测的结果。 本发 明方法核心在于设计了多尺度与多任务交流机 制， 并引入贝叶斯深度学习设计了贝叶斯门控机 制， 并显著提高语义分割与深度预测任务的精 度。 本发明作为一种基于贝叶斯深度多任务学习 的语义分割与深度预测方法， 可广泛应用于自动 驾驶以及智能机 器人领域。 权利要求书3页 说明书8页 附图3页 CN 114913328 A 2022.08.16 CN 114913328 A 1.一种基于贝叶斯深度多任务学习的语义分割与深度预测方法， 其特征在于， 包括以 下步骤： 步骤1： 选取 数据集， 对数据进行 预处理后进行划分， 分成训练集和 测试集； 步骤2： 使用经过预训练处理的主干网络作为多任务模型的共享编码器， 用于生成包含 多个尺度的原 始共享特 征； 利用多任务技术共同实现语义分割与深度 预测任务， 通过贝叶斯门控机制对共享特征 流进行过滤， 并利用多尺度信息实现多任务的性能提升； 本方法的网络包含主干网络与共享网络解码器， 共享网络解码器包括贝叶斯多通道 交 流单元、 贝叶斯多任务池与贝叶斯多模态蒸馏模块； 网络选定的主干网络为经过ImageNet 预训练的HR ‑Net， 将训练集的图像输入至共享深度网络中， 经过主干网络输出四种不同尺 度的特征， 其大小分别为输入图像的1/4、 1/8、 1/16、 1/ 32； 步骤3： 按照由低尺度到高尺度的次序， 对相邻的两种尺度特征分组， 最后得到三个特 征组， 利用贝叶斯多通道交流单元与贝叶斯任务共享单元依次对这三组特征进行信息交流 操作， 令较大尺度特 征学习到局部的细化信息； 在共享网络解码器的前序特征传播过程中， 贝叶斯多通道 交流单元令特征组中较大尺 度信息学习较小尺度的特征信息， 在后续的多任务交流过程中， 贝叶斯多任务池能更加有 效地利用尺度特 征所包含的信息； 首先贝叶斯多通道交流单 元构建单 元内的多尺度融合特 征， 计算公式如下： 其中， Mscale表示多尺度融合特征， CONCAT( ·)表示多个尺度的拼接操作， s表示输入至 贝叶斯多通道交流单元的尺度数量， μ,Σj表示对应于该贝叶斯门控单元的均值与低秩加 对角后验近似矩阵， N( ·)表示服从分布化处理， θj表示对应于第j个尺度的贝叶斯门控机 制， 表示服从分布化的贝叶斯门控机制， Psi表示对应于s个尺度的输入特征， Ds表示对应 于s个尺度的下采样池化操作； 得到多尺度融合特征之后， 其次利用基于ResNet结构的信息交流块构成的基础网络层 对多尺度融合特征进 行学习， 通过上采样操作将多尺度融合特征复原为对应于贝叶斯多通 道交流单元输入的高尺度信息， 最后输出对应于贝叶斯多通道交流单元输入尺度的多个特 征， 计算公式如下： 其中， j表示输 出的尺度个 数， 表示第j个尺度的输出特征， Mscale表示输入的多尺度融 合特征， Fscale(·)表示为卷积块函数， fj表示为尺度变换卷积函数， Uj(·)表示为上采样操 作； 经过贝叶斯多通道 交流单元中的尺度 特征交流后， 贝叶斯多任务池从贝叶斯多通道 交 流单元的输出的多个尺度的特 征 中提取有利 信息， 共同优化多个任务； 贝叶斯多任务池包含对应于各个尺度的贝叶斯多任务共享模块， 在不同特征组 的多任权　利　要　求　书 1/3 页 2 CN 114913328 A 2务交流过程中， 从贝叶斯多任务池中选取对应尺度的贝叶斯多任务共享模块， 在每个贝叶 斯多任务共享模块中对多个任务特 征进行组合得到任务融合特 征， 计算公式如下： 其中， N表示总任 务个数， Mtask表示输出的任 务融合特征， CONCAT( ·)表示多个任 务特征 的拼接操作， μ,Σk表示对应于贝叶斯门控矩阵的均值与低秩加对角后验近似矩阵， N( ·) 表示服从分布化处理， Θk表示第k个任务的贝叶斯遮罩矩阵， 表示服从分布化的贝叶斯 门控机制， 表示为第N个任务的输入特 征； 接下来任务融合特征通过贝叶斯多任务共享模块中的编解码器学习抽象的共享表征， 该解码器由两个ResNet基础块构成， 最后得到不同任务的特 征， 计算公式如下： Qo＝Ftask(Mtask)(4) 其中， Mtask表示输出的任务融合特征， Ftask(·)表示为多任务 的编解码操作， Qo为任务 的输出特征； 步骤4： 对于步骤3中处理后的多个尺度任务信息， 在共享网络解码器的后序特征传播 过程中， 利用贝叶斯多通道交流单元实现由高尺度到低尺度的信息传递， 令较小尺度特征 理解较大感受野中的场景信息； 经过步骤3得到处理后得到四个尺度任务信息， 在共享网络解码器的后序特征传播过 程中， 按照由高尺度到低尺度的次序， 对相邻的两种尺度特征分组， 最后得到三个特征组， 依次利用贝叶斯多通道交流单元对这三组特征进 行信息交流， 将 较低尺度的特征信息传输 至更高的尺度特征中， 其中较低尺度特征通过上采样操作与较高尺度信息进 行像素对齐与 融合操作， 对融合后的尺度特征进行信息交流， 最后分别输出对应于四个尺度的语义分割 与深度预测任务的特 征； 步骤5： 利用贝叶斯多模态蒸馏模块对步骤4得到的语义分割与深度 预测任务的多尺度 特征进行有利知识提取并细化每 个任务， 最后输出语义分割与深度预测任务的预测； 经过步骤4得到经过尺度与任务信息间充分交流后的特征信息， 利用贝叶斯多模态蒸 馏有效地获取任务间互补信息， 其计算公式如下： 其中， 与 分别表示为第k个与第l个任务的输入特征， 表示为第k个任务的输出 特征， l表示为除第k个任务外的其他任务， 表示第k个任务特征处理中来自第l个任务的 贝叶斯门控单元， μ,Σl表示对应于该贝叶斯门控单元的均值与低秩加对角后 验近似矩阵， N(·)表示服从分布化 处理， 表示服从分布化的贝叶斯门控单元， 表示第k个任务特征 处理中来自第l个任务的注意力单 元； 步骤6： 利用训练数据集中的真实样本与步骤5得到的预测图像对比， 得到语义分割与 深度预测任务的总体损失， 更新模型的参数并进行调优； 通过训练预测结果与真实标签进行对比学习计算多任务损失， 计算公式如下： 权　利　要　求　书 2/3 页 3 CN 114913328 A 3