(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210334021.1 (22)申请日 2022.03.30 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 李志琦　王文海　李弘扬　谢恩泽　 司马崇昊 　路通　乔宇　代季峰　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 王花丽　蒋雅洁 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/62(2022.01) G06V 20/56(2022.01) G06V 20/64(2022.01)G06V 10/80(2022.01) (54)发明名称 图像处理方法、 装置、 设备和计算机可读存 储介质 (57)摘要 本申请实施例公开了一种图像处理方法、 装 置、 设备和计算机可读 存储介质。 该方法包括： 获 取车辆上多个不同视角的采集装置所捕获的多 个视角图像， 以及当前时刻的上一时刻的鸟瞰图 特征； 根据预设的鸟瞰图询问向量， 从上一时刻 的鸟瞰图特征提取时序特征， 以及从多个视角图 像对应的多个视角图像特征中提取空间特征， 结 合时序特征和空间特征生成当前时刻 的鸟瞰图 特征， 预设的鸟瞰图询问向量对应于当前时刻现 实场景中距离车辆预设范围的三维物理世界。 通 过考虑当前时刻 的空间信息和上一时刻 的历史 时序信息， 提高了鸟瞰图特征的准确性。 根据当 前时刻的鸟瞰图特征能够支持多个不同的感知 任务处理， 得到感知任务结果， 提高了感知任务 的处理效率。 权利要求书5页 说明书20页 附图11页 CN 114723955 A 2022.07.08 CN 114723955 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取车辆上多个不同视角的采集装置所捕 获的多个视角图像， 以及 当前时刻的上一 时 刻的鸟瞰图特 征； 根据预设的鸟瞰图询问向量， 从所述上一时刻的鸟瞰图特征提取时序特征， 以及从所 述多个视角图像对应的多个视角图像特征中提取 空间特征， 结合所述时序特征和所述空间 特征生成所述当前时刻的鸟瞰图特征； 其中， 所述预设的鸟瞰图询问向量对应于所述当前 时刻现实场景中距离所述车辆预设范围的三维物理世界； 根据所述当前时刻的鸟瞰图特 征进行感知任务预测， 得到感知任务结果。 2.根据权利要求1所述的方法， 其特征在于， 所述根据预设的鸟瞰图询问向量， 从所述 上一时刻的鸟瞰图特征提取时序特征， 以及从所述多个视角图像对应的多个视角图像特征 中提取空间特征， 结合所述时序特征和所述空间特征生成所述当前时刻的鸟瞰图特征， 包 括： 在所述预设的鸟瞰图询问向量和所述上一 时刻的鸟瞰图特征中， 对相同位置点进行特 征采样并融合， 得到第一鸟瞰图询问 向量； 在所述多个视角图像特征中， 对所述第 一鸟瞰图询问向量中二维位置点经过转化后在 所述多个视角图像上的投影点， 进行 特征采样并融合， 得到所述当前时刻的鸟瞰图特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述在所述预设的鸟瞰图询问向量和所述 上一时刻的鸟瞰图特征中， 对相同位置点进 行特征采样并融合， 得到第一鸟瞰图询问向量， 包括： 获取从所述上一时刻到所述当前时刻， 所述车辆的运动状态； 根据所述车辆的运动状态， 将所述上一 时刻的鸟瞰图特征与 所述预设的鸟瞰图询问向 量对齐， 得到第一鸟瞰图特征， 使得所述第一鸟瞰图特征与所述预设的鸟瞰图询问向量的 相同位置点表征同一现实场景物理位置； 对所述预设的鸟瞰图询问向量中各个位置点预测两组偏移量， 第 一组偏移量表征所述 预设的鸟瞰图询问向量中该位置点对应的多对偏移 坐标， 第二组偏移量表征所述第一鸟瞰 图特征中所述该位置点对应的多对偏移坐标； 根据所述两组偏移量， 在所述预设的鸟瞰图询问向量和所述第 一鸟瞰图特征中确定所 述各个位置点对应的多个采样点； 将所述各个位置点对应的多个采样点， 在所述预设的鸟瞰图询问向量和所述第 一鸟瞰 图特征中采样到的特 征进行融合， 得到所述第一鸟瞰图询问 向量。 4.根据权利要求3所述的方法， 其特征在于， 所述采样点包括第一采样点和第二采样 点； 所述根据 所述两组偏移量， 在所述预设的鸟瞰图询问向量和所述第 一鸟瞰图特征中确 定所述各个位置点对应的多个采样点， 包括： 根据所述各个位置点和所述第 一组偏移量， 在所述预设的鸟瞰图询问向量中确定所述 各个位置点对应的多个所述第一采样点； 根据所述各个位置点和所述第 二组偏移量， 在所述第 一鸟瞰图特征中确定所述各个位 置点对应的多个所述第二采样点。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述各个位置点对应的多个采样权　利　要　求　书 1/5 页 2 CN 114723955 A 2点， 在所述预设的鸟瞰图询问向量和所述第一鸟瞰图特征中采样到的特征进行融合， 得到 所述第一鸟瞰图询问 向量， 包括： 根据所述各个位置点对应的多个所述第 一采样点和所述预设的鸟瞰图询问向量， 确定 所述各个位置点的第一图像特 征； 根据所述各个位置点对应的多个所述第 二采样点和所述第 一鸟瞰图特征， 确定所述各 个位置点的第二图像特 征； 将所述各个位置点的第 一图像特征和所述各个位置点的第 二图像特征进行融合， 得到 所述各个位置点的融合特 征； 将所述各个位置点的融合特 征作为所述第一鸟瞰图询问 向量。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述各个位置点对应的多个所述 第一采样点和所述预设的鸟瞰图询问 向量， 确定所述各个位置点的第一图像特 征， 包括： 根据所述各个位置点对应的多个所述第 一采样点， 在所述预设的鸟瞰图询问向量中提 取特征， 得到所述各个位置点对应的多个所述第一采样点的图像特 征； 根据多个所述第 一采样点的预设权重， 将所述各个位置点对应的多个所述第 一采样点 的图像特 征进行融合， 得到所述各个位置点的第一图像特 征。 7.根据权利要求5所述的方法， 其特征在于， 所述根据所述各个位置点对应的多个所述 第二采样点和所述第一鸟瞰图特 征， 确定所述各个位置点的第二图像特 征， 包括： 根据所述各个位置点对应的多个所述第二采样点， 在所述第一鸟瞰图特征中提取特 征， 得到所述各个位置点对应的多个所述第二采样点的图像特 征； 根据多个所述第 二采样点的预设权重， 将所述各个位置点对应的多个所述第 二采样点 的图像特 征进行融合， 得到所述各个位置点的第二图像特 征。 8.根据权利要求1 ‑7任一项所述的方法， 其特 征在于， 所述方法还 包括： 将初始时刻的鸟瞰图询问 向量作为初始时刻的鸟瞰图特 征； 根据所述初始时刻的鸟瞰图询问向量， 从所述初始时刻的鸟瞰图特征提取初始时序 特 征， 以及从所述初始 时刻对应的多个视角图像特征中提取初始空间特征， 结合所述初始 时 序特征和所述初始空间特征生成所述初始时刻的鸟瞰图特征； 所述初始时刻的鸟瞰图特征 用于进行 下一时刻的鸟瞰图特 征的预测。 9.根据权利要求2所述的方法， 其特征在于， 所述在所述多个视角图像特征中， 对所述 第一鸟瞰图询问向量中二 维位置点经过转化后在所述多个视角图像上的投影点， 进行特征 采样并融合， 得到所述当前时刻的鸟瞰图特 征， 包括： 获取所述采集装置的内参矩阵和外参矩阵； 对所述多个视角图像进行 特征提取， 得到所述多个视角图像特 征； 将所述第一鸟瞰图询问向量中的每个二维位置点， 转化为多个三维空间点， 得到各个 二维位置点对应的多个三维空间点； 根据所述内参矩阵和所述外参矩阵， 将所述各个二维位置点对应的多个三维空间点， 投影到至少一个视角图像上， 得到所述各个二维位置点的多个投影点； 根据所述各个二维位置点的多个投影点， 在所述多个视角图像特征中进行密集采样， 并进行特征融合， 得到所述当前时刻的鸟瞰图特 征。 10.根据权利要求9所述的方法， 其特征在于， 所述根据所述各个二维位置点的多个投权　利　要　求　书 2/5 页 3 CN 114723955 A 3