(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476124.1 (22)申请日 2022.04.29 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 朱飞达　朱俊伟　储文青　邰颖　 汪铖杰　 (74)专利代理 机构 深圳翼盛智成知识产权事务 所(普通合伙) 44300 专利代理师 李玉婷 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06T 15/00(2011.01) G06V 20/40(2022.01) G06V 40/16(2022.01) (54)发明名称 图像处理方法、 装置、 电子设备和计算机可 读存储介质 (57)摘要 本发明实施例公开了一种图像处理方法、 装 置、 电子设备和计算机可读存储介质； 本发明实 施例在获取原始对象的原始 图像和驱动对象的 驱动图像后， 在原始图像中提取出原始对象 的对 象特征， 并在驱动图像中提取出驱动对象的姿态 特征， 将对象特征和姿态特征进行融合， 得到三 维图像特征， 并基于三维图像特征， 构建三维对 象图像， 在原始图像和三维对象图像中提取出每 一预设分辨率下的空间特征， 得到原始图像的原 始空间特征和三维对象图像的三维空间特征， 将 原始空间特征、 三维空间特征和预设基础风格特 征进行融合， 以得到目标对象图像； 该方案可 以 提升图像处理的准确性， 本发明实施例可应用于 云技术、 人工智能、 智慧交通、 辅助驾驶等各种 场 景。 权利要求书4页 说明书26页 附图10页 CN 115131636 A 2022.09.30 CN 115131636 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取原始对象的原始图像和驱动对象的驱动图像， 所述驱动图像用于对所述原始对象 进行躯体姿态调整的模板图像； 在所述原始图像中提取出所述原始对象的对象特征， 并在所述驱动图像中提取出所述 驱动对象的姿态特 征； 将所述对象特征和姿态特征进行融合， 得到三维图像特征， 并基于所述三维图像特征， 构建三维对象图像； 在所述原始图像和三维对象图像中提取出每一预设分辨率下的空间特征， 得到所述原 始图像的原 始空间特 征和所述 三维对象图像的三维空间特 征； 将所述原始空间特征、 三维空间特征和预设基础风格特征进行融合， 以得到目标分辨 率下的目标对象图像， 所述目标对象图像为将所述原始对象的躯体姿态替换为所述驱动对 象的躯体姿态的对象图像。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述将所述原始空间特征、 三维 空间特征和预设基础风格特 征进行融合， 以得到目标分辨 率下的目标对象图像， 包括： 基于所述预设基础风格特 征， 生成初始分辨 率下的基础对象图像； 采用训练后图像生成模型将所述三维图像特征映射为 隐特征， 并基于所述 隐特征， 对 所述预设基础风格特 征进行调整； 根据所述基础对象图像， 将调整后风格特征、 原始空间特征和三维空间特征进行融合， 以得到目标分辨 率下的目标对象图像。 3.根据权利要求2所述的图像处理方法， 其特征在于， 所述根据所述基础对象图像， 将 调整后风格特征、 原始空间特征、 三 维空间特征进 行融合， 以得到目标分辨率下的目标对象 图像， 包括： 基于所述预设分辨率， 在所述原始空间特征中筛选出目标原始空间特征， 并在所述三 维空间特 征中筛选出目标三维空间特 征； 将所述调整后风格特征、 目标原始空间特征和目标三维空间特征进行融合， 得到当前 分辨率下的融合后风格特 征； 基于所述融合后风格特 征和基础对象图像， 生成所述目标分辨 率下的目标对象图像。 4.根据权利要求3所述的图像处理方法， 其特征在于， 所述基于所述融合后 风格特征和 基础对象图像， 生成所述目标分辨 率下的目标对象图像， 包括： 基于所述融合后风格特征， 生成当前对象图像， 并将所述当前对象图像和所述基础对 象图像进行融合， 得到所述当前分辨 率下的融合对象图像； 将所述融合后风格特征作为所述预设基础风格特征， 并将所述融合对象图像作为所述 基础对象图像； 返回执行所述基于所述 隐特征， 对所述预设基础风格特征进行调整的步骤， 直至所述 当前分辨 率为所述目标分辨 率时为止， 得到所述目标对象图像。 5.根据权利要求2所述的图像处理方法， 其特征在于， 所述基于所述 隐特征， 对所述预 设基础风格特 征进行调整， 包括： 对所述基础风格特 征的尺寸进行调整， 得到初始风格特 征； 对所述隐特 征进行调制处 理， 得到所述初始风格特 征对应的卷积权 重；权　利　要　求　书 1/4 页 2 CN 115131636 A 2基于所述卷积权 重， 对所述初始风格特 征进行调整， 得到调整后风格特 征。 6.根据权利要求5所述的图像处理方法， 其特征在于， 所述基于所述卷积权重， 对所述 初始风格特 征进行调整， 得到调整后风格特 征， 包括： 在所述训练后图像生成模型的风格卷积网络中筛选出所述基础对象图像的分辨率对 应的目标风格卷积网络； 基于所述卷积权重， 采用所述目标风格卷积网络对所述初始风格特征进行卷积处理， 得到调整后风格特 征。 7.根据权利要求2所述的图像处 理方法， 其特 征在于， 还 包括： 基于所述基础风格特 征， 生成所述初始分辨 率下的基础光 流场； 根据所述基础光流场， 将调整后风格特征、 原始空间特征、 三维空间特征进行融合， 以 得到目标分辨 率下的目标光 流场。 8.根据权利要求2所述的图像处理方法， 其特征在于， 所述采用训练后图像生成模型将 所述三维图像特 征映射为隐特征之前， 还 包括： 获取视频样本， 并在所述视频样本中筛选出任意两帧视频帧分别作为原始图像样本和 驱动图像样本； 采用预设图像生成模型对所述原始图像样本和驱动图像样本进行对象驱动， 得到预测 对象图像； 基于所述预测对象图像和驱动图像样本， 对所述预设图像生成模型进行收敛， 得到训 练后图像生成模型。 9.根据权利要求8所述的图像处理方法， 其特征在于， 所述基于所述预测对象图像和驱 动图像样本， 对所述预设图像生成模型进行收敛， 得到训练后图像生成模型， 包括： 分别对所述预测对象图像和驱动图像样本进行检测， 并基于检测结果， 确定所述预设 图像生成模型的对抗损失信息； 基于所述预测对象图像和驱动图像样本， 确定所述预设图像生成模型的重建损失信 息； 将所述对抗损失信 息和重建损失信 息进行融合， 并基于融合后损失信 息对所述预设图 像生成模型进行收敛， 得到训练后图像生成模型。 10.根据权利要求9所述的图像处理方法， 其特征在于， 所述基于所述预测对象图像和 驱动图像样本， 确定所述预设图像生成模型的重建损失信息， 包括： 计算所述预测对象图像和驱动图像样本的图像相似度， 以得到所述预设图像生成模型 的感知损失信息； 将所述预测对象图像和驱动图像样本进行对比， 以得到所述预设图像生成模型的图像 损失信息； 将所感知损失信 息和图像损失信 息进行融合， 得到所述预设图像生成模型的重建损失 信息。 11.根据权利要求1至10任一项所述的图像处理方法， 其特征在于， 所述基于所述三维 图像特征， 构建三维对象图像， 包括： 将所述三维图像特 征转换为 三维对象的几何特 征和纹理特征； 根据所述几何特 征和纹理特征， 构建所述 三维对象的三维对象模型；权　利　要　求　书 2/4 页 3 CN 115131636 A 3