(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210523174.0 (22)申请日 2022.05.13 (71)申请人 江西省云眼大视界科技有限公司 地址 330096 江西省南昌市南昌 高新技术 产业开发区紫阳大道3088号泰 豪科技 广场-A栋91 1室 (72)发明人 郭小光　 (74)专利代理 机构 北京壹川鸣知识产权代理事 务所(特殊普通 合伙) 11765 专利代理师 范庆国 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06T 15/00(2011.01) (54)发明名称 一种基于人脸3D数据库进行面部3D装饰物 渲染的方法 (57)摘要 本发明属于面部扫描技术领域， 尤其为一种 基于人脸3D数据库进行面部3D装饰物渲染的方 法， 包括三维信息采集模块、 预处理模块、 特征提 取模块、 调整模块和渲染模块， 具体包含： 通过相 机采集到 人脸的三维彩色图像信息， 将采集到的 三维彩色图像信息进行预处理： 对 预处理后的三 维彩色图像信息进行特征提取； 根据得到的三维 人脸特征点进行若干次迭代微调， 得到最终特征 点的位置信息， 并将最终特征点的位置信息对齐 到标准坐标系， 得到人脸网格； 步骤五： 根据人脸 网格的面部特征数据， 渲染出面部3D模型的视 图； 本发明的面部3D装饰物渲染的方法， 渲染较 为迅速， 延迟小， 失真小， 渲染的图像更加清晰、 完整， 极大提高了用户的使用体验， 避免了用户 的抱怨。 权利要求书1页 说明书5页 附图1页 CN 115205922 A 2022.10.18 CN 115205922 A 1.一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特征在于： 包括三维信息 采集模块、 预处 理模块、 特 征提取模块、 调整模块和渲染模块， 具体渲染方法包 含如下步骤： 步骤一： 通过相机采集到人脸的三维彩色图像信息， 并将采集到的三维彩色图像信息 存储到数据库中； 步骤二： 将采集到的三维彩色图像信息进行预处理， 并将处理后的三维彩色图像信息 存储到数据库中； 步骤三： 对预处理后的三维彩色图像信息进行特征提取， 采用Face++或Sencetime面部 特征点算法方案检测出三维彩色图像信息中的三维人脸特 征点； 步骤四： 根据得到的三维人脸特征点进行若干次迭代微调， 得到最终特征点的位置信 息， 并将得到的最终特 征点的位置信息对齐到标准 坐标系， 得到人脸网格； 步骤五： 根据人脸网格的面部特 征数据， 渲染出面部 3D模型的视图。 2.根据权利要求1所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述步骤一中， 采集到的三维彩色图像信息包括人脸轮廓信息、 面部器官位置信 息、 面部器官尺寸信息、 面部器官角度信息以及面部表情信息 。 3.根据权利要求1所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述 步骤一中， 采集到的三维彩色图像信息为1人 ‑3人的三维彩色图像信息 。 4.根据权利要求1所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述 步骤二中， 预处 理包括人脸切割 、 姿态校正以及几何形状补全。 5.根据权利要求4所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述人脸切割具体为根据面部器官的位置将人脸分割成面、 鼻、 口、 眼、 额、 耳六大 部分； 姿态校正为人脸正对相机的程度； 几何形状补全为图像模糊失真的位置通过 PointNet自编码器进行补全， 以生产完整的三维彩色图像信息 。 6.根据权利要求5所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述人脸 正对相机的程度通过相机表面法线与人脸 正向法线之间的夹角确定 。 7.根据权利要求6所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 当相机表面法线与人脸正向法线之间的夹角大于或等于90 °时， 默认当前人脸不符 合相机的采集要求， 返回步骤一； 当相机表面法线与人脸正向法线之间的夹角小于90 °时， 执行步骤三。 8.根据权利要求1所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述步骤三中， 特征提取具体包括： 检测三维彩色图像信息中的二维人脸特征点； 对二维人脸特征点进行特征融合； 最后采用Face++或Sencetime面部特征点算法方案检测 出三维彩色图像信息中的三维人脸特 征点。 9.根据权利要求1所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述步骤四中， 迭代微调具体包括利用拉普拉斯变换法对三维人脸特征点进行拟 合； 根据人脸轮廓变化信息生成表情系数； 根据变化信息生成三 维关键点； 最后 将人脸轮廓 信息表达在人脸网格中。 10.根据权利要求1所述的一种基于人脸3D数据库进行面部3D装饰物渲染的方法， 其特 征在于： 所述 步骤五中， 渲染出的面部 3D模型的视图为多视角三维人脸图像。权　利　要　求　书 1/1 页 2 CN 115205922 A 2一种基于人脸3D数据库进行面部3D装饰物渲 染的方法 技术领域 [0001]本发明属于面部扫描技术领域， 具体涉及一种基于人脸3D数据库进行面部3D装饰 物渲染的方法。 背景技术 [0002]面部识别系统 以人脸识别技术为核心， 是一项新兴的生物识别技术， 是当今国际 科技领域攻关的高精尖技术， 人脸因具有不可复制、 采集方便、 不需要被拍者的配合而深受 欢迎， 面部识别系统具有广泛的应用： 消除投票欺诈、 取款身份验证、 计算机安全等。 [0003]随着VR、 AR等技术 的发展， 基于人脸3D数据库进行面部3D装饰物渲染应用越来越 广泛， 比如近年来兴起的直播行业， 在直播期 间， 可利用3D装饰物渲染技术来增加特效， 增 添直播乐趣。 [0004]譬如Face++、 Sencetime等是是目前主流的人脸3D数据面部特征点的算法方案， 基 于该算法衍生的人脸3D面部3D装饰物渲 染的方法繁多， 但是， 传统的方案中， 当软件采集到 用户的面部特征后， 到生成3D装饰物渲染期间会存在较大 的延迟， 可简单理解为当用户进 行不同方向的头部扭转动作时， 人脸3D面部模型无法及时跟随用户的动作而动作， 极大降 低了用户的使用体验， 导 致用户的抱怨。 发明内容 [0005]为解决现有技术中存在的上述问题， 本 发明提供了一种基于人脸3D数据库 进行面 部3D装饰物渲染的方法， 具有 使用方便、 延迟小以及渲染精度高的特点。 [0006]为实现上述目的， 本发明提供如下技术方案： 一种基于人脸3D数据库进行面部3D 装饰物渲染的方法， 包括三维信息采集模块、 预处理模块、 特征提取模块、 调整模块和渲染 模块， 具体渲染方法包 含如下步骤： [0007]步骤一： 通过相机采集到人脸的三维彩色图像信息， 并将采集到的三维彩色图像 信息存储到数据库中； [0008]步骤二： 将采集到 的三维彩色图像信息进行预处理， 并将处理后的三维彩色图像 信息存储到数据库中； [0009]步骤三： 对预处理后的三维彩色图像信息进行特征提取， 采用Face++或Sencetime 面部特征点算法方案检测出三维彩色图像信息中的三维人脸特 征点； [0010]步骤四： 根据得到 的三维人脸特征点进行若干次迭代微调， 得到最终特征点的位 置信息， 并将得到的最终特 征点的位置信息对齐到标准 坐标系， 得到人脸网格； [0011]步骤五： 根据人脸网格的面部特 征数据， 渲染出面部 3D模型的视图。 [0012]作为本发明的一种优选技术方案， 所述步骤一中， 采集到 的三维彩色图像信息包 括人脸轮廓信息、 面部器官位置信息、 面部器官尺寸信息、 面部器官角度信息以及面部表情 信息。 [0013]作为本发明的一种优选技术方案， 所述步骤一中， 采集到的三维彩色图像信息为1说　明　书 1/5 页 3 CN 115205922 A 3