(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111470117.2 (22)申请日 2021.12.0 3 (71)申请人 北京影谱科技股份有限公司 地址 100125 北京市朝阳区朝阳公园南路3 号楼6层6 01内702室 (72)发明人 杨铠成　 (74)专利代理 机构 北京知呱 呱知识产权代理有 限公司 1 1577 代理人 郑兴旺 (51)Int.Cl. A63F 13/60(2014.01) G06F 8/41(2018.01) G06V 20/64(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01)G06V 10/34(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 基于3D游戏的数据集构建方法、 装置、 设备 及存储介质 (57)摘要 本申请公开了一种基于3D游戏的数据集构 建方法、 装置、 设备及存储介质。 该方法首先获取 目标3D游戏的编译后的游戏 数据抓取脚本； 运行 目标3D游戏， 根据游戏数据抓取脚本得到游戏画 面数据， 其中， 游戏画面数据包括图像数据和非 图像数据； 之后对游戏画面数据进行数据清洗得 到待标注的样本数据； 最后构建数据标注系统， 通过数据标注系统对样本数据进行标注。 可以看 出， 本申请实现了从3D游戏中获取合成数据， 相 比于真实世界中数据采集效率更高， 并且， 游戏 合成数据可以从游戏中获取相应的语义信息， 可 以极大的简化数据标注过程， 使得从游戏中获取 数据可以用于模型训练。 权利要求书2页 说明书7页 附图4页 CN 114100140 A 2022.03.01 CN 114100140 A 1.一种基于 3D游戏的数据集构建方法,其特 征在于， 所述方法包括： 获取目标3D游戏的编译后的游戏数据抓取脚本； 运行所述目标3D游戏， 根据所述游戏数据抓取脚本得到游戏画面数据， 所述游戏画面 数据包括图像数据和非图像数据； 对所述游戏画面数据进行 数据清洗得到待标注的样本数据； 构建数据标注系统， 通过 所述数据标注系统对所述样本数据进行 标注。 2.根据权利要求1所述的方法， 其特征在于， 所述构建数据标注系统， 通过所述数据标 注系统对所述样本数据进行 标注， 包括： 构建基于移动终端的数据标注系统， 所述数据标注系统包括用户登录组件和数据 标注 组件； 所述用户登录组件用于使用户通过在用户登录页面输入账号与密码登录所述数据标 注系统； 所述数据标注组件用于对数据标注页面内展示的样本数据进行打 分与描述。 3.根据权利要求1所述的方法， 其特征在于， 在对所述样本数据进行标注之后， 所述方 法还包括： 通过标注后的样本数据对单目深度图估计模型、 无绿幕抠图模型、 文本生成布局以及 人体骨骼关键点预测模型进行训练。 4.根据权利要求1所述的方法， 其特征在于， 所述游戏画面数据包括游戏截图、 深度图 以及模板图； 所述非图像数据包括摄像机参数信息、 物体2D包围盒数据、 物体3D包围盒数 据、 物体3D模型名称以及人体3D骨骼关键点信息 。 5.根据权利要求 4所述的方法， 其特 征在于， 所述游戏画面数据还 包括： 基于所述模板图通过膨胀腐蚀法来得到当前帧的三元图， 所述膨胀腐蚀法具体包括使 用OpenCV中的cv2.di late和cv2.erode。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述游戏数据抓取脚本得到游戏 画面数据， 包括： 通过人为判断当前游戏页面质量满足要求 时， 根据所述游戏数据抓取脚本自动捕 获当 前游戏画面数据； 其中， 所述游戏页面质量包括画面中实体的数量、 画面中实体的相对位 置、 画面中人物的行为动作。 7.根据权利要求1所述的方法， 所述目标3D游戏为GTAV， 其特征在于， 所述根据所述游 戏数据抓取脚本得到游戏画面数据， 包括： 使用GTAVisionExport工具来从 缓存中获取图像数据； 基于ScriptHo okVDotNet 游戏脚本库来从GTA V游戏中获取非图像数据。 8.一种基于 3D游戏的数据集构建装置， 其特 征在于， 所述装置包括： 编译模块， 用于获取目标3D游戏的编译后的游戏数据抓取脚本； 获取模块， 用于运行所述目标3D游戏， 根据所述游戏数据抓取脚本得到游戏画面数据， 所述游戏画面数据包括图像数据和非图像数据； 预处理模块， 用于对所述游戏画面数据进行 数据清洗得到待标注的样本数据； 标注模块， 用于构建数据标注系统， 通过 所述数据标注系统对所述样本数据进行 标注。 9.一种设备， 其特征在于， 包括存储器和 处理器， 所述存储器存储有计算机程序， 所述权　利　要　求　书 1/2 页 2 CN 114100140 A 2计算机程序被所述处理器执行时实现如权利要求1至7任一所述的基于3D游戏的数据集构 建方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序 被处理器执行时实现如权利要求1至7任一所述的基于 3D游戏的数据集构建方法。权　利　要　求　书 2/2 页 3 CN 114100140 A 3