(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513527.9 (22)申请日 2022.05.12 (71)申请人 吉林省吉林祥云信息技 术有限公司 地址 130000 吉林省长 春市净月开发区吉 视传媒信息枢纽 中心B座20层 (72)发明人 赵阳　张巍元　柴源　刘周　 岳驰涛　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 姜明君 (51)Int.Cl. G06F 9/54(2006.01) G06F 9/50(2006.01) G06V 10/96(2022.01) G06V 10/94(2022.01)G06V 10/764(2022.01) G06V 30/42(2022.01) G06F 40/289(2020.01) G06F 40/40(2020.01) G10L 15/30(2013.01) G10L 15/34(2013.01) G10L 15/26(2006.01) (54)发明名称 一种实时GPU服 务中的批处 理规模方法 (57)摘要 本发明属于批处理领域， 公开了一种实时 GPU服务中的批处理规模方法。 步骤1： 客户端发 送待处理的图像数据到消息队列； 步骤2： 服务端 从队列中接收图像数据， 合成批处理图像数据； 步骤3： 服务端GPU对数据进行处理； 步骤4： 服务 端根据对应的线 程id返回处理结果到客户端。 本 发明用于解决实时GPU服务中由于批处理规模选 择不当， 导致的服务端处理时间过长和客户端访 问延迟的问题。 权利要求书2页 说明书4页 附图1页 CN 115080263 A 2022.09.20 CN 115080263 A 1.一种实时GPU服 务中的批处 理规模方法， 其特 征在于， 所述选择 方法包括以下步骤： 步骤1： 客户端发送待处 理的图像数据到消息队列； 步骤2： 服 务端从队列中接收图像数据， 合成批处 理图像数据； 步骤3： 服 务端GPU对数据进行处 理； 步骤4： 服 务端根据对应的线程 id返回处 理结果到客户端。 2.根据权利要求1所述一种实时GPU服务中的批处理规模方法， 其特征在于， 所述步骤1 中的处理的图像数据可替换为语音数据和/或文本数据； 所述步骤1中每个客户端均通过一个单独的线程进行图像数据、 语音数据和/或文本数 据的发送。 3.根据权利要求1所述一种实时GPU服务中的批处理规模方法， 其特征在于， 所述步骤2 中合成批处理图像数据的批处理规模选择为2， 即一次处理2幅图像； 批处理规模为2的选取 依据为： 客户端中每条数据的产生视为随机并独立分布的事件， 则一段时间内待处理 的数据量 服从泊松分布。 4.根据权利要求3所述一种实时GPU服务中的批处理规模方法， 其特征在于， 在理想情 况下， 即服务端GPU数量足够多， 且GPU的批处理规模无穷大的条件下， τ时间段内处理数据 所需时间的数 学期望是： 其中， ζ表示数据从CPU传送到GPU所需时间， ξ表示GPU处理单条数据所需时间， λ表示单 位时间内随机事 件的平均发生 概率。 5.根据权利 要求3所述一种实时GPU服务中的批处理规模方法， 其特征在于， 在GPU批处 理规模有限， 定义规模为M， 同时GPU数量足够多的条件下， τ时间段内处理数据所需时间的 数学期望是： 其中， k表示总数据量对批处理规模的整除结果， m表示总数据量对批处理规模的取余 结果。 6.根据权利 要求3所述一种实时GPU服务中的批处理规模方法， 其特征在于， 在GPU批处 理规模有限， 且GPU数量有限的实际条件下， τ 时间段内处 理数据所需时间的数 学期望是： 为了使等待时间最短， 应达到最小， 经计算可 得当M＝2时， 此项达 到最小。 7.根据权利要求1或2所述一种实时GPU服务中的批处理规模方法， 其特征在于， 对于语 音数据进行语音转文字或/和语音翻译处 理； 对文本数据进行文本段落关键 字提取或/和文本翻译处 理； 对图像数据进行OCR识别、 图像分类或/和目标检测处 理。 8.根据权利要求2所述一种实时GPU服务中的批处理规模方法， 其特征在于， 所述步骤4权　利　要　求　书 1/2 页 2 CN 115080263 A 2具体为， 批处理图像数据结果的返回： 根据线程id对不同客户端通过不同线程发送的图像 数据进行返回； 其中系统中设置一个单独的线程用于记录全部的线程 id以及后续的处 理结果分发。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑8任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑8任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115080263 A 3