(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210446431.5 (22)申请日 2022.04.26 (71)申请人 山东云海国创云计算装备产业创新 中心有限公司 地址 250101 山东省济南市自由贸易试验 区济南片区浪潮路1036号 浪潮科技园 S01楼35层 (72)发明人 何也　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 吕鑫 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种内存管理方法、 系统、 设备及计算机可 读存储介质 (57)摘要 本申请公开了一种内存管理方法、 系统、 设 备及计算机可读存储介质， 获取目标神经网络模 型； 基于各个目标计算设备对目标神经网络模型 中算子的运算支持， 将目标神经网络模型剖分为 与各个目标计算设备对应的子函数； 分发子函数 至对应的目标计算设备； 对于每个目标计算设 备， 均基于目标计算设备中各个计算单元的运算 信息， 将对应的子函数剖分为与各个计算单元对 应的执行单元， 以执行单元为粒度对目标计算设 备进行内存 管理。 使得各个目标计算设备所需运 算的子函数与自身的运算性能相符合， 且以执行 单元为粒度对目标计算设备进行内存 管理， 实现 了对计算设备内存的准确管 理。 本申请提供的内 存管理系统、 设备及计算机可读存储介质也解决 了相应技 术问题。 权利要求书2页 说明书9页 附图4页 CN 114816752 A 2022.07.29 CN 114816752 A 1.一种内存管理方法， 其特 征在于， 包括： 获取目标神经网络模型； 基于各个目标计算设备对所述目标神经网络模型中算子的运算支持， 将所述目标神经 网络模型剖分为与各个所述目标计算设备对应的子函数； 分发所述子函数至对应的所述目标计算设备； 对于每个所述目标计算设备， 均基于所述目标计算设备中各个计算单元的运算信息， 将对应的子函数剖分为与各个所述计算单元对应的执行单元， 以所述执行单元为粒度对所 述目标计算设备进行内存管理。 2.根据权利要求1所述的方法， 其特征在于， 所述以所述执行单元为粒度对所述目标计 算设备进行内存管理， 包括： 将所述目标计算设备的内存划分为目标内存及预留 内存； 确定所述执 行单元在所述目标内存中的内存占用信息； 基于所述内存占用信息对所述目标计算设备的内存进行 管理。 3.根据权利要求2所述的方法， 其特征在于， 所述确定所述执行单元在所述目标内存中 的内存占用信息， 包括： 将所述目标内存划分为与各个所述执 行单元对应的内存块； 将所述执 行单元与所述内存块间的对应关系作为所述内存占用信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述目标内存划分为与 各个所述执 行单元对应的内存块， 包括： 基于内存复用原则， 将所述目标内存划分为与各个所述执 行单元对应的内存块。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述内存占用信 息对所述目标计 算设备的内存进行 管理， 包括： 统计各个所述执行单元在所述子函数中的出现次数， 将所述出现次数作为所述执行单 元对应的所述内存块的使用次数， 并且若所述执行单元在所述 目标计算设备中出现一次， 则将所述使用次数的值减1； 对于每个所述执 行单元， 判断对应的所述内存块的所述使用次数的值是否为0； 若所述使用次数的值 为0， 则允许对所述执 行单元对应的所述内存块进行复用； 若所述使用次数的值不为0， 则禁止对所述执行单元对应的所述内存块进行复用， 并返 回执行所述若所述执行单元在所述 目标计算设备中出现一次， 则将所述使用次数 的值减1 的步骤。 6.根据权利要求3所述的方法， 其特征在于， 所述将所述目标内存划分为与 各个所述执 行单元对应的内存块， 包括： 基于执行速度最快原则， 将所述目标内存划分为与各个所述执 行单元对应的内存块。 7.根据权利要求2至6任一项所述的方法， 其特征在于， 所述基于所述内存占用信息对 所述目标计算设备的内存进行 管理之后， 还 包括： 应用所述预留 内存对所述目标内存进行内存补偿。 8.一种内存管理系统， 其特 征在于， 包括： 第一获取模块， 用于获取目标神经网络模型； 第一剖分模块， 用于基于各个目标计算设备对所述目标神经网络模型中算子的运算支权　利　要　求　书 1/2 页 2 CN 114816752 A 2持， 将所述目标神经网络模型剖分为与各个所述目标计算设备对应的子函数； 第一分发模块， 用于分发所述子函数至对应的所述目标计算设备； 第二剖分模块， 用于对于每个所述目标计算设备， 均基于所述目标计算设备中各个计 算单元的运算信息， 将对应的子函数剖分为与各个所述计算单元对应的执行单元， 以所述 执行单元为粒度对所述目标计算设备进行内存管理。 9.一种内存管理设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述内存管理方法的 步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述内存管理方法的步 骤。权　利　要　求　书 2/2 页 3 CN 114816752 A 3