(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111661200.8 (22)申请日 2021.12.3 0 (71)申请人 国网北京市电力公司 地址 100031 北京市西城区前门西大街 41 号 申请人 国家电网有限公司 (72)发明人 齐小伟　陈秀海　李昕　李永勋　 姚巍　韩爽　关鹏　陈佳博　彭博　 张育臣　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 代理人 崔来贺 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01)G06N 3/12(2006.01) (54)发明名称 一种配电网动案辅助决策方法、 系统、 装置 和存储介质 (57)摘要 本发明公开了一种配电网动案辅助决策方 法、 系统、 装置和存储介质， 方法包括步骤： 获取 配电网在 线运行数据； 将所述配电网在线运行数 据输入预设的配电网动案辅助决策模 型中； 所述 配电网动案辅助决策模型输出令配电网安全未 定运行的网络结构； 所述配电网动案辅助决策模 型基于DQN强化学习算法训练形成。 对于在线配 电网只需输入其对应的状态， 就可以重构配电网 的拓扑结构， 又因为判断过程无需对整个配电网 所有重构方案全部计算， 计算量小， 所耗用的时 间较短， 因而基于强化学习方法的配电网动案辅 助决策方法具有运 算速度快、 效率高等优点。 权利要求书2页 说明书7页 附图3页 CN 114298429 A 2022.04.08 CN 114298429 A 1.一种基于深度神经网络的配电网动案 辅助决策 方法， 其特 征在于， 包括如下步骤： 获取配电网在线运行 数据； 将所述配电网在线运行数据输入预设的配电网动案辅助决策模型中； 所述配电网动案 辅助决策模型输出令配电网安全未定运行的网络结构； 其中， 所述配电网动案 辅助决策模型基于DQ N强化学习算法训练形成。 2.根据权利要求1所述的基于深度神经网络的配电网动案辅助决策方法， 其特征在于， 所述配电网在线运行 数据包括实时或者预测的开关状态、 风机发电、 光伏发电和负荷大小。 3.根据权利要求1所述的基于深度神经网络的配电网动案辅助决策方法， 其特征在于， 所述配电网动案 辅助决策模型的获取 方式如下： 获取配电网历史运行 数据； 设置 ε‑greedy策略选取动作； 基于所述配电网历史运行数据建立配电网系统环境模型， 并构建智能体的深度强化学 习模型； 基于预设置的ε ‑greedy策略， 利用配电网系统环境模型和 深度强化学习模型进行离线 训练和学习， 得到满足误差要求的配电网动案 辅助决策模型。 4.根据权利要求3所述的基于深度神经网络的配电网动案辅助决策方法， 其特征在于， 获取配电网历史运行数据后， 对所述配电网历史运行数据进行预处理， 将配电网历史运行 数据转化为适合强化学习算法的原 始样本集。 5.根据权利要求3所述的基于深度神经网络的配电网动案辅助决策方法， 其特征在于， 利用配电网系统环境模型和深度强化学习模型进行离线训练和学习， 具体包括： 配电网系统环境模型每执行一 次深度强化学习模型给出的动作， 会返回新的系统状态 并计算相 应的奖励值； 而深度强化学习模型根据当前状态， 以输出能够最大化奖励期望值 的控制动作为目标， 在与配电网系统环境模型交 互过程中不断学习并改进动作策略。 6.根据权利要求3所述的基于深度神经网络的配电网动案辅助决策方法， 其特征在于， 建立配电网系统环境模型包括： 设置智能体状态空间、 动作空间以及智能体奖励/惩罚机 制。 7.根据权利要求3所述的基于深度神经网络的配电网动案辅助决策方法， 其特征在于， 构建智能体的深度强化学习模型时， 使用两个神经网络， 一个真实网络产生当前Q值， 另外 一个目标网络Q  target， 两个神经网络初始权 重和参数相同、 参数 更新速度不同。 8.一种用于所述基于深度神经网络的配电网动案辅助决策方法的系统， 其特征在于， 包括： 数据获取模块， 用于获取配电网在线运行 数据； 预测模块， 用于将所述配电网在线运行数据输入预设的配电网动案辅助决策模型中； 所述配电网动案 辅助决策模型输出令配电网安全未定运行的网络结构。 9.一种计算机装置， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述的基于深度神经网络的配电网动案 辅助决策 方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时， 实现如权利要求1至7任一项所述的基于深度神经网权　利　要　求　书 1/2 页 2 CN 114298429 A 2络的配电网动案 辅助决策 方法。权　利　要　求　书 2/2 页 3 CN 114298429 A 3