(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654110.6 (22)申请日 2021.12.3 0 (71)申请人 中国电子科技 南湖研究院 地址 314002 浙江省嘉兴 市南湖区七 星街 道灵湖南路东20 0米清风榻 (72)发明人 毛超利　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 杨天娇 (51)Int.Cl. H02J 3/28(2006.01) G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) (54)发明名称 基于深度Q学习的微电网内多类型储能的调 度方法及装置 (57)摘要 本发明公开了一种基于深度Q学习的微电网 内多类型储能的调度方法及装置， 所述微电网包 括电源、 长周期储能设备和短周期储能设备， 将 微电网内多类型储能的调度问题描述为马尔可 夫决策过程， 构建并训练深度Q学习的神经网络 模型， 采用训练好的深度Q学习神经网络模型， 输 入微电网的当前状态， 输出对应的动作， 按照输 出的动作进行调度。 本发明通过智能体和微电网 调度环境的不断交互来获得最优的储能调度策 略， 避免了模型不准确性带来的影响， 适用于包 含多种类型储能技术的微电网， 能够为微电网的 优化运行提供支撑， 采用发明技术方案可以调整 储能荷电量， 合理安排用电时间和用电量， 实现 微电网运营收益 最大化的目标。 权利要求书3页 说明书9页 附图1页 CN 114362218 A 2022.04.15 CN 114362218 A 1.一种基于深度Q学习的微电网内多类型储能的调度方法， 所述微电网包括电源、 长周 期储能设备和短周期储能设备， 其特征在于， 所述基于深度Q学习的微电网内多类型储能的 调度方法， 包括： 将微电网内多类型储能的调度问题描述为马尔可夫 决策过程， 所述马尔可夫 决策过程 中t时刻的状态st表示如下： 其中， 表示电源发电量， 表示微电网内部负荷消耗电量， 表示短周期储 能设备的荷电量， 表示长周期储能设备的荷电量， 分别表示电源寿 命、 短周期储能设备寿命、 长周期储能设备寿命， Pt(SS)表示短周期储能设备的充放电功率 上 限， 短周期储能设备的充放电功率下限为 ‑Pt(SS)； Wt(LS)表示长周期储能设备的容量上限， 表示电源 发电效率、 短周期储 能设备充电效率、 长周期储能设备充电效率； 表示短周期储能设备放电效率、 长周期储能设备放电效率； rt(SS)、 rt(LS)表示短周期储能设备和长周期储能设备反复充放电的容 量保有率； μt表示与主网交易电价和需求侧响应信息； 所述马尔可 夫决策过程中动作表示如下： 其中， 分别为短周期储能和长周期储能与微电网交流母线交换的电量； 所述马尔可 夫决策过程中， t时刻的即时奖励函数表示如下： 其中， δt是平衡功率， β 是微电网向主电网售电时的电价， k是微电网从主电网买电时的 电价， Δt 表示信号采集的时间 间隔， penalty是微电网切除一般负荷时付出的代价； 构建并训练深度Q学习的神经网络模型， 根据输入的微电网的当前状态， 输出对应的动 作， 采用训练好的深度Q学习神经网络模型， 输入微电网的当前状态， 输出对应的动作， 按照 输出的动作进行调度。 2.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法， 其特征在 于， 所述马尔可 夫决策过程中动作的约束如下： 放电约束： 充电约束：权　利　要　求　书 1/3 页 2 CN 114362218 A 23.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法， 其特征在 于， 所述平衡功率 δt计算公式如下： 4.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法， 其特征在 于， 在所述电源包括多个电源设备时， 所述状态还包括各个电源对应的电源发电量、 电源寿 命、 电源发电效率。 5.根据权利要求1所述的基于深度Q学习的微电网内多类型储能的调度方法， 其特征在 于， 在所述长周期储能设备和短周期储能设备分别包括多个储能设备时， 所述状态还包括 各个储能设备对应的荷电量、 储能设备寿命、 充放电功 率上限、 容量上限、 充电效率、 放电效 率和反复充放电的容 量保有率。 6.一种基于深度Q学习的微电网内多类型储能的调度装置， 所述微电网包括电源、 长周 期储能设备和短周期储能设备， 其特征在于， 所述基于深度Q学习的微电网内多类型储能的 调度装置， 包括： 配置模块， 用于将微电网内多类型储能的调度问题描述为马尔可夫决策过程， 所述马 尔可夫决策过程中t时刻的状态st表示如下： 其中， 表示电源发电量， 表示微电网内部负荷消耗电量， 表示短周期储 能设备的荷电量， 表示长周期储能设备的荷电量， 分别表示电源寿 命、 短周期储能设备寿命、 长周期储能设备寿命， Pt(SS)表示短周期储能设备的充放电功率 上 限， 短周期储能设备的充放电功率下限为 ‑Pt(SS)； Wt(LS)表示长周期储能设备的容量上限， 表示电源发电效率、 短周期储 能设备充电效率、 长周期储能设备充电效率； 表示短周期储能设备放电效率、 长周期储能设备放电效率； rt(SS)、 rt(LS)表示短周期储能设备和长周期储能设备反复充放电的容 量保有率； μt表示与主网交易电价和需求侧响应信息； 所述马尔可 夫决策过程中动作表示如下： 其中， 分别为短周期储能和长周期储能与微电网交流母线交换的电量； 所述马尔可 夫决策过程中， t时刻的即时奖励函数表示如下：权　利　要　求　书 2/3 页 3 CN 114362218 A 3