(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111548873.2 (22)申请日 2021.12.17 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 张曦　李清明　单熙雯　王作为　 (74)专利代理 机构 北京理工大 学专利中心 11120 代理人 袁瑞霞 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H02J 3/00(2006.01) H02J 3/24(2006.01)H02J 3/46(2006.01) G06F 111/04(2020.01) G06F 113/04(2020.01) (54)发明名称 基于深度强化学习的新能源电力系统弹性 优化方法 (57)摘要 本发明提出了一种基于深度强化学习的新 能源电力系统弹性优化方法， 能够大幅减少了在 调度过程中产生的人力成本， 也避免了人工沟通 的延时性带来的影 响。 本发明引入神经网络的深 度强化学习可通过试错和探索在高度动态的随 机环境中进行学习， 互动情境使其具有较强的学 习能力和适应能力， 更适合用于解决具有复杂非 线性和不确定性的新能源电力系统有功功率调 度问题。 深度强化学习兼具强化学习的决策能力 和深度学习的计算能力， 在新能源电力系统中的 应用必将改变传统的能源利用模式， 使系统更加 智能化。 权利要求书3页 说明书8页 附图1页 CN 114330113 A 2022.04.12 CN 114330113 A 1.一种基于深度强化学习的新能源电力系统弹性优化方法， 其特征在于， 包括如下步 骤： 步骤1， 在新能源电力系统有功功率调度的目标下， 将有功调度抽象为一个包含目标函 数和约束条件的非线性规划问题， 同时针对调 度过程中出现的功率不平衡现象对系统进 行 一次调频； 其中， 新能源电力系统有功功 率调度的目标为在不考虑发电成本的情况下， 最大 化电力系统的供电能力； 所述一次调 频是在系统出现频率偏差时， 通过调速器对发电机组 的发电量进行调节的过程； 步骤2， 根据新能源弹性电力系统 的特点和所要实现的供电能力最大的目标， 对系统 的 状态、 动作和奖励进行设计； 其中， 所述状态是智能体观察到的环境特征， 由各节点的有功 功率和系统的频率组成； 所述动作是智能体根据观察到的状态所做出 的决策， 具体为发电 机节点有功功率的改变量； 所述奖励的奖励函数是在执行某一动作后， 环境根据自身产生 的变化给予智能体的一种反馈， 并以此作为智能体下一 步选择决策的依据； 步骤3， 利用DQ N算法对系统中的智能体进行设计。 2.如权利要求1所述的方法， 其特征在于， 所述步骤1中 ， 所述目标函数为： 其中， G表示含有新能源的电力系统； F(G)为新能源电力系统的供 电能力； Ng为新能源电力系统中发电机节点的集 合； Pi为节点的有功出力； 所述约束条件为： 新能源电力系统节点约束： 新能源电力系统线路约束： 其中， Pi和Qi分别表示通过节点i注入电网的有功功率和无功功率； Vi和Vj分别是节点i 和节点j的电压幅值； N为新能源电力系统中所有节点的集合； θij为节点i和节点j之间的相 角差； Gij和Bij分别是线路i ‑j导纳的实部和虚部； Pij和Qij分别是线路i ‑j的有功功率和无功 功率； 其中， Vi， min和Vi， max分别是节点i最小电压幅值和最大电压幅值； Pi， min和Qi， min分别为节 点i的最小有功功率和无功功率； Pi， max和Qi， max分别为节点i的最大有功功率和无功功率； Pij， min和Pij， max分别为线路i ‑j的最小有功功率和最大有功 功率。权　利　要　求　书 1/3 页 2 CN 114330113 A 23.如权利要求2所述的方法， 其特 征在于， 所述 步骤1中， 所述 一次调频 具体过程 为： 当系统发出的有功 功率或负荷消耗的有功 功率发生变化时， 首 先计算功率差 ΔP： 其中， Ng和Nl分别为新能源电力系统中发电机节点和负荷节点的集 合； 根据功率差得到频率偏差为Δf为： 其中， KG和KL分别是发电机和负荷的调频系数之和； 利用得到的频率偏差进行电力系统的一次调频， 调频后得到各节点的实际有功功率 为： 其中， Pi和Pi′分别是发电机节点i经过一次调频前后的有功功率； KGi发电机节点i的单 位调节功率； Pj和Pj′分别是负荷节点j 经过一次调频前后的有功功率； KLj发电机节点j的单 位调节功率。 4.如权利要求3所述的方法， 其特 征在于， 系统的状态设计的具体方法是： st＝{Pit， Pwt， Ppt， Pjt， f} 其中， st为状态， Pit为t时刻传统火力发电机的实际出力； Pwt和Ppt分别为t时刻风力发电 和光伏发电的实际出力； Pjt为该新能源电力系统在t时刻负荷消耗的实际功率； f是系统频 率。 5.如权利要求3或4所述的方法， 其特 征在于， 系统的动作设计的具体方法是： at＝{ΔPit， ΔPwt， ΔPpt} 其中， at为动作， ΔPit为传统火力发电机实际出力的改变量； ΔPwt和ΔPpt分别为风力发 电和光伏发电实际出力的改变量。 6.如权利要求3或4所述的方法， 其特 征在于， 所述奖励的奖励函数为： rt＝reward1+reward2+reward3+F(G) 其中， a1， a2， a3是根据不同的频率空间设置的控制参数。权　利　要　求　书 2/3 页 3 CN 114330113 A 3