基于深度强化学习算法的光伏抽蓄互补系统智能(4)
图4 光伏-抽蓄实施流程Fig.4 The flowchart of PV-PHS hybrid energy system
(3)复位强化学习环境,更新学习率,并返回初始状态s1。
(4)根据当前策略和随机噪声输出的动作和读入的已知数据,由式(21)计算当前时刻的即时奖励。
(5)向经验记忆库中存入当前时刻的状态、动作及即时奖励和下一个时刻的状态,且记忆库容量计数器加1。
(6)判断经验记忆库是否存满,若存满,则选择m个{st, at, rt, st+1}并根据式(22)、式(23)和式(25)更新神经网络参数,然后更新状态和累积奖励;否则只更新状态和累积奖励。
(7)更新时刻,并判断当前训练是否结束,若结束,则输出当前回合的累积奖励,然后重复步骤(2)~步骤(7);否则,重复步骤(4)~步骤(7)。
3.1 CDLR-DDPG算法训练
深度强化学习算法主要依赖于深度神经网络。因此,神经网络层数和每层神经元的个数也直接决定了算法的性能。本算例中将CDLR-DDPG算法的四个神经网络设置为相同结构,即神经网络有三个隐藏层,分别含256、256、128个神经元,CDLRDDPG的超参数见表4。
表4 CDLR-DDPG算法的超参数Tab.4 The hyperparameters of CDLR-DDPG参 数 数 值折扣率γ 0.9软更新系数τ 0.01 Actor学习率 a0α 0.01 Critic学习率 c0α 0.015衰减因子ε 0.5经验记忆库容量D 20 000试错训练次数N 2 000学习率更新周期n 11训练批次m 512
本算例选取了一年小时级数据中的358天作为神经网络的训练样本,连续7天作为测试数据。根据表2所示的算法流程对智能体进行训练;为保证训练效果,本算例对智能体进行2 000次试错训练。每一次训练的 24个时刻点所对应的累积奖励变化趋势如图5所示。结果表明:①第1~839次训练为探索阶段;第840~1 500次训练为学习阶段,此阶段根据式(22)、式(23)和式(25)对神经网络参数进行修正与更新,以应对光伏与负荷的随机变化并使得累积奖励增大;②第1 500次之后,智能体学会了如何应对随机环境并保持累积奖励;③改进前后训练结果的差异主要表现在学习和收敛阶段。由于固定学习率取值为一个周期衰减学习率的平均值,因此,其对应的学习速度略快于周期衰减学习率;但是固定学习率缺乏探索速度的多样性,提早陷入且难以跳出局部最优。采用周期衰减学习率在训练过程中使得网络参数的更新速度呈周期性变化,探索速度丰富多样,易于跳出局部最优。
图5 改进前后累积奖励变化趋势Fig.5 Cumulative reward change with episode during the training process after improvement
3.2 CDLR-DDPG算法性能测试
智能体在由互补模型构成的环境中被训练2 000次之后,便可以根据实时状态(光伏、负荷和电价)来决定抽水蓄能的出力。
为验证智能体在随机环境中持续运行的能力,本算例对智能体进行了连续7天的性能测试。优化前、后并网点功率波动情况对比如图6所示。图6表明:在抽水蓄能的作用下,并网点功率波动情况得到了改善,智能体能够根据光伏与负荷的当前和上一时刻的发/用电情况来决定抽水蓄能的出力,以达到缓解功率波动的目的。
图6 优化前后并网点功率波动情况对比Fig.6 Comparative analysis of power fluctuation on point of common coupling after PHS participating
智能体对抽水蓄能运行工况的选择来自于两个信息:①抽蓄参与调节之前的功率波动;②当前节点电价。综合考虑上述两个信息后,抽蓄的运行情况如图7所示。图中?P表示抽蓄参与调节之前的功率波动;Pphs表示抽蓄的运行情况,式(10)、式(11)定义了Pphs大于零表示放水发电,反之表示用电抽水;Eprice表示实时电价。
图7 兼顾功率波动与节点电价的抽蓄运行工况Fig.7 The operation of PHS takes into account the power fluctuation and price
图7表明:根据电价的变化趋势,智能体能够很好地决定抽水蓄能的用/发电情况,即电价偏高时,抽蓄进入发电工况,反之则进入用电抽水工况,但在第36h、84h、130h和161h附近存在违反这一规律的情况。由式(8)可知,?P的绝对值越大(越偏离横轴)表明功率波动越严重。由于在这些时段并网点的功率波动幅度较大,因此,为了减小?P的幅值,智能体必须控制抽蓄向?P的反方向运行;即出现了高电价抽水、低电价发电的反电价变化趋势运行的情况。
智能体控制抽蓄的运行与 SOC的变化情况如图8所示。
图8 抽蓄的运行与上游水库水量变化情况Fig.8 Relationship of the operation of PHS and SOC variation
文章来源:《水电与抽水蓄能》 网址: http://www.sdycsxn.cn/qikandaodu/2021/0226/470.html