基于深度强化学习算法的光伏抽蓄互补系统智能(5)
图8表明:
(1)智能体能够控制抽蓄在SOC约束范围内运行,表明该智能控制策略能使抽蓄在满足安全约束的前提下应对随机环境并寻求利益最大化。
(2)抽蓄在夜间几乎处于待机模式,既不参与发电也不参与抽水,原因是:①连续测试过程中智能体获得累积奖励的持续时间为24h,即每天的累积奖励是独立的,但是每天的 SOC1是以前一天的SOC24为基础的。因此在凌晨时段即便电价较低抽蓄参与抽水也会造成累积奖励减小,又由于SOC已经靠近约束下限,故也不可能发电。②夜间光伏出力为0,并网点功率波动主要是由负荷引起,而大电网可以平抑负荷的小范围波动,不需抽蓄参与调节。
上述分析表明:本文研究的光-蓄互补发电系统稳定运行时,智能体能够在随机环境中准确地控制抽蓄,既能缓解并网功率波动,同时也能保证其收益最大。此外,抽蓄在凌晨几乎处于待机模式且SOC较低,该状态有利于抽蓄应对电网功率突变,从而增强电力系统安全稳定能力。
3.3 CDLR-DDPG算法与SQP算法和SA算法的对比分析
为分析 CDLR-DDPG实现光-蓄互补智能调度的性能,本文采用序列二次规划(SQP)法和基于拉丁超立方的场景分析法(SA)与之对比。由于算例中将 CDLR-DDPG法进行了连续一周的实时测试,而 SQP法进行求解调度问题时,需要对未来源/荷数据进行预测,故本文将 CDLR-DDPG法测试过程中的实时数据(光伏、负荷与电价)作为光伏的准确预测值,并通过Matlab/Yalmip实现SQP法和SA法[31]。
图9~图11表示光伏预测精度为100%的对比结果。图9给出了CDLR-DDPG与SQP下的并网点功率波动情况,图10为两种算法下抽蓄跟随实时电价的运行工况,图11为两种算法所对应的SOC变化情况。结果表明:①CDLR-DDPG能在有效地缓解功率波动的同时保证抽蓄的收益。②采用 SQP时,抽蓄能得到全局最优的控制策略从而保证互补系统的经济性和稳定性。但是,获得该全局最优策略的前提是无预测误差存在。③CDLR-DDPG算法在做决策时智能体只需感知到当前和过去的环境状态,不需要参考未来环境中的状态,即智能体只能根据过去的表现来决策当前。④SQP法控制抽蓄时所对应的SOC变化幅度较大,即抽蓄在发电与抽水两种模式之间循环;而CDLR-DDPG则主要控制抽蓄在大功率波动条件下参与调节,抽蓄表现出发电、抽水和待机模式。
图9 SQP和CDLR-DDPG算法缓解并网点功率波动的对比分析Fig.9 Comparative analysis of power fluctuation on PCC between SQP and CDLR-DDPG algorithm
图10 SQP和CDLR-DDPG算法下抽蓄跟随电价的运行情况Fig.10 The operation of PHS with SQP and CDLR-DDPG algorithm considering the price
图11 SQP和CDLR-DDPG算法下上游水库水量变化Fig.11 Relationship of the operation of PHS and SOC variation under different optimization algorithm
由于当前预测技术的限制[32],其精度不能达到100%,对此,本文考虑了光伏在不同预测精度下改进前后的CDLR-DDPG算法与SQP算法以及SA算法的对比计算结果见表5。其中,波动率定义为运行周期内并网点功率波动量的总和与并网点功率绝对值总和之比,收益增长率定义为抽蓄的收益与光-蓄的总收益之比。由表5可知:当无抽蓄参与调节时,并网点功率波动率为45.67%;由CDLR-DDPG算法实现抽蓄的经济调度时其波动率与收益增长率分别提升了12.70%和4.95%;同时改进后的CDLRDDPG算法相对于原始的DDPG算法,波动率下降了1.05%,经济效益提高了0.08%;基于SA法时,其波动率降低了 15.55%同时抽蓄的经济收益增长了4.98%;当利用SQP法求解时,预测精度为100%所对应的波动率降低了31.84%,同时抽蓄的收益增长了 5.48%,为全局最优值;若正常预测精度为90%[33]时,只能抑制 10.2%的并网功率波动率、提升 4.33%的抽蓄经济收益。同时,当极端天气下的预测精度不大于85%[34]时,互补系统的稳定性与经济效益均较差。因此,当预测误差大于15%时,采用 SQP法求解的效果不如 CDLR-DDPG法的实时决策性能。CDLR-DDPG法针对当前与历史信息的决策过程免去了对源/荷的预测,能够适应随机动态环境,而SQP法在随机环境中优化调度的效果会受到预测精度的影响。若同时考虑光伏、负荷和电价的预测误差以及预测成本,则CDLR-DDPG算法更适合在随机环境中做出决策。
表5 不同预测精度下波动率与收益的对比结果Tab.5 Comparative analysis of the power flucuation and revenue under different forecast accuracy有无抽蓄 预测精度(%) 求解算法 波动率(%) 收益增长率(%)无抽蓄 — — 45.67 0— CDLR-DDPG 32.97 4.95有抽蓄— DDPG 34.02 4.87— SA 30.12 4.98 100 SQP 13.83 5.48 95 SQP 34.51 4.91 90[33] SQP 35.47 4.33 85[34] SQP 42.88 3.05
文章来源:《水电与抽水蓄能》 网址: http://www.sdycsxn.cn/qikandaodu/2021/0226/470.html