技术领域
[0001] 本
发明一种梯级水库生态随机优化调度模型及求解方法，属于水库优化调度领域。
背景技术
[0002]
水电作为目前开发技术最为成熟、开发规模最大的
可再生能源，以其低廉运行成本、良好调节性能和快速负荷响应能
力，在全球电力能源供给中发挥着重要作用。水库具有发电、防洪、
灌溉等兴利作用。但是水库在实际运行过程中，为提高发电等效益，常会改变水库所在河流的天然径流，破坏了河流水文变化的天然规律，给河流生态环境带来极大影响，造成河流生态环境恶化。随着我国加快推进绿色发展，实行最严格的环境保护制度，要求水库在生态保护中发挥作用。水库生态调度在传统调度
基础上增加生态因子的考虑，以改善流域生态环境为目标，优化水资源的可持续利用性，实现河流
生态系统的良性循环。
发明内容
[0003] 本发明目的一方面在于提供一种梯级水库生态随机优化调度模型，通过引入修正全年流量偏差AAPFD，以修正全年流量偏差AAPFD平方的最小期望值为目标函数，同时考虑水库保证出力约束及其他约束，确定对应的最优放水策略。本发明目的另一方面在于针对所述梯级水库生态随机优化调度模型而提供一种求解方法，该方法针对水库中长期来水的随机性，通过建立梯级水库入库流量的随机过程，利用
强化学习中的SARSA
算法对模型进行求解，使得求解结果计算时间更短，且求解结果更符合实际。
[0004] 本发明采取的技术方案为：
[0005] 一种梯级水库生态随机优化调度模型，该模型的目标函数为：
[0006]
[0007] 式中：f*为梯级水库最小AAPFD期望值的平方，N为梯级水电站的个数，T为调度周期总的时段数，Ns为入库径流离散状态数，Rn,t为第n个水库第t时段的指标函数，fn,t为第n个水库第t时段的AAPFD值。
[0008] Rn,t、fn,t表达式如下所示：
[0009]
[0010] 式中：Vn,i为第n级电站i状态时对应的水位， 为第n级电站第t时段的出库流量， 为第n个水库第t时段离散的j个入库流量值，j、k为入库径流相互之间的状态转移， 为第n个水库第t时段的出库流量， 为第n个水库第t时段的入库径流， 为第n个水库第t时段处于j状态转移到k状态的转移概率， 为调度周期天然入库流量的平均值。
[0011] 所述目标函数约束条件为：
[0012] ①、龙头水库水量平衡约束：
[0013] 上式中：V1t+1为龙头水库第t+1时段的水位，V1t为龙头水库第t时段的水位， 为龙头水库第t+1时段的入库流量， 为龙头水库第t+1时段的出库流量，△t为面临时段的时长；
[0014] ②、其他水库水量平衡约束：
[0015] 上式中： 为第n+1级水库第t+1时段的水位， 为第n+1级水库第t时段的水位， 为第n级水库第t时段的出库流量， 为第t时段第n+1级水库上游区间来水流量，为第n+1级水库第t时段的出库流量，△t为面临时段的时长，N为梯级水库的总数。
[0016] ③、水库蓄水量约束：
[0017] 上式中：Vn,min为第n级水库的最小蓄水量， 为第n级水库第t时段的水位，Vn,max为第n级水库的最大蓄水量，N为梯级水库的总数。
[0018] ④、水库下泄流量约束：
[0019] 上式中：Qn,min,ck为第n级水库最小下泄流量， 为第n级水库第t时段的下泄流量，Qn,max,ck为第n级水库最大下泄流量，N为梯级水库的总数。
[0020] ⑤、保证出力约束：Wn,bz≤Wn≤Wn,zj n＝1,...,N；
[0021] 上式中：Wn,bz为第n级水库的保证出力，Wn为第n级水库的出力，Wn,jz为第n级水库的机组最大出力。
[0022] 所述优化调度模型中，对梯级电站按照上下游的顺序从上到下依次编号为1,...,n，并根据上下游水库之间的水量关系，建立梯级各水库的水量平衡方程：
[0023]
[0024] 上式中：Ln+1,t为流域内t时段两级水库之间的区间来水。
[0025] 所述优化调度模型中，由于水库中长期径流具有随机性，因此各个水库的入库径流不再以传统的方式，采用某一特定年份历史观测数据作为水库的入库径流。而是采用随机入库过程作为梯级水库入库径流的表示方式，即根据皮尔逊Ⅲ型分布法计算所得
频率离散为从小到大的各水库各时段随机来水的拟合值。
[0026] 所述优化调度模型中，生态指标利用修正全年流量偏差AAPFD指标，该指标反映一个调度周期内流量变化对河流生态环境的影响，其值越小，表示水库调度后流量变化对河流生态系统的影响越小，河流生态环境越好，
[0027] 对于单一水库，修正全年流量偏差AAPFD表示为：
[0028]
[0029] 式中：T为调度周期总时段数， 为第t时段水库出库流量值； 为第t时段水库天然入库流量； 为调度周期天然入库流量的平均值。
[0030] 采用SARSA算法，对梯级水库生态调度随机优化模型进行优化计算，得到修正全年流量偏差AAPFD期望值的平方最大，以及各水库各时段的最优出库流量
[0031] 包括以下步骤：
[0032] 步骤1：根据梯级水库历年入库流量，求解各水库各时段的皮尔逊Ⅲ型概率
密度曲线的统计参数，并根据统计样本参数绘制各水库各时段的径流频率曲线，最终通过皮尔逊Ⅲ型分布模拟得出的径流随机值计算状态转移概率矩阵。
[0033] 步骤2：对每一个水库任一时段始末库容分别为Vn,i,Vn,j时，进行阶段收益求解，通过状态转移矩阵求解和Bellman方程求解在每一个水库在下一时刻水位随机情况下的余留收益，从而得到强化学习算法中的收益矩阵。
[0034] 步骤3：根据SARSA算法试错的原理，从第一阶段梯级水库起调水位V0开始进行尝试，对每一组[Vi,Vj]均对出库寻优计算，直到进行到最后一个阶段，完成一次寻优，然后根据时序差分法TD通过下一时刻的价值更新前一时刻的价值的思想对值函数方程，进行如下计算：
[0035]
[0036] 式中： 为t+1时段采用策略π得到状态动作对(s,a)时的Q值函数，为t时段采用策略π得到状态动作对(s,a)时的Q值函数，α为SARSA算法的学习率， 为采取动作a后状态由s转移到s′的回报值。γ为SARSA算法的奖赏折扣率， 为t时段采用策略π得到状态动作对(s′,a′)时的Q值函数。
[0037] 通过对Q值函数进行不断的试错更新，最终形成一个以s，a分别为横纵坐标，以离散的水位数为维数的Q矩阵。
[0038] 步骤4：重复对当前状态Vi进行观察，并根据贪婪决策选择下一阶段的执行动作，然后对当前Q矩阵进行更新，直到Q矩阵收敛。然后从Q矩阵中选取最大值作为策略，即可得到修正全年流量偏差(AAPFD)期望值的平方最大，以及各水库各时段的最优出库流量[0039] 本发明一种梯级水库生态随机优化调度模型及求解方法，技术效果如下：
[0040] 1)所述模型能在保证梯级水库水电站出力的前提下提高生态需求，对于水库水资源的生态利用具有较高指导意义。同时提出的SARSA算法能够很好地在较短时间内获得梯级水库随机生态优化调度模型的结果。
[0041] 2)利用强化学习中的SARSA算法，对该生态随机调度模型进行求解，将克服随机动态规划算法所带来的维数灾问题。
[0042] 3)采用随机模型，考虑不同时段之间入库径流的
马尔可夫性，能够更好的反映天然径流的随机，避免了采用特定年份历史数据作为入库径流时的偶然性。
[0043] 4)考虑生态的调度模型相较于单纯的发电模型，其得出的的调度规则能够更好地适应流域内的生态环境，最终达到发电生态多目标最优化的效果。
附图说明
[0045] 图2为水位库容曲线图。
[0046] 图3为水库皮尔逊Ⅲ型概率密度曲线图。
具体实施方式
[0047] 一种梯级水库生态随机优化调度模型，该模型的目标函数为：
[0048]
[0049] 式中：f*为梯级水库最小AAPFD期望值的平方，N为梯级水电站的个数，T为调度周期总的时段数，Ns为入库径流离散状态数，Rn,t为第n个水库第t时段的指标函数，fn,t为第n个水库第t时段的AAPFD值；
[0050] Rn,t、fn,t表达式如下所示：
[0051]
[0052] 式中：Vn,i为第n级电站i状态时对应的水位， 为第n级电站第t时段的出库流量， 为第n个水库第t时段离散的j个入库流量值，j、k为入库径流相互之间的状态转移， 为第n个水库第t时段的出库流量， 为第n个水库第t时段的入库径流， 为第n个水库第t时段处于j状态转移到k状态的转移概率， 为调度周期天然入库流量的平均值。
[0053] 所述目标函数约束条件为：
[0054] ①、龙头水库水量平衡约束：
[0055] 上式中：V1t+1为龙头水库第t+1时段的水位，V1t为龙头水库第t时段的水位， 为龙头水库第t+1时段的入库流量， 为龙头水库第t+1时段的出库流量，△t为面临时段的时长；
[0056] ②、其他水库水量平衡约束：
[0057] 上式中： 为第n+1级水库第t+1时段的水位， 为第n+1级水库第t时段的水位， 为第n级水库第t时段的出库流量， 为第t时段第n+1级水库上游区间来水流量，为第n+1级水库第t时段的出库流量，△t为面临时段的时长，N为梯级水库的总数。
[0058] ③、水库蓄水量约束：
[0059] 上式中：Vn,min为第n级水库的最小蓄水量， 为第n级水库第t时段的水位，Vn,max为第n级水库的最大蓄水量，N为梯级水库的总数。
[0060] ④、水库下泄流量约束：
[0061] 上式中：Qn,min,ck为第n级水库最小下泄流量， 为第n级水库第t时段的下泄流量，Qn,max,ck为第n级水库最大下泄流量，N为梯级水库的总数。
[0062] ⑤、保证出力约束：Wn,bz≤Wn≤Wn,zj n＝1,...,N；
[0063] 上式中：Wn,bz为第n级水库的保证出力，Wn为第n级水库的出力，Wn,jz为第n级水库的机组最大出力。
[0064] 所述优化调度模型中，对梯级电站按照上下游的顺序从上到下依次编号为1,...,n，并根据上下游水库之间的水量关系，建立梯级各水库的水量平衡方程：
[0065]
[0066] 上式中：Ln+1,t为流域内t时段两级水库之间的区间来水。
[0067] 所述优化调度模型中，由于水库中长期径流具有随机性，因此各个水库的入库径流不再以传统的方式，采用某一特定年份历史观测数据作为水库的入库径流。而是采用随机入库过程作为梯级水库入库径流的表示方式，即根据皮尔逊Ⅲ型分布法，计算所得频率离散为从小到大的各水库各时段随机来水的拟合值。
[0068] 所述优化调度模型中，生态指标利用修正全年流量偏差AAPFD指标，该指标反映一个调度周期内流量变化对河流生态环境的影响，其值越小，表示水库调度后流量变化对河流生态系统的影响越小，河流生态环境越好。
[0069] 对于单一水库，修正全年流量偏差AAPFD表示为：
[0070]
[0071] 式中：T为调度周期总时段数， 为第t时段水库出库流量值； 为第t时段水库天然入库流量； 为调度周期天然入库流量的平均值。
[0072] 采用SARSA算法，对梯级水库生态调度随机优化模型进行优化计算，得到修正全年流量偏差AAPFD期望值的平方最大，以及各水库各时段的最优出库流量 具体包括以下步骤：
[0073] S1.1：根据梯级水库中库容与水位的长序列数据进行拟合，得到梯级各水库的水位库容曲线，如图2所示，利用梯级水库中库容与水位的长序列数据，导入matlab中绘制出如图2的V-Z二次拟合曲线，并求解出二次曲线所代表的二次轨迹方程。由此可知在任意水位下的库容值。
[0074] S1.2：根据梯级水库历年入库流量，求出各水库入库流量的皮尔逊Ⅲ型概率密度曲线的统计参数：入库径流平均值，均方差、变差系数和偏差系数。并根据所求参数绘制出皮尔逊Ⅲ型概率密度曲线，如图3所示，由求得的入库径流平均值，均方差、变差系数和偏差系数等相关统计参数，在海参几率格纸上绘制各个水库的皮尔逊Ⅲ型概率密度曲线，并通过曲线筛选出水库各时段对应来水频率的模拟径流随机值。
[0075] S1.3：求出各水库来水在相邻两个时段之间的相关性以及转移概率：
[0076] 马尔可夫相关性检验公式：
[0077]
[0078] 式中，rt,t+1为水库相邻时段不同径流值之间转移的相关系数，Ns为样本的总年份数， 为n水库t时段和t+1时段第i年的实际入库径流值， 为n水库t时段和t+1时段第i年的实际入库径流均值。σt为t时段和t+1时段实际入库径流的均方差。
[0079] 求解出t时段与t+1时段之间的相关系数，并判定其马尔科夫性，并求出第t时段与t+1时段之间的状态转移矩阵。按照频率将入库径流划分为N个区段，有pjk＝P(St+1|St)，其中，j,k分别表示第t和t+1时段入库径流序列所在的区段，第t个时段状态转移概率矩阵形式为：
[0080]
[0081] 式中，Pt为状态转移概率矩阵，pi,j为模拟径流随机值由i状态转移到j状态的概率值
[0082] S2：根据各水库约束条件中设置的水位的上下限值，按照
指定的步长s1从下限值到上限值进行等距离散化处理，得出离散化的水位集合S作为SARSA算法中的状态集合。同时对拟合出来的随机入库流量值也按照一定的步长k1进行离散化处理，得出的离散化的入库径流集合K作为SARSA算法中的入库流量状态集合。
[0083] S3：利用SARSA算法进行求解，包括以下步骤：
[0084] S3.1：(1)、确定最后一个时段的AAPFD期望值。最后一个阶段的余留效益取0。该时段N种代表入库流量下所对应的AAPFD期望值即为本阶段期望值。
[0085] (2)、确定倒数第二时段的AAPFD期望值。假设本时段初末水位均离散为M种状态，且该时段入库流量同样取N种。先求出每一种代表流量下本时段初末状态水位的阶段AAPFD期望值，然后再根据状态转移概率矩阵可得倒数第二时段在N种代表流量下对应于最后一个时段的余留效益值，最后根据求倒数第二时段的累计AAPFD期望值＝阶段AAPFD期望值+余留效益值。
[0086] (3)、后续时段直至初始时段的累计AAPFD期望值，均采用上述方法进行求解。
[0087] S3.2：设各时段初离散水位状态集为S，时段出库流量的动作集为A，学习率α，衰减因子γ，以及贪婪决策的探索率ε。设置每组状态动作集合[Vn,i,Vn,j]所对应的阶段AAPFD期望值为奖励矩阵R。设置初始Q值矩阵Q(s,a)和
迭代轮数n。
[0088] S3.3：设置梯级各水库的起调水位，随机产生一个0-1之间的均匀分布小数ξ。使用贪婪决策，若ξ≤ε则采取探索策略，在动作集A中随机选择一个动作a为当前状态s选择的动作。反之则在Q值矩阵Q(s,a)中选择状态s对应的最大Q值，然后通过Q值确定下一动作a。
[0089] S3.4：通过当前状态动作集合(s,a)，得出在始末水位状态下本时段采取动作时，所获得的奖励值R(s,a)。将当前状态s采取动作a获得的新状态s′赋值给s。再次使用贪婪决策随机产生一个0-1之间的均匀分布小数ξ，若ξ≤ε则采取探索策略，在动作集A中随机选择一个动作a′作为当前状态s选择的动作。根据时序差分法(Temporal Difference,TD)通过下一时刻的价值更新前一时刻的价值的思想对值函数方程进行如下计算：
[0090]
[0091] 式中： 为t+1时段采用策略π得到状态动作对(s,a)时的Q值函数，为t时段采用策略π得到状态动作对(s,a)时的Q值函数，α为SARSA算法的学习率， 为采取动作a后状态由s转移到s′的回报值。γ为SARSA算法的奖赏折扣率， 为t时段采用策略π得到状态动作对(s′,a′)时的Q值函数。通过对Q值函数进行不断的试错更新，最终形成一个以s，a分别为横纵坐标，以离散的水位数为维数的Q矩阵。
[0092] S3.5：将下一阶段状态s′赋值给s，下一阶段的a′赋值给a，若此时的s为目标状态，则此轮迭代完成，否则转移到步骤S3.3,直到迭代次数完成，或Q(s,a)收敛。
[0093] S3.6：根据已经收敛的Q(s,a)，通过对Q矩阵进行最大值逐步寻优，得出最优的策略π。进而得出从初始水位开始到最末水位的梯级水库修正全年流量偏差(AAPFD)期望值，以及各水库各时段的最优出库流量
