2.793

                    2018影響因子

                    (CJCR)

                    • 中文核心
                    • EI
                    • 中國科技核心
                    • Scopus
                    • CSCD
                    • 英國科學文摘

                    留言板

                    尊敬的讀者、作者、審稿人, 關于本刊的投稿、審稿、編輯和出版的任何問題, 您可以本頁添加留言。我們將盡快給您答復。謝謝您的支持!

                    姓名
                    郵箱
                    手機號碼
                    標題
                    留言內容
                    驗證碼

                    考慮電網調峰需求的工業園區主動配電系統調度學習優化

                    唐昊 劉暢 楊明 湯必強 許丹 呂凱

                    唐昊, 劉暢, 楊明, 湯必強, 許丹, 呂凱. 考慮電網調峰需求的工業園區主動配電系統調度學習優化. 自動化學報, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    引用本文: 唐昊, 劉暢, 楊明, 湯必強, 許丹, 呂凱. 考慮電網調峰需求的工業園區主動配電系統調度學習優化. 自動化學報, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    Tang Hao, Liu Chang, Yang Ming, Tang Bi-Qiang, Xu Dan, Lv Kai. Learning-based optimization of active distribution system dispatch in industrial park considering the peak operation demand of power grid. Acta Automatica Sinica, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    Citation: Tang Hao, Liu Chang, Yang Ming, Tang Bi-Qiang, Xu Dan, Lv Kai. Learning-based optimization of active distribution system dispatch in industrial park considering the peak operation demand of power grid. Acta Automatica Sinica, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079

                    考慮電網調峰需求的工業園區主動配電系統調度學習優化


                    DOI: 10.16383/j.aas.c190079
                    詳細信息
                      作者簡介:

                      合肥工業大學電氣與自動化工程學院教授, 2002年獲中國科技大學博士學位, 主要研究方向為離散事件動態系統, 隨機決策與優化理論, 智能電網調度與控制方法. 本文通信作者. E-mail: htang@hfut.edu.cn

                      合肥工業大學電氣與自動化工程學院碩士研究生, 2016年獲得合肥工業大學學士學位, 主要研究方向為源荷不確定電力系統的調度學習優化. E-mail: cliu@mail.hfut.edu.cn

                      高級工程師, 主要研究方向為電力系統仿真與經濟調度. E-mail: yangming@epri.sgcc.com.cn

                      研究員級高級工程師, 主要研究方向為智能電網調度、電力系統仿真. E-mail: tangbiqiang@epri.sgcc.com.cn

                      高級工程師, 主要研究方向為電力系統節能經濟調度. E-mail: xudan@epri.sgcc.com.cn

                      合肥工業大學電氣與自動化工程學院博士研究生. 2012年獲得遼寧大學學士學位. 主要研究方向為人工智能及其在電網調度優化中的應用. E-mail: kail@mail.hfut.edu.cn

                    •  收稿日期?xxxx-xx-xx????錄用日期?xxxx-xx-xx Manuscript?received?xx?xx,?xxxx;?accepted?xx?xx,?xxxx 國家重點研發計劃項目 (2017YFB0902600),?國家電網公司科技項目(SGJS0000DKJS1700840) 資助 Supported?by?the?National?Key?R&D?of?China?(2017YFB0902600)and?the?State?Grid?Corporation?of?China?Project?(SGJS0000DKJS 1700840) 本文責任編委?張哲 Recommended?by?Associate?Editor 1.?合肥工業大學?電氣與自動化工程學院?安徽?合肥?230009????2.?國網江蘇省電力公司電力科學研究院?江蘇?南京?211103????3.?中國電力科學研究院 (南京)?江蘇?南京?210003????4.?中國電力科學研究院(北京)?北京?100192 1.?Electrical?Engineering?and?Automation,?Hefei?University?ofTechnology,?Hefei?Anhui,?230009,?China?100190????2.?Electric
                    • Power?Research?Institute?of?State?Grid?Jiangsu?Electric?PowerCompany,?Nanjing?Jiangsu,?211103,?China????3.?China?ElectricPower?Research?Institute?(Nanjing),?Nanjing?Jiangsu,?210003,China????4.?Editorial?China?Electric?Power?Research?Institute(Beijing),?Beijing,?100192,?China
                    • 基金項目:  國家重點研發計劃項目(2017YFB0902600), 國家電網公司科技項目(SGJS0000DKJS1700840)資助

                    Learning-Based Optimization of Active Distribution System Dispatch in Industrial Park Considering the Peak Operation Demand of Power Grid

                    More Information
                    • Fund Project:  Supported by the National Key R&D of China (2017YFB0902600) and the State Grid Corporation of China Project (SGJS0000DKJS1700840)
                    • 摘要: 本文針對含光伏(PV)、全釩液流電池(VRB)儲能裝置與多類型柔性負荷的工業園區主動配電系統, 研究在考慮源荷隨機性情況下該系統的動態經濟調度問題. 首先, 將PV出力、多類型負荷需求和電網調峰需求的隨機動態變化近似描述為連續馬爾可夫過程, 并根據系統內VRB的充放電特性對儲能系統進行建模; 然后, 以各決策時刻下PV出力、負荷需求、調峰需求以及儲能荷電狀態(SOC)的離散等級為狀態, 以儲能充放電及多類型柔性負荷調整方案為行動, 在系統功率平衡等相關約束下, 以應對電網調峰需求和提高系統經濟運行水平為目標, 將工業園區主動配電網系統動態經濟調度優化問題建立成隨機動態規劃模型; 最后, 引入強化學習方法進行策略求解. 算例仿真結果表明所得策略可有效提高系統經濟運行效益, 并在一定程度上滿足電網調峰需求.
                       收稿日期?xxxx-xx-xx????錄用日期?xxxx-xx-xx Manuscript?received?xx?xx,?xxxx;?accepted?xx?xx,?xxxx 國家重點研發計劃項目 (2017YFB0902600),?國家電網公司科技項目(SGJS0000DKJS1700840) 資助 Supported?by?the?National?Key?R&D?of?China?(2017YFB0902600)and?the?State?Grid?Corporation?of?China?Project?(SGJS0000DKJS 1700840) 本文責任編委?張哲 Recommended?by?Associate?Editor 1.?合肥工業大學?電氣與自動化工程學院?安徽?合肥?230009????2.?國網江蘇省電力公司電力科學研究院?江蘇?南京?211103????3.?中國電力科學研究院 (南京)?江蘇?南京?210003????4.?中國電力科學研究院(北京)?北京?100192 1.?Electrical?Engineering?and?Automation,?Hefei?University?ofTechnology,?Hefei?Anhui,?230009,?China?100190????2.?Electric
                      Power?Research?Institute?of?State?Grid?Jiangsu?Electric?PowerCompany,?Nanjing?Jiangsu,?211103,?China????3.?China?ElectricPower?Research?Institute?(Nanjing),?Nanjing?Jiangsu,?210003,China????4.?Editorial?China?Electric?Power?Research?Institute(Beijing),?Beijing,?100192,?China
                    • 圖  1  工業園區主動配電系統結構模型

                      Fig.  1  Structure model of active distribution system in industrial park

                      圖  2  VRB等效電路圖

                      Fig.  2  Equivalent circuit model of VRB

                      圖  3  采用三段式充放電策略時VRB的充電曲線

                      Fig.  3  Charging curve using strategy three-phase of VRB

                      圖  4  工業園區內PV出力與總負荷需求預測曲線

                      Fig.  4  Prediction curves of PV and loads demand in industrial parks

                      圖  5  工業園區內各類柔性負荷典型日曲線

                      Fig.  5  Prediction curves of multi-type flexible loads in industrial parks

                      圖  6  不同學習優化算法下的系統總學習優化過程曲線

                      Fig.  6  The optimal curve of the system under different learning optimization algorithm

                      圖  7  系統學習優化過程的策略性能曲線

                      Fig.  7  The strategic performance curve of the system learning optimization process

                      圖  8  調峰學習優化曲線

                      Fig.  8  The optimal curve of peak operation

                      圖  10  各時段電網調峰指令完成情況示意圖

                      Fig.  10  The completion of peak adjustment instruction

                      圖  9  末代價學習優化曲線

                      Fig.  9  The optimal curve of final cost

                      圖  11  不同初始荷電狀態下各時段SOC變化情況

                      Fig.  11  Changing process of SOC under different initial values

                      圖  12  學習優化前后系統負荷曲線

                      Fig.  12  The curves of load before and after learning optimization in the system

                      圖  13  學習優化后各時段典型柔性負荷調整量

                      Fig.  13  Adjustment of multi-type flexible loads after optimization

                      圖  14  不同調度模式下的調峰效果比較圖

                      Fig.  14  Comparison effect of peak operation under different dispatching modes

                      圖  15  不同調度模式下負荷優化結果比較圖

                      Fig.  15  Comparison diagram of load optimal results under different dispatching modes

                      圖  16  不同儲能容量占比下的各項代價比較圖

                      Fig.  16  Comparison of costs under different proportion of energy storage capacity

                      圖  17  不同柔性負荷占比下的各項代價比較圖

                      Fig.  17  Comparison of costs under different proportion of flexible load

                      圖  18  不同方案下的調峰需求未完成量比較圖

                      Fig.  18  Unfinished amount of peak operation demand under different projects

                      圖  19  優化策略下各時段行動選取情況

                      Fig.  19  Choice of action pairs under optimal policy

                      圖  20  優化策略下不同模式的調峰需求未完成量比較圖

                      Fig.  20  Unfinished amount of peak operation demand under different modes in optimal policy

                      表  1  部分變量符號

                      Table  1  Partial variable symbols

                      參數/變量 符號
                      $t$時刻與電網交互功率 $P_{grid}^t$
                      $t$時刻光伏出力 $P_{pv}^t$
                      $t$時刻剛性負荷功率 $P_{rl}^t$
                      $t$時刻可削減負荷功率 $P_{cu}^t$
                      $t$時刻可轉移負荷功率 $P_{sh}^t$
                      $t$時刻電網調峰需求 $P_{peak}^t$
                      $t$時刻電網調峰需求未完成量 $P_{unf}^t$
                      $t$時刻儲能裝置充放電功率 $P_{vrb}^t$
                      $t$時刻儲能裝置功率上/下限 ${P_{vrbmax}^t/P_{vrbmin}^t}$
                      調度周期始/末時刻 ${t_{beg}}/{t_{end}}$
                      儲能裝置充/放電電流 ${I_d^{charge}/I_d^{discharge}}$
                      儲能裝置充/放電電壓 ${U_d^{charge}/U_d^{discharge}}$
                      儲能裝置端電壓上/下限 ${U_d^{max}U_d^{min}}$
                      儲能裝置額定電流 ${I_d^{max}}$
                      儲能裝置涓流充放電電流 ${I_d^{min}}$
                      儲能裝置SOC上/下限 ${SOC_{vrb}^{max}/SOC_{vrb}^{min}}$
                      始末時刻荷電狀態期望值 ${{C_{con}}}$
                      下載: 導出CSV

                      表  2  VRB模型參數設置表

                      Table  2  Parameters of VRB

                      VRB本體參數名稱 數值/單位 VRB模型參數名稱 數值/單位
                      能量 30 kwh $R_1$ 0.045 Ω
                      容量 630 Ah $R_2$ 0.03 Ω
                      額定功率 5 kw $R_f$ 13.889 Ω
                      端電壓 42-60 V $C_e$ 0.154 F
                      額定電流 105 A $I_p$ 5 A
                      下載: 導出CSV

                      表  3  學習優化前后系統總負荷特征

                      Table  3  The characteristic of load before and after learning optimization in the system

                      類型/單位 峰值(kw) 谷值(kw) 峰谷差(kw)
                      優化前 5 289 2 600 2 689
                      優化后 4 995 2 460 2 535
                      下載: 導出CSV

                      表  4  不同調度模式下的相關指標

                      Table  4  Related indexes under different dispatching modes

                      總體代價(元) 調峰代價(元) 購電代價(元) VRB充放代價(元) 柔性負荷補償金額(元/d)
                      模式1 44 500 1 421 37 910 342 4 743
                      模式2 48 870 7 483 40 997 362 0
                      模式3 46 260 1 845 37 986 0 6 432
                      模式4 55 160 12 780 42 380 0 0
                      下載: 導出CSV

                      表  5  不同方案下的相關指標

                      Table  5  Related indexes under different projects

                      總體代價(元) 調峰代價(元) 調峰完成度
                      方案1 44 500 1421 88.9%
                      方案2 45 120 1772.9 86.1%
                      下載: 導出CSV

                      表  6  優化策略下部分狀態行動

                      Table  6  Partial state-action pairs under optimal policy

                      狀態編號 407 8832 18549 24075 25533 33491 38955 42845
                      決策時刻 0時 4時 9時 12時 13時 17時 20時 22時
                      各類負荷狀態 (1,1,0,2) (1,1,2,1) (1,1,1,0) (2,1,1,0) (2,1,1,0) (0,1,2,0) (1,0,1,0) (1,0,2,0)
                      儲能裝置動作 充電 充電 放電 放電 閑置 放電 放電 閑置
                      柔性負荷動作 (0,1,0) (0,1,1) (1,0,0) (0,-1,0) (2,-1,0) (2,0,0) (1,0,0) (0,1,0)
                      下載: 導出CSV

                      表  7  優化策略下不同模式的相關指標

                      Table  7  Related indexes under different modes in optimal policy

                      總體代價(元) 調峰代價(元) 購電代價(元) VRB充放代價(元) 柔性負荷補償金額(元/d)
                      模式1 42 370 1 125 35 800 389 5 056
                      模式2 50 856 8 266 42 049 350 0
                      模式3 47 555 1 566 39 867 0 6 122
                      模式4 55 297 13 131 42 166 0 0
                      下載: 導出CSV
                      360彩票
                    • [1] 趙冬梅, 張楠, 劉燕華, 張旭. 基于儲能的微網并網和孤島運行模式平滑切換綜合控制策略. 電網技術, 2013, 37(2): 301?306

                      1 Zhao Dong-Mei, Zhang Nan, Liu Yan-Hua, Zhang Xu. Synthetical control strategy for smooth switching between grid-connected and islanded operation modes of microgrid based on energy storage system. Power System Technology, 2013, 37(2): 301?306
                      [2] 趙波, 王財勝, 周金輝, 趙俊暉, 楊野青, 余金龍. 主動配電網現狀與未來發展. 電力系統自動化, 2014, 38(18): 125?135 doi:  10.7500/AEPS20131218007

                      2 Zhao Bo, Wang Cai-Sheng, Zhou Jin-Hui, Zhao Jun-Hui, Yang Ye-Qing, Yu Jin-Long. Present and Future Development Trend of Active Distribution Network. Automation of Electric Power Systems, 2014, 38(18): 125?135 doi:  10.7500/AEPS20131218007
                      [3] 范明天. 主動配電系統定義與研究. 供用電, 2015, 32(2): 45?47 doi:  10.3969/j.issn.1006-6357.2015.02.011

                      3 Fan Ming-Tian. The definition and research of the active power distribution. Distribution & Utilization, 2015, 32(2): 45?47 doi:  10.3969/j.issn.1006-6357.2015.02.011
                      [4] 馬釗, 梁惠施, 蘇劍. 主動配電系統規劃和運行中的重要問題. 電網技術, 2015, 39(6): 1499?1503

                      4 Ma Zhao, Liang Hui-Shi, Su Jian. Important issues in planning and operation of active distribution system. Power System Technology, 2015, 39(6): 1499?1503
                      [5] 朱澤鋒, 趙晉泉, 魏文輝, 等. 主動配電網中電池儲能系統最優充放電策略. 電力系統自動化, 2016, 40(20): 47?53 doi:  10.7500/AEPS20160417004

                      5 Zhu Ze-Feng, Zhao Jin-Quan, Wei Wen-Hui, et al. Optimal charging and discharging scheme of battery energy storage system in active distribution network. Automation of Electric Power Systems, 2016, 40(20): 47?53 doi:  10.7500/AEPS20160417004
                      [6] 6 Liu W, Niu S, Huiting X U. Optimal planning of battery energy storage considering reliability benefit and operation strategy in active distribution system. Journal of Modern Power Systems & Clean Energy, 2017, 5(2): 177?186
                      [7] 盛四清, 劉夢. 主動配電系統中分布式電源和儲能系統協調規劃. 電力系統及其自動化學報, 2017, 29(2): 71?76 doi:  10.3969/j.issn.1003-8930.2017.02.012

                      7 Sheng Si-Qing, Liu Meng. Coordination planning of distributed generation and energy storage system in active distribution system. Proceedings of the CSU-EPSA, 2017, 29(2): 71?76 doi:  10.3969/j.issn.1003-8930.2017.02.012
                      [8] 8 Shi J, Fei X, Li Y, et al. Active Distribution System Planning for Low-Carbon Objective Using Immune Binary Firefly Algorithm. Journal of Tianjin University, 2017, 50(5): 507?513
                      [9] 9 Chen Q, Zhao X, Gan D. Active-reactive scheduling of active distribution system considering interactive load and battery storage. Protection & Control of Modern Power Systems, 2017, 2(1): 29
                      [10] 魏慶來, 宋睿卓, 孫秋野. 迭代自適應動態規劃理論及應用. 科學出版社, 2015

                      Wei Qing-Lai, Song Rui-Zhuo, Sun Qiu-Ye. Iterative Adaptive Dynamic Programming Theory and Application. Science press, 2015
                      [11] 王澄, 劉德榮, 魏慶來, 趙冬斌, 夏振超. 帶有儲能設備的智能電網電能迭代自適應動態規劃最優控制. 自動化學報, 2014, 40(9): 1984?1990

                      11 Wang Cheng, Liu De-Rong, Wei Qing-Lai, Zhao Dong-Bin, Xia Zhen-Chao. Iterative adaptive dynamic programming approach to power optimal control for smart grid with energy storage devices. Acta Automatica Sinica, 2014, 40(9): 1984?1990
                      [12] 孫秋野, 楊凌霄, 張化光. 智慧能源—–人工智能技術在電力系統中的應用與展望. 控制與決策, 2018, v.33(05): 173?184

                      12 Sun Qiu-Ye, Yang Ling-Xiao, Zhang Hua-Guang. Smart energy — Applications and prospects of artificial intelligence technology in power system. Control and Decision, 2018, v.33(05): 173?184
                      [13] 馬韜韜, 郭創新, 曹一家, 等. 電網智能調度自動化系統研究現狀及發展趨勢. 電力系統自動化, 2010, 34(9): 7?11

                      13 Ma Tao-Tao, Guo Chuang-Xin, Cao Yi-Jia, et al. Current status and development trend of intelligent dispatching automation system of power system. Automation of Electric Power Systems, 2010, 34(9): 7?11
                      [14] 劉愛華, 王雙虎, 梁順, 朱朝陽, 張楠. 工業園區主動配電網關鍵技術研究及應用. 供用電, 2017, 34(7): 21?27

                      14 Liu Ai-Hua, Wang Shuang-Hu, Liang Shun, Zhu Chao-Yang, Zhang Nan. Research and Application of Key Technology of Active Distribution Network in Industrial Park. Distribution & Utilization, 2017, 34(7): 21?27
                      [15] 楊錫運, 董德華, 李相俊, 等. 商業園區儲能系統削峰填谷的有功功率協調控制策略. 電網技術, 2018, 42(8)

                      15 Yang Xi-Yun, Dong De-Hua, Li Xiang-Jun, et al. Active power coordinated control strategy of peak load shifting for energy storage system in business park. Power System Technology, 2018, 42(8
                      [16] 楊楠, 王波, 劉滌塵, 等. 考慮柔性負荷調峰的大規模風電隨機優化調度方法. 電工技術學報, 2013, 28(11): 231?238 doi:  10.3969/j.issn.1000-6753.2013.11.032

                      16 Yang Nan, Wang Bo, Liu Di-Chen, et al. Large-scale wind power scochastic optimation scheduling method considering flexible load peaking. Transaction of China Electrotechnical Society, 2013, 28(11): 231?238 doi:  10.3969/j.issn.1000-6753.2013.11.032
                      [17] 李東, 牟強, 申佃濤, 呂篤潤, 李智. 智能化園區柔性負荷調控技術研究. 電子技術與軟件工程, 2016(12): 230?230

                      17 Li Dong, Mou Qiang, Shen Dian-Tao, Lv Du-Run, Li Zhi. Research on flexible load control technology in intelligent park. Electronic Technology & Software Engineering, 2016(12): 230?230
                      [18] 王珂, 姚建國, 姚良忠, 楊勝春, 雍太有. 電力柔性負荷調度研究綜述. 電力系統自動化, 2014, 38(20): 127?135 doi:  10.7500/AEPS20140422005

                      18 Wang Ke, Yao Jian-Guo, Yao Liang-Zhong, Yang Sheng-Chun, Yong Tai-You. Survey of research on flexible loads scheduling technologies. Automation of Electric Power Systems, 2014, 38(20): 127?135 doi:  10.7500/AEPS20140422005
                      [19] 19 Lawrence D J. 2001 performance of New York ISO demand response programs. IEEE Power Engineering Society Winter Meeting, 2002: 995?998
                      [20] 王珂, 郭曉蕊, 周競, 毛文博, 王勇, 楊勝春. 智能電網" 源-荷”協同調度框架及實現. 電網技術, 2018, 42(8)

                      20 Wang Ke, Guo Xiao-Rui, Zhou Jing, Mao Wen-Bo, Wang Yong, Yang Sheng-Chun. Framework and Realization for Smart Grid "Source - Load" Coordinated Scheduling. Power System Technology, 2018, 42(8
                      [21] 江琦, 路改香, 唐昊, 譚琦. 智能電網彈性響應時間業務需求的接入控制. 控制與決策, 2014(7): 1311?1315

                      21 Jiang Qi, Lu Gai-Xiang, Tang Hao, Tan Qi. Access control of demand requests with response time flexibility in smart grids. Control and Decision, 2014(7): 1311?1315
                      [22] 李怡瑾, 唐昊, 呂凱, 郭曉蕊, 許丹. 源荷不確定冷熱電聯供微網能量調度的建模與學習優化. 控制理論與應用, 2018(1) doi:  10.7641/CTA.2017.60615

                      22 Li Yi-Jin, Tang Hao, Lv Kai, Guo Xiao-Rui, Xu Dan. Modeling and learning-based optimization of the energy dispatch for a combined cooling, heat and power microgrid system with uncertain sources and loads. Control Theory & Applications, 2018(1 doi:  10.7641/CTA.2017.60615
                      [23] 23 Li Y Z, Niu J C. Forecast of Power Generation for Grid-Connected Photovoltaic System Based on Markov Chain. IEEE Power and Energy Engineering Conference, 2009: 1729?1733
                      [24] 24 Liang H, Tamang A K, Zhuang W, et al. Stochastic Information Management in Smart Grid. IEEE Communications Surveys & Tutorials, 2014, 16(3): 1746?1770
                      [25] 25 Hong Y Y, Lian R C. Optimal Sizing of Hybrid Wind/PV/Diesel Generation in a Stand-Alone Power System Using Markov-Based Genetic Algorithm. IEEE Transactions on Power Delivery, 2014, 27(2): 640?647
                      [26] 26 Breipohl A M, Lee F N, Zhai D, et al. A Gauss-Markov load model for application in risk evaluation and production simulation. IEEE Transactions on Power Systems, 1992, 7(4): 1493?1499 doi:  10.1109/59.207373
                      [27] 27 Zhai D, Breipohl A M, Lee F N, et al. The effect of load uncertainty on unit commitment risk. IEEE Transactions on Power Systems, 1994, 9(1): 510?517 doi:  10.1109/59.317572
                      [28] 28 CHAHWAN J, ABBEY C, JOOS G. VRB modelling for the study of output terminal voltages, internal losses and performance. IEEE Electrical Power Conference, 2007: 387?392
                      [29] 邱亞, 李鑫, 魏達, 余玲. 全釩液流電池的柔性充放電控制. 儲能科學與技術, 2017, 6(1): 78?84 doi:  10.12028/j.issn.2095-4239.2016.0006

                      29 Qiu Ya, Li Xin, Wei Da, Yu Ling. Flexible charge-discharge control of vanadium redox battery. Energy Storage Science and Technology, 2017, 6(1): 78?84 doi:  10.12028/j.issn.2095-4239.2016.0006
                      [30] 沈玉明, 胡博, 謝開貴, 向彬, 萬凌云. 計及儲能壽命損耗的孤立微電網最優經濟運行. 電網技術, 2014, 38(9): 2371?2378

                      30 Shen Yu-Ming, Hu Bo, Xie Kai-Gui, Xiang Bin, Wan Ling-Yun. Optimal economic operation of isolated microgrid considering battery life loss. Power System Technology, 2014, 38(9): 2371?2378
                      [31] 李衍杰. 擴展Markov決策過程的性能靈敏度分析與優化[D]. 中國科學技術大學, 2006

                      Li Yan-Jie. Performance sensitivity analysis and optimization of extended Markov decision[Ph. D. dissertation], University of Science and Technology of China, 2006
                      [32] 田兵, 喻磊, 雷金勇, 等. 工業型用戶側微電網儲能運行方式與微電網的運營模式. 南方電網技術, 2016, 10(8): 48?55

                      32 Tian Bing, Yu Lei, Lei Jin-Yong, et al. Energy storage operation mode and business mode of industrial type user-side microgrid. Southern Power System Technology, 2016, 10(8): 48?55
                      [33] 邱亞, 李鑫, 陳薇, 魏達, 段澤民. 基于RLS和EKF算法的全釩液流電池SOC估計. 控制與決策, 2018, 33(1): 37?44

                      33 Qiu Ya, Li Xin, Chen Wei, Wei Da, Duan Ze-Min. Vanadium redox battery SOC estimation based on RLS and EKF algorithm. Control and Decision, 2018, 33(1): 37?44
                      [34] 趙娟, 譚忠富, 李強. 我國峰谷分時電價的狀況分析. 現代電力, 2005, 22(2): 82?85 doi:  10.3969/j.issn.1007-2322.2005.02.019

                      34 Zhao Juan, Tan Zhong-Fu, Li Qiang. Analysis of time-of-use power price in China. Modern Electric Power, 2005, 22(2): 82?85 doi:  10.3969/j.issn.1007-2322.2005.02.019
                    • [1] 周宏宇, 王小剛, 單永志, 趙亞麗, 崔乃剛. 基于改進粒子群算法的飛行器協同軌跡規劃[J]. 自動化學報, doi: 10.16383/j.aas.c190865
                      [2] 席磊, 周禮鵬. 分布式多區域多能微網群協同AGC算法[J]. 自動化學報, doi: 10.16383/j.aas.c200105
                      [3] 孫長銀, 穆朝絮. 多智能體深度強化學習的若干關鍵科學問題[J]. 自動化學報, doi: 10.16383/j.aas.c200159
                      [4] 殷林飛, 陳呂鵬, 余濤, 張孝順. 基于CPSS平行系統懶惰強化學習算法的實時發電調控[J]. 自動化學報, doi: 10.16383/j.aas.c180215
                      [5] 劉乃軍, 魯濤, 蔡瑩皓, 王碩. 機器人操作技能學習方法綜述[J]. 自動化學報, doi: 10.16383/j.aas.c180076
                      [6] 張耀中, 胡小方, 周躍, 段書凱. 基于多層憶阻脈沖神經網絡的強化學習及應用[J]. 自動化學報, doi: 10.16383/j.aas.c180685
                      [7] 袁兆麟, 何潤姿, 姚超, 李佳, 班曉娟, 李瀟睿. 基于強化學習的濃密機底流濃度在線控制算法[J]. 自動化學報, doi: 10.16383/j.aas.c190348
                      [8] 張一珂, 張鵬遠, 顏永紅. 基于對抗訓練策略的語言模型數據增強技術[J]. 自動化學報, doi: 10.16383/j.aas.2018.c170464
                      [9] 徐茂鑫, 張孝順, 余濤. 遷移蜂群優化算法及其在無功優化中的應用[J]. 自動化學報, doi: 10.16383/j.aas.2017.c150791
                      [10] 田淵棟. 阿法狗圍棋系統的簡要分析[J]. 自動化學報, doi: 10.16383/j.aas.2016.y000001
                      [11] 陳興國, 俞揚. 強化學習及其在電腦圍棋中的應用[J]. 自動化學報, doi: 10.16383/j.aas.2016.y000003
                      [12] 劉德榮, 李宏亮, 王鼎. 基于數據的自學習優化控制:研究進展與展望[J]. 自動化學報, doi: 10.3724/SP.J.1004.2013.01858
                      [13] 程玉虎, 馮渙婷, 王雪松. 基于參數探索的期望最大化策略搜索[J]. 自動化學報, doi: 10.3724/SP.J.1004.2012.00038
                      [14] 朱美強, 程玉虎, 李明, 王雪松, 馮渙婷. 一類基于譜方法的強化學習混合遷移算法[J]. 自動化學報, doi: 10.3724/SP.J.1004.2012.01765
                      [15] 程玉虎, 馮渙婷, 王雪松. 基于狀態-動作圖測地高斯基的策略迭代強化學習[J]. 自動化學報, doi: 10.3724/SP.J.1004.2011.00044
                      [16] 唐昊, 萬海峰, 韓江洪, 周雷. 基于多Agent強化學習的多站點CSPS系統的協作Look-ahead控制[J]. 自動化學報, doi: 10.3724/SP.J.1004.2010.00289
                      [17] 王雪松, 田西蘭, 程玉虎, 易建強. 基于協同最小二乘支持向量機的Q學習[J]. 自動化學報, doi: 10.3724/SP.J.1004.2009.00214
                      [18] 江琦, 奚宏生, 殷保群. 動態電源管理的隨機切換模型與在線優化[J]. 自動化學報, doi: 10.1360/aas-007-0066
                      [19] 高陽, 陳世福, 陸鑫. 強化學習研究綜述[J]. 自動化學報
                      [20] 胡光華, 吳滄浦. 平均準則問題的即時差分學習算法[J]. 自動化學報
                    • 加載中
                    計量
                    • 文章訪問數:  1585
                    • HTML全文瀏覽量:  3906
                    • 被引次數: 0
                    出版歷程
                    • 網絡出版日期:  2020-01-02

                    考慮電網調峰需求的工業園區主動配電系統調度學習優化

                    doi: 10.16383/j.aas.c190079
                      基金項目:  國家重點研發計劃項目(2017YFB0902600), 國家電網公司科技項目(SGJS0000DKJS1700840)資助
                      作者簡介:

                      合肥工業大學電氣與自動化工程學院教授, 2002年獲中國科技大學博士學位, 主要研究方向為離散事件動態系統, 隨機決策與優化理論, 智能電網調度與控制方法. 本文通信作者. E-mail: htang@hfut.edu.cn

                      合肥工業大學電氣與自動化工程學院碩士研究生, 2016年獲得合肥工業大學學士學位, 主要研究方向為源荷不確定電力系統的調度學習優化. E-mail: cliu@mail.hfut.edu.cn

                      高級工程師, 主要研究方向為電力系統仿真與經濟調度. E-mail: yangming@epri.sgcc.com.cn

                      研究員級高級工程師, 主要研究方向為智能電網調度、電力系統仿真. E-mail: tangbiqiang@epri.sgcc.com.cn

                      高級工程師, 主要研究方向為電力系統節能經濟調度. E-mail: xudan@epri.sgcc.com.cn

                      合肥工業大學電氣與自動化工程學院博士研究生. 2012年獲得遼寧大學學士學位. 主要研究方向為人工智能及其在電網調度優化中的應用. E-mail: kail@mail.hfut.edu.cn

                    •  收稿日期?xxxx-xx-xx????錄用日期?xxxx-xx-xx Manuscript?received?xx?xx,?xxxx;?accepted?xx?xx,?xxxx 國家重點研發計劃項目 (2017YFB0902600),?國家電網公司科技項目(SGJS0000DKJS1700840) 資助 Supported?by?the?National?Key?R&D?of?China?(2017YFB0902600)and?the?State?Grid?Corporation?of?China?Project?(SGJS0000DKJS 1700840) 本文責任編委?張哲 Recommended?by?Associate?Editor 1.?合肥工業大學?電氣與自動化工程學院?安徽?合肥?230009????2.?國網江蘇省電力公司電力科學研究院?江蘇?南京?211103????3.?中國電力科學研究院 (南京)?江蘇?南京?210003????4.?中國電力科學研究院(北京)?北京?100192 1.?Electrical?Engineering?and?Automation,?Hefei?University?ofTechnology,?Hefei?Anhui,?230009,?China?100190????2.?Electric
                    • Power?Research?Institute?of?State?Grid?Jiangsu?Electric?PowerCompany,?Nanjing?Jiangsu,?211103,?China????3.?China?ElectricPower?Research?Institute?(Nanjing),?Nanjing?Jiangsu,?210003,China????4.?Editorial?China?Electric?Power?Research?Institute(Beijing),?Beijing,?100192,?China

                    摘要: 本文針對含光伏(PV)、全釩液流電池(VRB)儲能裝置與多類型柔性負荷的工業園區主動配電系統, 研究在考慮源荷隨機性情況下該系統的動態經濟調度問題. 首先, 將PV出力、多類型負荷需求和電網調峰需求的隨機動態變化近似描述為連續馬爾可夫過程, 并根據系統內VRB的充放電特性對儲能系統進行建模; 然后, 以各決策時刻下PV出力、負荷需求、調峰需求以及儲能荷電狀態(SOC)的離散等級為狀態, 以儲能充放電及多類型柔性負荷調整方案為行動, 在系統功率平衡等相關約束下, 以應對電網調峰需求和提高系統經濟運行水平為目標, 將工業園區主動配電網系統動態經濟調度優化問題建立成隨機動態規劃模型; 最后, 引入強化學習方法進行策略求解. 算例仿真結果表明所得策略可有效提高系統經濟運行效益, 并在一定程度上滿足電網調峰需求.

                     收稿日期?xxxx-xx-xx????錄用日期?xxxx-xx-xx Manuscript?received?xx?xx,?xxxx;?accepted?xx?xx,?xxxx 國家重點研發計劃項目 (2017YFB0902600),?國家電網公司科技項目(SGJS0000DKJS1700840) 資助 Supported?by?the?National?Key?R&D?of?China?(2017YFB0902600)and?the?State?Grid?Corporation?of?China?Project?(SGJS0000DKJS 1700840) 本文責任編委?張哲 Recommended?by?Associate?Editor 1.?合肥工業大學?電氣與自動化工程學院?安徽?合肥?230009????2.?國網江蘇省電力公司電力科學研究院?江蘇?南京?211103????3.?中國電力科學研究院 (南京)?江蘇?南京?210003????4.?中國電力科學研究院(北京)?北京?100192 1.?Electrical?Engineering?and?Automation,?Hefei?University?ofTechnology,?Hefei?Anhui,?230009,?China?100190????2.?Electric
                    Power?Research?Institute?of?State?Grid?Jiangsu?Electric?PowerCompany,?Nanjing?Jiangsu,?211103,?China????3.?China?ElectricPower?Research?Institute?(Nanjing),?Nanjing?Jiangsu,?210003,China????4.?Editorial?China?Electric?Power?Research?Institute(Beijing),?Beijing,?100192,?China

                    English Abstract

                    唐昊, 劉暢, 楊明, 湯必強, 許丹, 呂凱. 考慮電網調峰需求的工業園區主動配電系統調度學習優化. 自動化學報, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    引用本文: 唐昊, 劉暢, 楊明, 湯必強, 許丹, 呂凱. 考慮電網調峰需求的工業園區主動配電系統調度學習優化. 自動化學報, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    Tang Hao, Liu Chang, Yang Ming, Tang Bi-Qiang, Xu Dan, Lv Kai. Learning-based optimization of active distribution system dispatch in industrial park considering the peak operation demand of power grid. Acta Automatica Sinica, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    Citation: Tang Hao, Liu Chang, Yang Ming, Tang Bi-Qiang, Xu Dan, Lv Kai. Learning-based optimization of active distribution system dispatch in industrial park considering the peak operation demand of power grid. Acta Automatica Sinica, 2019, 45(x): 1?15. doi: 10.16383/j.aas.c190079
                    • 近年來, 由于能源危機和生存環境的不斷惡化, 各國政府紛紛出臺政策鼓勵和推進新能源發展. 隨著光伏(photovoltaic, PV)、風電等新能源的大規模應用, 配電網的分布式特性愈發明顯, 電網調峰形勢愈加嚴峻[1], 傳統配電網逐漸演變成為可對分布式發電、柔性負荷和儲能三者進行主動控制的主動配電系統[2, 3]. 如何有效利用需求響應資源以及對新能源、儲能、柔性負荷等分布式調峰資源進行協調優化控制, 提高新能源利用率, 緩解電網調峰壓力, 保持配電系統運行的經濟性, 增強電力系統的可靠性和可控性, 是主動配電系統研究的重要發展趨勢[4, 5].

                      國內外學者通過不同的建模與求解方法對各類主動配電系統的運行、管理、優化等問題展開了大量研究. 文獻[6]在考慮分布式能源特性的基礎上建立了主動配電系統優化調度模型, 并提出了基于智能單粒子優化算法的求解方法, 實現完整調度周期內主動配電系統優化調度策略求解. 文獻[7]建立了分布式電源和儲能系統的多目標協調規劃模型, 并采用了改進的生物地理學優化算法對主動配電系統多目標調度問題進行求解, 但以上文獻均未考慮到柔性負荷對調度問題的影響. 文獻[8]建立了考慮分布式能源和柔性負荷的主動配電系統調度規劃模型, 并提出了一種免疫二叉螢火蟲算法來求解多目標優化問題的最優策略, 但沒有考慮儲能裝置和柔性負荷的協調調度作用. 文獻[9]提出一種新的多周期柔性負荷與儲能系統協調調度模型, 并通過改進的粒子群算法對主動配電系統經濟調度問題進行求解. 上述文獻均是在預測數據的基礎上對主動配電系統的運行優化問題進行研究, 并未考慮到系統中新能源出力和各類負荷變化過程的隨機動態特性對系統運行效率的影響. 但新能源出力及各類負荷需求的不確定性是普遍存在且不可避免的, 當實際值與日前預測值相差較大時, 若以預測數據為基礎確定相應的優化控制策略, 將難以保證主動配電系統的長期經濟運行.

                      另外, 隨著新能源滲透率的日益增加以及用電環節的不斷智能化, 主動配電系統源荷雙側的不確定性不斷加大, 電力系統調度也不斷向智能化發展, 傳統的基于模型的靜態優化算法變得越發不適用[10, 11]. 在智能電網背景下, 利用人工智能技術為電力系統動態調度問題提供智能化解決方案是當前調度計劃研究的重點[12, 13].

                      目前, 主動配電系統的優化研究主要針對居民用戶和商業用戶, 對工業用戶的研究較少, 且較少考慮需求側調峰問題[14]. 為此, 儲能系統和柔性負荷作為需求側調峰資源參與電力調度問題越發值得關注. 文獻[15]提出了一種儲能系統削峰填谷的變參數功率差控制方法, 實現在滿足商業園區運行經濟性的同時降低自身負荷峰谷差的目標. 文獻[16]構建了供需側聯合隨機調度模型, 并通過仿真驗證了柔性負荷的調峰效益. 文獻[17]論證了對工業園區內的柔性負荷進行控制能夠降低用電高峰期用戶集中用電給電網帶來的調峰壓力, 提高大電網運行的安全性和穩定性.

                      因此, 在上述研究基礎上, 本文研究了工業園區主動配電系統實時響應大電網系統下發電隨機調峰需求的優化調度問題. 首先, 本文根據VRB儲能裝置的充放電特性建立其數學模型, 并采用三段式安全充放電控制策略求解模型; 然后, 本文考慮了多類型柔性負荷, 并針對各類柔性負荷特性分別進行了建模處理; 最后, 考慮到當前電力系統調度問題一般為離散時段決策, 并且各個決策時刻間具有時序相關性, 將考慮電網調峰隨機需求和源荷雙側隨機性的工業園區主動配電系統內多類型柔性負荷與儲能裝置協同動態調度問題建成離散時間馬爾可夫決策過程(discrete time Markov decision process, DTMDP)模型, 并采用學習優化方法對該動態調度優化問題進行策略求解.

                      在系統實際運行過程中, 可根據觀測狀態及最優策略選擇最優的控制行動, 實時制定出各類型柔性負荷調整計劃和儲能裝置充放電計劃, 從而在發、供、用電平衡協調基礎上緩解電網調峰壓力并實現系統安全經濟運行的目標.

                      • 本文研究的是由工業園區調度中心、屋頂光伏、VRB儲能系統以及多類型用戶負荷等組成的工業園區主動配電系統. 其中, 園區調度中心作為協調電網調控中心與工業用戶的中間機構, 可實現系統內整個負荷群的宏觀整體協調響應以及微觀靈活分散自治[18], 進而可以調控需求側配電系統內各類調峰資源以滿足大電網實時調峰需求, 同時實現系統的供需平衡以及經濟運行, 系統結構如圖1所示.

                        圖  1  工業園區主動配電系統結構模型

                        Figure 1.  Structure model of active distribution system in industrial park

                        主動配電系統在任意時刻$ t $都需要滿足實時供需平衡, 即:

                        $$ \sum\limits_{n = 1}^{{N_p}} {P_{pv}^{t,n}} + P_{grid}^t = \sum\limits_{n = 1}^{{N_{vrb}}} {P_{vrb}^{t,n}} + \sum\limits_{n = 1}^{{N_{load}}} {P_{load}^{t,n}} $$ (1)

                        式中, $ P_{pv}^{t,n} $表示$ t $時刻第$ n $臺PV發電機組發電功率, $ {N_p} $為園區內PV發電機組臺數; $ P_{vrb}^{t,n} $表示$ t $時刻第$ n $臺VRB儲能裝置充放電功率, $ {N_{vrb}} $為園區內VRB儲能裝置數量; $ P_{load}^{t,n} $表示$ t $時刻第$ n $種負荷的電力需求功率, $ {N_{load}} $為工業園區內負荷的種類數, 其它變量參見表1.

                        表 1  部分變量符號

                        Table 1.  Partial variable symbols

                        參數/變量 符號
                        $t$時刻與電網交互功率 $P_{grid}^t$
                        $t$時刻光伏出力 $P_{pv}^t$
                        $t$時刻剛性負荷功率 $P_{rl}^t$
                        $t$時刻可削減負荷功率 $P_{cu}^t$
                        $t$時刻可轉移負荷功率 $P_{sh}^t$
                        $t$時刻電網調峰需求 $P_{peak}^t$
                        $t$時刻電網調峰需求未完成量 $P_{unf}^t$
                        $t$時刻儲能裝置充放電功率 $P_{vrb}^t$
                        $t$時刻儲能裝置功率上/下限 ${P_{vrbmax}^t/P_{vrbmin}^t}$
                        調度周期始/末時刻 ${t_{beg}}/{t_{end}}$
                        儲能裝置充/放電電流 ${I_d^{charge}/I_d^{discharge}}$
                        儲能裝置充/放電電壓 ${U_d^{charge}/U_d^{discharge}}$
                        儲能裝置端電壓上/下限 ${U_d^{max}U_d^{min}}$
                        儲能裝置額定電流 ${I_d^{max}}$
                        儲能裝置涓流充放電電流 ${I_d^{min}}$
                        儲能裝置SOC上/下限 ${SOC_{vrb}^{max}/SOC_{vrb}^{min}}$
                        始末時刻荷電狀態期望值 ${{C_{con}}}$

                        本文將該系統中總負荷按需求管理模式分為剛性負荷和柔性負荷[1], 其中工業園區內剛性負荷屬于不可調節的用電需求, 應優先被滿足; 園區內柔性負荷屬于可控負荷, 常被用于參與系統緊急調峰的需求響應[19]. 現將柔性負荷按響應特性分為可削減負荷、可轉移負荷和可平移負荷三種類型. 其中, 可削減負荷指可根據需要對用電量進行部分或全部削減的負荷; 可轉移負荷在一個調度周期內總用電量不變, 但各時段用電量可靈活調節; 可平移負荷受生產流程約束, 其用電曲線只能在不同時段間平移[18]. 各類負荷需求可表示為:

                        $$ \sum\limits_{n = 1}^{{N_{load}}} {P_{load}^{t,n}} = \sum\limits_{n = 1}^{{N_r}} {P_{rl}^{t,n}} + \sum\limits_{n = 1}^{{N_f}} {P_{fl}^{t,n}} \quad \quad \quad \;\;\;$$ (2)
                        $$ \sum\limits_{n = 1}^{{N_f}} {P_{fl}^{t,n}} = \sum\limits_{n = 1}^{{N_c}} {P_{cu}^{t,n}} + \sum\limits_{n = 1}^{{N_s}} {P_{sh}^{t,n}} + \sum\limits_{n = 1}^{{N_h}} {P_{hs}^{t,n}} $$ (3)

                        式中, $ P_{rl}^{t,n} $, $ P_{fl}^{t,n} $, $ P_{cu}^{t,n} $, $ P_{sh}^{t,n} $, $ P_{hs}^{t,n} $分別為$ t $時刻第$ n $個剛性負荷, 柔性負荷, 可削減負荷, 可轉移負荷及可平移負荷需求功率; $ {N_r} $, $ {N_f} $, $ {N_c} $, $ {N_s} $, $ {N_h} $分別為園區內剛性負荷、柔性負荷、可削減負荷, 可轉移負荷及可平移負荷的數量.

                        本文園區調度中心采取基于合同的直接負荷控制策略, 考慮的柔性負荷只限于與園區調度中心簽訂合同服從其調度指令的負荷. 在調度周期內, 調度中心對負荷具有直接調控權, 可直接控制各類柔性負荷在時序上重新調度, 并在調度結束后根據負荷調整量給予一定補償[20].

                      • 由于環境和用戶行為的隨機特性, 新能源出力與各類負荷實際需求變化既具有一定統計特征, 同時也具有隨機不確定性[21, 22]. 本文涉及到的隨機變量分別為PV出力、各類負荷需求和電網調峰需求.

                      • 在系統實際運行過程中, 可以根據氣象數據預測得到次日的PV出力預測曲線. 設根據預測得到的$ t $時刻PV出力為$ P_{pvbase}^t $, 由于預測準確性有限, 在$ t $時刻實際PV出力$ P_{pv}^t $可視為預測值$ P_{pvbase}^t $與隨機不確定部分$ \Delta P_{pv}^t $的疊加, 表達式為:

                        $$ P_{pv}^t = P_{pvbase}^t + \Delta P_{pv}^t $$ (4)

                        本文將PV出力隨機不確定部分的最大范圍離散為$ - {N_{pv}} \sim {N_{pv}} $$ 2{N_{pv}}+1 $個等級, 并將該不確定量隨時間的變化過程用連續時間馬爾可夫過程近似描述[23, 24]. 即假設狀態等級$ n_{{\rm{pv}}}^t $的逗留時間服從參數為$ \lambda _{{\rm{pv}}}^t $的指數分布, 在各時刻下的轉移概率服從以自身狀態為中心的離散高斯分布. 在$ t $時刻PV實際出力可近似描述為:

                        $$ P_{pv}^t = P_{pvbase}^t + n_{{\rm{pv}}}^t\Delta {P_{pv}} $$ (5)

                        其中, $ n_{{\rm{pv}}}^t $表示在$ t $時刻PV出力不確定部分的功率等級; $ \Delta {P_{pv}} $表示PV出力不確定部分離散后的最小單位功率.

                      • 在系統實際運行過程中, 可以通過對環境以及用戶歷史用電行為預測得到$ t $時刻各類負荷需求功率. 但由于各類負荷用電隨機性大, 影響預測的準確性, 在$ t $時刻各類負荷實際需求功率與預測值存在偏差(其中由于可平移負荷一般為固定流程生產線, 故本文不考慮其隨機性), 則$ t $時刻剛性負荷、可削減負荷及可轉移負荷實際需求功率可分別表示為:

                        $$ \left\{ \begin{aligned} &P_{rl}^t = P_{rlbase}^t + \Delta P_{rl}^t \\ & P_{cu}^t = P_{cubase}^t + \Delta P_{cu}^t\\ & P_{sh}^t = P_{shbase}^t + \Delta P_{sh}^t \end{aligned} \right. $$ (6)

                        其中, $ P_{rlbase}^t $, $ P_{cubase}^t $, $ P_{shbase}^t $分別表示$ t $時刻各類負荷的預測需求功率; $ \Delta P_{rl}^t $, $ \Delta P_{cu}^t $, $ \Delta P_{sh}^t $分別表示$ t $時刻各類負荷需求的隨機不確定部分.

                        類似地, 各類負荷需求隨機不確定部分隨時間的變化過程也可看作高斯—馬爾可夫過程[25, 26, 27], 將各類負荷隨機不確定部分的最大范圍區間分別離散為相應的狀態等級$ - {N_{{\rm{rl}}}}\sim {N_{{\rm{rl}}}} $、$ - {N_{{\rm{cu}}}} \sim {N_{{\rm{cu}}}} $、$ - {N_{{\rm{sh}}}} \sim {N_{{\rm{sh}}}} $, 則在$ t $時刻相應狀態等級下的各類負荷實際需求功率可分別描述如下:

                        $$ \left\{ \begin{aligned} & P_{rl}^t = P_{rlbase}^t + n_{rl}^t\Delta {P_r} \\ & P_{cu}^t = P_{cubase}^t + n_{cu}^t\Delta {P_c}\\ & P_{sh}^t = P_{shbase}^t + n_{sh}^t\Delta {P_s} \end{aligned} \right. $$ (7)

                        其中, $ n_{{\rm{rl}}}^t $, $ n_{{\rm{cu}}}^t $$ n_{{\rm{sh}}}^t $分別表示在$ t $時刻剛性負荷、可削減負荷及可轉移負荷需求隨機不確定部分的功率等級, $ \Delta {P_r} $, $ \Delta {P_c} $$ \Delta {P_s} $分別表示各類負荷不確定部分離散后的最小單位功率.

                      • 電網日負荷峰谷差嚴重影響著電力系統穩定性和發電效率, 峰谷差越大, 發電效率越低. 調度日內, 電網實時下發相應調峰指令以期減小日負荷峰谷差, 從而提高電力系統運行穩定性、實現節能減排. 為此, 本文通過對系統內VRB儲能裝置和多類型柔性負荷等需求側調峰資源進行協調控制以滿足電網調峰需求, 緩解電網實時調峰壓力.

                        由于受環境氣候以及用戶行為等諸多隨機因素影響, 電網實際下發給工業園區的調峰指令存在著相應的隨機不確定部分, 任意時刻$ t $電網實際調峰需求$ P_{peak}^t $可表示為:

                        $$ P_{peak}^t = P_{pebase}^t + \Delta P_{peak}^t $$ (8)

                        其中, $ P_{pebase}^t $表示電網調峰需求與時間$ t $相關的規律性變化函數, $ \Delta P_{peak}^t $$ t $時刻電網調峰需求的隨機不確定部分.

                        類似地, 將電網調峰需求隨機不確定部分隨時間的變化過程建模為連續馬爾可夫過程, 并將隨機不確定部分的最大范圍$ [ - \Delta P_{pemax}^t,\Delta P_{pemax}^t] $離散為$ - {N_{peak}} \sim {N_{peak}} $$ 2{N_{peak}} + 1 $個等級, 則在$ t $時刻相應狀態等級$ n_{{\rm{peak}}}^t $下的電網實際調峰需求可描述為:

                        $$ P_{peak}^t = P_{pebase}^t + n_{{\rm{peak}}}^t\Delta {P_{pe}} $$ (9)

                        其中, $ \Delta {P_{pe}} $表示$ t $時刻電網調峰指令不確定部分離散化后的最小單位功率, 狀態等級$n_{{ \rm peak }}^t \in \{ { - {N_{peak}}},$$ \cdots 0,1, \cdots,{N_{peak}}\}$.

                      • VRB的電氣模型有很多種, 為了充分反映其充放電過程中的端電壓、端電流以及SOC等的動態變化特性, 本文采用的VRB等效電路如圖2所示[28, 29].

                        圖  2  VRB等效電路圖

                        Figure 2.  Equivalent circuit model of VRB

                        圖中, $ {U_d} $$ {V_s} $分別為VRB外部端電壓和內核電壓, $ {I_d} $$ {I_p} $分別為充放電電流和泵損電流, $ {R_1} $$ {R_2} $為等效內阻, $ {R_f} $$ {C_e} $分別為寄生損耗和電極電容.

                        根據VRB等效電路圖, 可得到其非線性數學模型如下:

                        $$\left\{ {\begin{aligned}& \displaystyle{\frac{{{\rm{d}}{U_{\rm{c}}}}}{{{\rm{d}}t}} = - \frac{{{R_1} + {R_2} + {R_f}}}{{{R_1} \times ({R_2} + {R_f}) \times {C_e}}} \times {U_{\rm{c}}} + }\\& \displaystyle{\;\;\;\;\;\;\;\;\;\;\frac{{{R_f}}}{{({R_2} + {R_f}) \times {C_e}}} \times ({I_{\rm{d}}} - {I_{\rm{p}}}) + }\\& \displaystyle{\;\;\;\;\;\;\;\;\;\;\frac{N}{{{R_1} \times {C_e}}} \times ({V_{\rm{1}}} + \frac{{2RT}}{F}\ln \frac{{SOC}}{{1 - SOC}})}\\& \displaystyle{\frac{{{\rm{d}}SOC}}{{{\rm{d}}t}} = \frac{1}{{{C_{\rm{N}}}}} \times {I_{\rm{d}}}}\\& \displaystyle{{U_{\rm{d}}} = \frac{{{R_f}}}{{{R_2} + {R_f}}} \times {U_{\rm{c}}} + \frac{{{R_{\rm{2}}} \times {R_f}}}{{{R_2} + {R_f}}} \times ({I_{\rm{d}}} - {I_{\rm{p}}})} \end{aligned}} \right.$$ (10)

                        在系統實際運行中, 需盡量將VRB儲能裝置的SOC控制在0.2-0.8之間以保證VRB工作于安全區內, 防止出現過充過放現象, 提高電池充放電效率. 本文以VRB的端電壓和SOC作為安全充放電切換控制的約束條件, 采用先恒流再恒壓最后涓流充放電的三階段式控制策略求解所建立的VRB非線性數學模型. 其中, 三段式安全充放電控制策略的給定值可分別表示如下:

                        $$ \left\{ \begin{aligned}& I_d^{charge} \; = I_d^{max} \;\;\;\;\;\;U_d^{min} \le {U_d} \le U_d^{max} \\ & U_d^{charge} = U_d^{max} \;\;\;\;\; {U_d} \ge U_d^{max},SOC \le 0.8\\ & I_d^{charge}\; = I_d^{min} \;\;\;\;\;\; SOC \ge 0.8 \end{aligned} \right.$$ (11)
                        $$ \left\{ \begin{aligned}& I_d^{discharge}\; = - I_d^{max}\;\;\;U_d^{min} \le {U_d} \le U_d^{max} \\ & U_d^{discharge} = U_d^{min}\;\;\;\; {U_d} \le U_d^{min},SOC \ge 0.2\\ & I_d^{discharge} \; = - I_d^{min}\;\;\;SOC \le 0.2 \end{aligned} \right.$$ (12)

                        在VRB儲能裝置的三段式充電過程中, 端電壓$ {U_d} $、端電流$ {I_d} $及SOC隨時間的變化特性如圖3所示.

                        圖  3  采用三段式充放電策略時VRB的充電曲線

                        Figure 3.  Charging curve using strategy three-phase of VRB

                        在一個周期內, VRB儲能裝置約束如下[30]:

                        1)充放電功率約束:

                        $$ P_{vrbmin}^t \le P_{vrb}^t \le P_{vrbmax}^t $$ (13)

                        2)端電壓約束:

                        $$ U_d^{\min } \le U_{d}^t \le U_d^{\max } $$ (14)

                        3)荷電狀態(剩余容量)約束:

                        $$ SOC_{vrb}^{min} \le SOC_{vrb}^t \le SOC_{vrb}^{max} $$ (15)

                        4)儲能裝置始末荷電狀態一致約束:

                        $$ SOC_{vrb}^{{t_{beg}}} = SOC_{vrb}^{{t_{end}}} = {C_{con}} $$ (16)
                      • 為制定各類柔性負荷調整計劃和儲能系統充放電計劃, 所求調度優化策略需考慮到任意決策時刻所有可能出現的源荷出力隨機情況. 為此, 本文將系統決策過程建立為相應的DTMDP模型, 該調度優化模型包括狀態、行動、轉移代價及優化目標函數.

                      • 將一天時間等分為$ K + 1 $個決策周期, 采用等周期決策方式, 決策時刻為$ {t_k} $, 其中$ k\in\left\{ {0,1, \cdots ,K} \right\} $, $ \Delta {t_{\rm{k}}} $表示決策周期$ k $的持續時間.

                        按照VRB儲能裝置的最大容量將其充放電過程中的SOC離散為$ 0 \sim N_{vrb} $狀態等級, 各個決策周期$ k $內儲能裝置的動作$ {a_{vrb}^k} \in \left\{ {{\rm{ - }}1,0,1} \right\} $, 其中, $ {a_{vrb}^k} = 1 $表示儲能裝置充電, $ {a_{vrb}^k} = 0 $表示儲能裝置閑置, $ {a_{vrb}^k} = - 1 $表示儲能裝置放電.

                        根據工業園區主動配電系統內各類柔性負荷不同的響應特性, 將第$ k $個決策周期內實際可削減負荷平均削減功率$ {P_{cu}^k} $離散為$ 0 \sim N_{{a_{cu}}} $個等級, 各個決策周期$ k $內可削減負荷削減動作$a_{cu}^k \in \{ { - {N_{{a_{cu}}}}, \cdots ,}$$ 0,1, \cdots ,{N_{{a_{cu}}}} \} $, 故調度日全天各決策周期$ k $內可削減負荷實際調整量$ Q_{cu}^k $可表示如下:

                        $$ Q_{cu}^k = \frac{{P_{cu}^k\Delta {t_{\rm{k}}}}}{{{N_{{a_{cu}}}}}}a_{cu}^k $$ (17)

                        由于可轉移負荷在調度周期內總用電量不變, 即應將各個決策周期$ k $內負荷實際轉移量依次記錄下來并疊加至末時段$ K $, 按公式(18)來確定末時段內負荷實際轉移量和相應的轉移動作, 以保證在各個決策周期內負荷實際轉移量疊加之和為0. 將調度日內各個決策周期$ K $內實際可轉移負荷平均轉移功率$ P_{sh}^k $離散為$ 0 \sim N_{{a_{sh}}} $個等級, 設置各決策周期可轉移負荷轉移動作$a_{sh}^k \in \{ { - {N_{{a_{sh}}}}, \cdots ,0,1,} \cdots ,$$ {N_{{a_{sh}}}}\} $, 其中$ a_{sh}^k > 0 $代表轉入, $ a_{sh}^k < 0 $代表轉出, $ a_{sh}^k = 0 $代表不轉移, 并記錄各決策周期$ k $內可轉移負荷動作等級, 將其作為狀態$ n_{ash}^k $. 故調度日全天各決策周期$ k $內可轉移負荷實際調整量$ Q_{sh}^k $可表示如下:

                        $$ Q_{sh}^k = \left\{ \begin{aligned}&\displaystyle \frac{{P_{sh}^k\Delta {t_{\rm{k}}}}}{{{N_{{a_{sh}}}}}}a_{sh}^k\;\;\;\;\;,k \ne K \\ & - \displaystyle\sum\limits_{k = 0}^{K - 1} {Q_{sh}^k\;\;\;\;,k = K } \end{aligned} \right.\ $$ (18)

                        可平移負荷應滿足平移前后負荷用電曲線形狀不變, 故將實際可平移負荷平均平移功率$ P_{hs}^k $離散為$ \left\{ {0,1} \right\} $兩個等級, 設置可平移負荷平移動作$ a_{hs}^k \in \left\{ {0,1} \right\} $. 其中, 平移動作$ a_{hs}^k = 0 $代表可平移負荷在決策周期$ k $內不平移, $ a_{hs}^k = 1 $代表可平移負荷在決策周期$ k $內平移. 為保證平移過程不會改變曲線形狀, 應將各個決策周期$ k $內可平移負荷的平移動作記錄下來作為狀態$ {n_{ahs}^k} \in \left\{ {0,1} \right\} $. 調度日全天各決策周期內可平移負荷實際調整量$ Q_{hs}^k $可表示如下:

                        $$ Q_{hs}^k = \left\{ \begin{aligned}& 0\;\;\;\;\;\;\;\;\;\;,a_{hs}^k = 0 \\ & P_{hs}^k\Delta {t_{\rm{k}}}\;,a_{hs}^k = 1 \end{aligned} \right. $$ (19)

                        其中, $ Q_{cu}^k $, $ Q_{sh}^k $$ Q_{hs}^k $分別表示在決策周期$ k $內可削減負荷、可轉移負荷和可平移負荷三種柔性負荷的實際調整量.

                        定義系統狀態向量$ {s_k} $由決策周期$ {k} $、VRB儲能狀態等級$ {n_{vrb}^k} $、電網實時調峰需求等級$ {n_{peak}^k} $、PV出力等級$ {n_{pv}^k} $、工業園區內各類負荷需求功率等級$ {n_{rl}^k} $, $ {n_{cu}^k} $, $ {n_{sh}^k} $以及記錄的各個決策周期內可轉移與可平移負荷調整動作的狀態等級$ {n_{ash}^k} $$ {n_{ahs}^k} $組成, 即: $ {s_k} = \left( {k,n_{vrb}^k,n_{peak}^k,n_{pv}^k,n_{rl}^k,n_{cu}^k,n_{sh}^k,n_{ash}^k,n_{ahs}^k} \right)$$\in{\Phi} $, $ {\Phi} $為系統狀態空間, 狀態總數為:

                        $$ \begin{split} N = \;\;&2\left( {K + 1} \right)\left( {{N_{vrb}} + 1} \right)\left( {2{N_{peak}} + 1} \right)\\ &\left( {2{N_{pv}} + 1} \right)\left( {2{N_{rl}} + 1} \right)\left( {2{N_{cu}} + 1} \right)\\ &\left( {2{N_{sh}} + 1} \right)\left( {2{N_{{a_{sh}}}} + 1} \right) \end{split} $$ (20)

                        系統行動包括當前狀態下VRB儲能裝置的充放電動作$ {a_{vrb}} \in {D_{vrb}} = \left\{ { - 1,0,1} \right\} $, 可削減負荷削減動作$ {a_{cu}} \in {D_{cu}} = \left\{ {0,1, \cdots ,{N_{{a_{cu}}}}} \right\} $, 可轉移負荷轉移動作$ {a_{sh}} \in {D_{sh}} = \left\{ { - {N_{{a_{sh}}}} \cdots 0,1, \cdots ,{N_{{a_{sh}}}}} \right\} $以及可平移負荷平移動作$ {a_{hs}} \in {D_{hs}} = \left\{ {0,1, \cdots ,{N_{{a_{hs}}}}} \right\} $. 系統行動向量為$ a = \left( {{a_{vrb}},{a_{cu}},{a_{sh}},{a_{hs}}} \right) \in D $, 系統行動集為$ D = {D_{vrb}} \times {D_{cu}} \times {D_{sh}} \times {D_{hs}} $.

                        定義系統策略$ \pi $為狀態空間–行動集的映射, 即對于任意狀態$ {s_k} $, 均可根據策略$\text{π}$選擇行動$ {a_{{s_k}}} = \text{π} \left( s_k\right) $用以控制系統運行.

                      • 本文的優化目標是在考慮系統功率平衡、儲能裝置等各類約束情況下, 通過學習優化的方法制定多類型柔性負荷調整計劃和儲能系統充放電計劃, 以緩解電網調峰壓力并降低系統日運行代價.

                        假設當前時間到達決策時刻$ {t_k} $, 通過觀測可知系統處于當前狀態$ {s_k} $, 在該狀態下選擇行動$ {a_{{s_k}}} $, 經過一個決策周期后, 系統狀態轉移到下一決策周期的狀態$ {s_{k + 1}} $, 并產生轉移代價$ {c^k} $, 由此得到一個狀態轉移過程為$ <{s_k},{a_{{s_k}}},{s_{k + 1}},{c^k}> $. 其中, 在決策周期$ k $內系統運行過程中產生的各類代價可分別表示如下:

                        $$ {\rm{c}}_{peak}^k = \lambda _{peak}^k\int_{{t_k}}^{{t_{k + 1}}} {\left| {P_{unf}^t} \right|} dt \qquad \qquad \quad \;\;$$ (21)
                        $$ {\rm{c}}_{grid}^k = f_{grid}^k\int_{{t_k}}^{{t_{k + 1}}} {P_{grid}^t} dt \qquad \qquad \quad \;\;\quad $$ (22)
                        $$ \begin{array}{l} {\rm{c}}_{vrb}^k = \lambda _{vrb}^k\int_{{t_k}}^{{t_{k + 1}}} {[\mu \left( {1 - {\eta _{charge}}} \right)P_{vrb}^t}+ \\ \displaystyle\;\;\;\;\;\;\;\; \left( {\mu - 1} \right)\left( {1 - {\eta _{discharge}}} \right)\frac{{P_{vrb}^t}}{{{\eta _{discharge}}}}]dt \end{array} $$ (23)
                        $$ c_{fl}^k = f_{cu}^kQ_{cu}^k{\rm{ + }}f_{sh}^kQ_{sh}^k{\rm{ + }}f_{hs}^kQ_{hs}^k \quad \quad \quad \quad \;$$ (24)

                        其中, $ c_{peak}^k $表示在決策周期$ k $內系統未滿足電網調峰需求的調峰代價, $ \lambda _{peak}^k $為調峰代價系數; $ {\rm{c}}_{grid}^k $表示決策周期$ k $內系統購電代價, $ f_{grid}^k $為決策周期$ k $內的電價; $ {\rm{c}}_{vrb}^k $表示決策周期$ k $內VRB儲能裝置的充放電損耗代價, $ \lambda _{vrb}^k $為代價系數, $ {\eta _{charge}} $$ {\eta _{discharge}} $分別為儲能充、放電效率; $ {\rm{c}}_{cu}^k $表示在決策周期$ k $內對柔性負荷的補償代價, $ f_{cu}^k $為對柔性負荷中斷的補償系數, $ f_{sh}^k $為對柔性負荷轉移的補償系數, $ f_{hs}^k $為對柔性負荷平移的補償系數.

                        在決策周期$ k $內通過執行行動$ {a_k} $狀態轉移過程中產生的運行代價$ {c^k} $可表示為:

                        $$ {c^k} = c_{peak}^k + c_{grid}^k + c_{vrb}^k + c_{fl}^k $$ (25)

                        主動配電系統調度呈一定周期性, 應使每個調度周期末VRB儲能裝置剩余容量等級與調度周期起始時刻一致并達到期望的容量等級, 故將末狀態代價設置為如下所示的差值函數${c_{vrb}}\left( {{s_{K + 1}}} \right)$:

                        $$ {c_{vrb}}\left( {{s_{K + 1}}} \right) = \lambda _{vrb}^{K + 1}\left| {n_{vrb}^{K + 1} - n_{vrb}^{con}} \right| $$ (26)

                        其中, $ n_{vrb}^{K + 1} $為末決策時刻VRB儲能裝置的實際容量等級, $ n_{vrb}^{con} $為設定的末時刻VRB儲能裝置期望達到的容量等級, $ \lambda _{vrb}^{K + 1} $為末狀態代價系數.

                        定義系統在策略$ {\pi} $下以初始狀態為$ s_0 $的有限時段內優化性能準則為$ {V^{\rm{\pi }}}\left( {{s_0}} \right) $, 可表示如下:

                        $$ {V^\text{π} }\left( {{s}} \right){\rm{ \!= }}{E_\text{π} }\!\!\left[ {\left( {\sum\limits_{k = 0}^K {{c^k}} \left( {{s_k},\pi \left( {{s_k}} \right)} \right) \!+\! {c_{vrb}}\left( {{s_{K + 1}}} \right)} \right)|{s \!=\! s_{\rm{0}}}} \right] $$ (27)

                        系統的優化目標為在策略集$ \Omega $中找到一個最優策略$ {\pi^* } $, 使得在該策略下系統平均日運行代價最低, 即$ {\pi ^ * }{\rm{ = }}\arg \mathop {\min }\limits_{\pi \in \Omega } {V^\pi({s_0}) } $.

                      • 針對考慮源荷雙側隨機性的工業園區主動配電系統的動態調度問題, 本文采用強化學習方法對該問題進行策略求解. 其中, Q學習算法是一種模型無關的基于強化學習的隨機動態規劃方法, 適用于求解隨機環境下的最優控制策略[31]. 為此, 本文采用基于模擬退火的有限時段Q學習算法對所建調度優化模型進行策略求解, 具體求解過程如下:

                        步驟 1. 初始化Q值表, 樣本軌道總數$ L $, 單條樣本軌道決策周期數$ K + 1 $, 學習率$ {\alpha _l} $, 學習率更新系數$ {\eta _\alpha } $, 模擬退火溫度$ {T_{{\rm{temp}}}} $及模擬退火系數$ {\eta _{{\rm{temp}}}} $, 并令當前樣本軌道數$ l = 0 $;

                        步驟 2. $ k = 0 $, 并隨機初始化系統狀態$ {s_k} $;

                        步驟 3. 根據Q值表和貪婪策略, 選取在當前狀態$ {s_k} $下對VRB儲能裝置和各類柔性負荷的貪婪行動${a_{{\rm{greedy}}}} = \arg \mathop {\min }\limits_{{a_{{s_k}}} \in D} Q({s_k},{a_{{s_k}}})$, 同時隨機選取有效行動$ {a_{{\rm{rand}}}} $. 若$ {e^{\left( {Q\left( {{s_k},{a_{{\rm{greedy}}}}} \right) - Q\left( {{s_k},{a_{{\rm{rand}}}}} \right)} \right)/{T_{{\rm{temp}}}}}} < {\mathop{\rm random}\nolimits}$$ \left( {0,1}\right) $, 則選取當前行動$ {a_{{s_k}}} = {a_{{\rm{greedy}}}} $, 否則$ {a_{{s_k}}} = {a_{{\rm{rand}}}} $. 若$ k < K $, 跳轉至步驟4; 若$ k = K $, 跳轉至步驟5;

                        步驟 4. 執行當前所選行動$ {a_{{s_k}}} $, 根據所建系統模型觀察下一決策周期對應的系統狀態$ {s_{k + 1}} $, 并計算在決策周期$ k $內通過執行行動$ {a_{{s_k}}} $狀態轉移過程中產生的代價$ {c^k} $, 根據式(28)更新Q值表, 同時更新策略, 即通過不斷更新各狀態-行動對對應的Q值和選取各狀態下最小的Q值對應的儲能裝置充放電方案和各類柔性負荷調整方案作為該狀態下新的行動, 達到更新策略的目的. 并令$ k: = k + 1 $, 返回步驟3;

                        $$ \begin{array}{l} Q({s_k},{a_{{s_k}}}) = Q({s_k},{a_{{s_k}}}) + {\alpha _l}({c^k} - Q({s_k},{a_{{s_k}}})+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{ }}\mathop {\min }\limits_{^{{a_{{s_{k + 1}}}} \in D}} Q({s_{k + 1}},{a_{{s_{k + 1}}}})) \end{array} $$ (28)

                        步驟 5. 執行當前狀態$ {s_K} $所選行動$ {a_{{s_K}}} $, 并計算在決策周期$ K $內通過執行行動$ {a_{{s_K}}} $狀態轉移過程中產生的代價$ {c^K} $及末狀態代價$ {c_{{\rm{vrb}}}}({s_{K + 1}}) $, 并根據式(29)更新Q值表, 同時更新策略, 并令$ l: = l + 1 $, $ {\alpha _l}{\rm{:}} = {\eta _\alpha } * {\alpha _l} $;

                        $$ \begin{array}{l} Q({s_K},{a_{{s_K}}}) = Q({s_K},{a_{{s_K}}}) + {\alpha _l}({c^K}+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; {c_{{\rm{vrb}}}}({s_{K + 1}}) - Q({s_K},{a_{{s_K}}})) \end{array} $$ (29)

                        步驟 6. 若$ l < L $, 根據退火系數$ {\eta _{{\rm{temp}}}} $更新溫度$ {T_{{\rm{temp}}}}{\rm{:}} = {\eta _{{\rm{temp}}}}{T_{{\rm{temp}}}} $, 返回步驟2; 否則結束程序.

                      • 在本文算例中, 根據某市各類負荷、PV相關數據特征[21, 32], 擬合典型的工業園區主動配電系統內PV出力、總負荷需求以及各類柔性負荷需求等隨機因素的相應統計預測曲線如圖4、圖5所示. 其中, 柔性負荷占園區內總體負荷需求的比例為16%, 可削減、可轉移、可平移3類柔性負荷的比例分別為10 %、4.8 %、1.2 %. 全天負荷整體平穩, 但在早、中、晚各有一個低谷, 且早晚低谷相對更低, 呈現明顯的日峰夜谷特點. 在PV發電裝置附近配備有容量為3 MWh的VRB儲能裝置, 單個VRB儲能單元相關參數如表2所示[33]. 設置本文動態調度問題的決策周期為24個時段, 每個時段的持續時間為1 h.

                        圖  4  工業園區內PV出力與總負荷需求預測曲線

                        Figure 4.  Prediction curves of PV and loads demand in industrial parks

                        圖  5  工業園區內各類柔性負荷典型日曲線

                        Figure 5.  Prediction curves of multi-type flexible loads in industrial parks

                        表 2  VRB模型參數設置表

                        Table 2.  Parameters of VRB

                        VRB本體參數名稱 數值/單位 VRB模型參數名稱 數值/單位
                        能量 30 kwh $R_1$ 0.045 Ω
                        容量 630 Ah $R_2$ 0.03 Ω
                        額定功率 5 kw $R_f$ 13.889 Ω
                        端電壓 42-60 V $C_e$ 0.154 F
                        額定電流 105 A $I_p$ 5 A

                        本文參照江蘇省工業用戶峰谷分時電價標準設定工業園區主動配電系統內各時段的具體電價, 其中, 高峰時段8:00—12:00和17:00—21:00, 電價為0.9947元/kWh; 低谷時段0:00—8:00, 電價為0.2989元/kWh; 剩余時段的平電價為0.5968元/kWh[34].

                        根據小節2.1可知, 本文考慮到的系統狀態變量和控制變量種類較多, 仿真算例中所選取的狀態- 行動對個數更是多達7558272, 由此形成的策略空間龐大, 難以通過傳統數值求解方法進行求解, 因此本文采用學習優化方法對該動態調度問題進行策略求解.

                      • 1)學習優化過程分析

                        本文以一天24小時為調度周期, 充分利用各類柔性負荷和儲能裝置等可調度資源對工業園區主動配電系統進行調度協調控制, 并采用基于模擬退火Q的學習算法對該系統的動態調度優化問題進行求解. 在學習過程中, 通過Q值更新公式不斷更新Q值表, 得到Q學習優化策略. 設一條樣本軌道為系統一日內運行過程, 每經過20000條樣本軌道, 對所得策略進行一次評估, 并設置策略評估過程中評估樣本軌道數為3000, 對評估樣本軌道結果取均值以估算系統日運行代價, 圖6分別給出了傳統Q學習、雙Q學習、模擬退火Q學習以及模擬退火雙Q學習的日平均代價學習優化曲線, 各學習優化方法的收斂時間分別為54 820 s、14 803 s、44 508 s和11 154 s. 從圖6中可以看出各優化算法下系統日運行代價均隨著學習步數的增加而逐漸下降, 并最終趨于收斂, 其中, 雙Q學習收斂速度較Q學習快很多, 這是因為雙Q學習是雙重學習, 可避免最大值帶來的偏差影響, 收斂更快, 但Q學習較雙Q的優化效果更勝一籌; 同時模擬退火Q學習算法可利用模擬退火思想解決探索和利用的平衡問題, 進而可提高收斂速度和算法性能, 相較于傳統Q學習的收斂速度更快. 在實際應用中, 可綜合考慮時間和效果進行相應優化算法的選取和實驗.

                        圖  6  不同學習優化算法下的系統總學習優化過程曲線

                        Figure 6.  The optimal curve of the system under different learning optimization algorithm

                        圖7給出了基于模擬退火的Q學習過程的策略性能曲線, 學習曲線為每一條樣本軌道所記錄的日運行代價的平均值, 填充區間為這3 000條樣本軌道所得數據在各點處的標準差區間, 填充區域面積越小, 則表明不同樣本軌道得出的結果越接近, 學習穩定性越好. 由學習曲線可以看出系統日運行代價均隨著學習步數的增加而逐漸下降, 并趨于收斂, 系統日運行平均代價較學習優化前降低28.7%, 顯著提高了系統運行效益; 同時學習過程中不同樣本軌道得到的數據波動并不大且隨著學習步數的增加在不斷減小直至趨于較小的穩定值. 綜上所述, 本文采用的基于模擬退火法的Q學習算法所求得的策略可以穩定、有效的適用于工業園區型主動配電系統的優化研究.

                        圖  7  系統學習優化過程的策略性能曲線

                        Figure 7.  The strategic performance curve of the system learning optimization process

                        圖8給出了電網調峰需求未完成度的學習曲線, 經過學習優化, 調峰需求未完成度逐漸降低并最終穩定在11.1% 左右; 圖10為學習優化過后, 各時段內電網調峰需求完成情況, 明顯可以看出在用電高峰時段實際調峰量完全滿足其調峰需求, 在用電低谷時段實際調峰量也基本完成了電網調峰需求. 例如在5$ \sim $7時段, 系統實際調峰量較電網調峰需求量相差較大, 主要是因為從凌晨至今, 大電網調峰需求均趨向于填谷, 系統內儲能裝置SOC已臨近極值, 故這段時間調峰效果稍差.

                        圖  8  調峰學習優化曲線

                        Figure 8.  The optimal curve of peak operation

                        圖  10  各時段電網調峰指令完成情況示意圖

                        Figure 10.  The completion of peak adjustment instruction

                        圖9給出的是在隨機初始SOC情況下末狀態代價的優化曲線, 從圖9可以看出, 通過學習優化, 末狀態代價可收斂在0左右, 即末狀態儲能剩余容量等級可達到期望值; 圖11給出在不同初始荷電狀態情況下, 所得優化策略在一條樣本軌道運行中系統內儲能裝置SOC的變化情況. 可以看出在不同初始荷電狀態下, 所得優化策略均可將荷電狀態在夜間降至較低水平, 且趨向于在低電價時段選取充電或閑置, 而在用電高峰時段趨向于放電或閑置, 以獲取因電價差值產生的收益, 緩解大電網的調峰壓力, 進而提高工業園區主動配電系統運行的經濟性并提升需求側調峰效果.

                        圖  9  末代價學習優化曲線

                        Figure 9.  The optimal curve of final cost

                        圖  11  不同初始荷電狀態下各時段SOC變化情況

                        Figure 11.  Changing process of SOC under different initial values

                        圖12為學習優化前后需求側負荷曲線, 由圖12可以看出, 與原負荷曲線相比, 學習優化策略對工業園區主動配電系統有一定的調峰效果, 學習優化前后系統總負荷特征如表3所示. 由表3可知, 學習優化前系統負荷峰谷差為2 689 kW, 通過學習優化對系統內多類型柔性負荷選取控制行動, 使峰谷差減少為2 535 kW, 系統峰谷差降低5.7 %. 上述結果說明通過學習優化不但可以滿足電網調峰需求, 而且可以在一定程度上降低系統自身峰谷差, 有利于主動配電系統安全經濟運行.

                        圖  12  學習優化前后系統負荷曲線

                        Figure 12.  The curves of load before and after learning optimization in the system

                        表 3  學習優化前后系統總負荷特征

                        Table 3.  The characteristic of load before and after learning optimization in the system

                        類型/單位 峰值(kw) 谷值(kw) 峰谷差(kw)
                        優化前 5 289 2 600 2 689
                        優化后 4 995 2 460 2 535

                        圖13為學習優化后系統內3類典型柔性負荷在調度日內各時段下的實際調整量, 可以看出可削減負荷的削減量在負荷用電高峰期明顯高于用電低谷期, 可轉移負荷趨向于將自身負荷用電從用電高峰轉移到用電低谷, 可平移負荷由于自身特性和限制只會小范圍向后平移. 通過對各類柔性負荷的動態調整可在一定程度上減緩電網調峰壓力, 并在一定程度上實現峰電谷用.

                        圖  13  學習優化后各時段典型柔性負荷調整量

                        Figure 13.  Adjustment of multi-type flexible loads after optimization

                        2)不同調度模式下的優化結果對比分析

                        在相同配置情況下, 將VRB儲能裝置與柔性負荷協同優化調度模式記為模式1; 將僅考慮VRB儲能裝置的優化調度模式記為模式2; 將僅考慮柔性負荷的優化調度模式記為模式3; 將既不考慮VRB儲能裝置也不考慮柔性負荷的優化調度模式記為模式4. 4種模式對應于系統不同的物理結構, 其策略維度也不同, 故分別對應不同的策略, 分別記為策略1,2,3,4. 現分別將其它模式對應的優化效果與模式1進行比較, 在各優化調度模式下主動配電系統運行過程中產生的日運行代價和調峰完成情況對比如圖14所示, 各項代價指標的具體數值如表4所示.

                        圖  14  不同調度模式下的調峰效果比較圖

                        Figure 14.  Comparison effect of peak operation under different dispatching modes

                        表 4  不同調度模式下的相關指標

                        Table 4.  Related indexes under different dispatching modes

                        總體代價(元) 調峰代價(元) 購電代價(元) VRB充放代價(元) 柔性負荷補償金額(元/d)
                        模式1 44 500 1 421 37 910 342 4 743
                        模式2 48 870 7 483 40 997 362 0
                        模式3 46 260 1 845 37 986 0 6 432
                        模式4 55 160 12 780 42 380 0 0

                        表4數據可以看出各模式下系統優化效果由好到差分別為: 模式1、模式3、模式2、模式4. 由圖14可以看出, 模式1下的電網調峰需求完成度明顯優于其它3種模式, 且模式1下的系統日平均運行代價最低: 模式2的調峰完成度較差, 主要是因為在模式2下電網調峰需求由VRB儲能裝置充放電來完成, 然而各時刻下充放電功率與儲能裝置實際容量有關, 無法動態調節, 在一定程度上受到很大限制, 而模式1和模式3中電網調峰需求可通過調節各類典型柔性負荷來完成, 可動態調節, 更有利于大電網調峰任務的完成. 上述結論充分說明了本文引入VRB儲能裝置與多類型柔性負荷進行協同優化調度的有效性.

                        圖15可以看出, 模式1與模式2的策略相比, 負荷需求有明顯差異, 在負荷用電高峰時段模式1的負荷需求明顯低于模式2, 而在負荷用電低谷時段模式1的負荷用電需求又高于模式2, 說明了策略1通過在不同時段對各類型柔性負荷選取不同行動, 即用電高峰選取削負荷行動, 并將部分可轉移、可平移負荷由高峰用電移至低谷, 在一定程度上實現了削峰填谷, 發揮了柔性負荷的調峰作用.

                        圖  15  不同調度模式下負荷優化結果比較圖

                        Figure 15.  Comparison diagram of load optimal results under different dispatching modes

                        以模式1選取的VRB儲能裝置容量配置為基準, 分別求解不同儲能裝置容量配置下對應的優化調度方案, 經優化得到不同容量占比下系統運行過程中的各項代價比較情況如圖16所示. 由圖16可知, 隨著儲能裝置容量的增加, 系統日運行總代價緩慢降低, 并且未完成電網調峰需求產生的調峰代價以及柔性負荷的補償代價逐漸減小, 儲能裝置充放電過程產生的損耗也逐漸增加, 說明了在允許范圍內適當增加儲能裝置的容量配置可以提高電網調峰需求完成度和降低系統日運行代價.

                        圖  16  不同儲能容量占比下的各項代價比較圖

                        Figure 16.  Comparison of costs under different proportion of energy storage capacity

                        以模式1設置的各類柔性負荷占比為基準, 分別求解不同柔性負荷占比下的優化調度方案, 所得系統運行過程中產生的各項代價指標的變化趨勢如圖17所示. 由圖17可明顯看出, 隨著柔性負荷的占比增加, 系統運行過程中因調節各類柔性負荷需補償的代價逐漸增加, 而因未完成電網調峰需求產生的調峰代價先是逐漸降低直至柔性負荷占比為所設基準值的90%左右, 此時若繼續增加柔性負荷占比調峰代價則呈上升趨勢, 并且系統總體運行代價趨勢與調峰代價趨勢基本一致.

                        圖  17  不同柔性負荷占比下的各項代價比較圖

                        Figure 17.  Comparison of costs under different proportion of flexible load

                        根據光伏及負荷統計預測曲線, 在模式1結構下, 將源荷雙側隨機因素作為系統狀態和不作為系統狀態的兩種優化求解方式分別記為方案1和方案2. 將方案2與方案1所得的優化策略在隨機環境下進行評估比較, 結果如表5圖18所示.

                        表 5  不同方案下的相關指標

                        Table 5.  Related indexes under different projects

                        總體代價(元) 調峰代價(元) 調峰完成度
                        方案1 44 500 1421 88.9%
                        方案2 45 120 1772.9 86.1%

                        圖  18  不同方案下的調峰需求未完成量比較圖

                        Figure 18.  Unfinished amount of peak operation demand under different projects

                        圖18可以看出總體上各時段內方案1的優化策略對應的電網調峰需求未完成量要小于方案2, 且方案1在用電高峰時段下的調峰未完成量均趨于0, 故方案1的調峰效果明顯好于方案2. 由表5可知方案1下的系統日運行代價相比于方案2更低, 且其調峰完成度也高于方案2. 以上現象均說明了本文采用的將源荷雙側隨機因素作狀態的方案1與不將隨機因素作狀態的方案2相比, 其所得優化策略能夠更加經濟地適用于實際的隨機環境, 并可進一步提高電網調峰需求完成度.

                        3)學習優化策略分析

                        在所得優化策略下對一條樣本軌道進行學習, 可以觀測得到該條仿真樣本軌道中各時段PV發電功率、各類負荷需求、電網調峰需求和電池荷電狀態等實際狀態值, 以及相應狀態下采取的最優控制行動如圖19所示, 表6記錄了調度日內該樣本典型狀態和行動.

                        圖  19  優化策略下各時段行動選取情況

                        Figure 19.  Choice of action pairs under optimal policy

                        表 6  優化策略下部分狀態行動

                        Table 6.  Partial state-action pairs under optimal policy

                        狀態編號 407 8832 18549 24075 25533 33491 38955 42845
                        決策時刻 0時 4時 9時 12時 13時 17時 20時 22時
                        各類負荷狀態 (1,1,0,2) (1,1,2,1) (1,1,1,0) (2,1,1,0) (2,1,1,0) (0,1,2,0) (1,0,1,0) (1,0,2,0)
                        儲能裝置動作 充電 充電 放電 放電 閑置 放電 放電 閑置
                        柔性負荷動作 (0,1,0) (0,1,1) (1,0,0) (0,-1,0) (2,-1,0) (2,0,0) (1,0,0) (0,1,0)

                        圖19表6可知, VRB儲能裝置在低電價時更趨向于選取充電動作來儲存電量以備即將到來的負荷用電高峰, 在高電價時則傾向于選取放電動作, 利用存儲的電能為負荷供電, 以降低在用電高峰購電代價以及負荷高峰期的用電需求, 獲取“低價儲電, 高價賣電”的經濟收益, 這種低儲高放方式不但可以賺取電價差的利潤而且可以緩解電網調峰壓力; 可削減負荷在用電高峰期傾向于大幅度的削減負荷用電, 在用電低谷期則不削減負荷用電; 可轉移負荷傾向于將負荷從高峰用電轉移到低谷用電; 可平移負荷向后平移2個時段, 使時間跨度由3:00—15:00變為5:00—17:00, 避免了夜間工作為工人帶來的不便利. 例如, 在4時低負荷、低電價的情況選擇儲能裝置的動作為充電, 可削減負荷的動作為不削減, 可轉移負荷的動作為轉入, 可平移負荷的動作是向后平移.

                        針對模式1,2,3所得相應的調度優化策略1,2,3, 可得到各策略在同一樣本軌道下各時段的調峰完成情況如圖20 所示, 可以看出模式1下該樣本的調峰未完成量明顯小于模式2,3, 且其在負荷高峰期的調峰未完成量均為0, 完全滿足電網在用電高峰期的調峰需求. 表7給出了各優化策略在該樣本軌道下產生的各項代價指標, 根據表中數據分析可知模式1下的日運行費用也明顯小于其他模式, 說明了在單條樣本下, 考慮多類型柔性負荷與儲能裝置協同調度所得策略的優化效果更好, 進一步證明了本文優化方法的有效性.

                        圖  20  優化策略下不同模式的調峰需求未完成量比較圖

                        Figure 20.  Unfinished amount of peak operation demand under different modes in optimal policy

                        表 7  優化策略下不同模式的相關指標

                        Table 7.  Related indexes under different modes in optimal policy

                        總體代價(元) 調峰代價(元) 購電代價(元) VRB充放代價(元) 柔性負荷補償金額(元/d)
                        模式1 42 370 1 125 35 800 389 5 056
                        模式2 50 856 8 266 42 049 350 0
                        模式3 47 555 1 566 39 867 0 6 122
                        模式4 55 297 13 131 42 166 0 0
                      • 本文研究的是考慮電網調峰需求的工業園區主動配電系統內動態經濟調度優化問題, 并在此基礎上考慮了源荷雙側不確定因素, 將工業園區主動配電系統調度問題建立為馬爾可夫決策過程模型, 采用模擬退火Q學習算法對該動態問題進行策略求解. 仿真結果表明, 考慮多類型柔性負荷和儲能系統協同調度相比于傳統單一模式可顯著降低電網調峰需求未完成度以及提高系統運行效益, 并且學習優化所得控制策略能夠在考慮源荷隨機情況下降低系統的運行成本, 降低自身峰谷差, 可在很大程度上滿足電網調峰需求, 有利于主動配電系統經濟運行和提高電力系統運行穩定性.

                        由于本文考慮的系統狀態和行動種類多, 若后續考慮將系統狀態和行動連續化以獲取更加精確的模型和更高精度的控制效果, 可能會導致維數災問題, 探索解決該類問題的方法十分值得進一步研究; 同時, 由于系統故障或人為行為等因素帶來的系統物理結構的動態變化, 考慮系統結構動態切換場景下的策略優化問題也是值得深入研究的一個方向; 此外, 隨著新能源滲透率和柔性負荷規模的日益增大, 考慮在源荷互動、多方參與的復雜電力市場交易環境下系統內各部分利益間的博弈問題以及多類型市場機制對系統調度優化的影響也是有意義的研究方向.

                    WeChat 關注分享

                    返回頂部

                    目錄

                      /

                      返回文章
                      返回