2.793

                    2018影響因子

                    (CJCR)

                    • 中文核心
                    • EI
                    • 中國科技核心
                    • Scopus
                    • CSCD
                    • 英國科學文摘

                    留言板

                    尊敬的讀者、作者、審稿人, 關于本刊的投稿、審稿、編輯和出版的任何問題, 您可以本頁添加留言。我們將盡快給您答復。謝謝您的支持!

                    姓名
                    郵箱
                    手機號碼
                    標題
                    留言內容
                    驗證碼

                    基于改進差分進化和回聲狀態網絡的時間序列預測研究

                    許美玲 王依雯

                    許美玲, 王依雯. 基于改進差分進化和回聲狀態網絡的時間序列預測研究. 自動化學報, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    引用本文: 許美玲, 王依雯. 基于改進差分進化和回聲狀態網絡的時間序列預測研究. 自動化學報, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    Xu Mei-Ling, Wang Yi-Wen. Time series prediction based on improved differential evolution and echo state network. Acta Automatica Sinica, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    Citation: Xu Mei-Ling, Wang Yi-Wen. Time series prediction based on improved differential evolution and echo state network. Acta Automatica Sinica, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549

                    基于改進差分進化和回聲狀態網絡的時間序列預測研究


                    DOI: 10.16383/j.aas.c180549
                    詳細信息
                      作者簡介:

                      東北大學智能工業數據解析與優化教育部重點實驗室講師, 大連理工大學電子信息與電氣工程學部博士后. 主要研究方向為神經網絡和多元時間序列預測. E-mail: xuml@dlut.edu.cn

                      大連理工大學電子信息與電氣工程學部碩士生. 主要研究方向為時間序列預測. E-mail: wangyiwen0802@163.com

                    • 基金項目:  國家自然科學基金(61702077), 中央高?;究蒲袠I務費(DUT16RC(3)123)資助

                    Time Series Prediction Based on Improved Differential Evolution and Echo State Network

                    More Information
                    • Fund Project:  Supported by National Natural Science Foundation of China(61702077), Fundamental Research Funds for the Central Universities (DUT16RC(3)123)
                    • 摘要: 針對回聲狀態網絡無法根據不同的時間序列有效地選擇儲備池參數的問題, 本文提出一種新型預測模型, 利用改進的差分進化算法來優化回聲狀態網絡. 其中差分進化算法的縮放因子F、交叉概率CR和變異策略自適應調整, 以提高算法的尋優性能. 為驗證本文方法的有效性, 對Lorenz時間序列、大連月平均氣溫 ? 降雨量數據集進行仿真實驗. 由實驗結果可知, 本文提出的模型可以提高時間序列的預測精度, 且具有良好的泛化能力及實際應用價值.
                    • 圖  1  ESN結構示意圖

                      Fig.  1  Structure of ESN

                      圖  2  IDE-ESN算法流程圖

                      Fig.  2  Flow chart for IDE-ESN

                      圖  3  Lorenz-x(t)序列: IDE-ESN的預測曲線及誤差曲線

                      Fig.  3  Lorenz-x(t) series: prediction and error curves obtained by IDE-ESN

                      圖  4  Lorenz-x(t)序列: 不同模型的適應度曲線

                      Fig.  4  Lorenz-x(t) series: the curves of Fitness for different models

                      圖  5  大連月平均氣溫: IDE-ESN的預測曲線及誤差曲線

                      Fig.  5  Dalian monthly average temperature series: prediction and error curves obtained by IDE-ESN

                      圖  6  大連月平均氣溫: 不同模型的適應度曲線

                      Fig.  6  Dalian monthly average temperature series: the curves of Fitness for differential models

                      表  1  Lorenz-x(t)序列: IDE-ESN模型參數

                      Table  1  Lorenz-x(t) series: parameters in IDE-ESN

                      儲備池參數取值
                      儲備池規模50
                      稀疏度0.0210
                      譜半徑0.9589
                      輸入變化因子0.0600
                      下載: 導出CSV

                      表  2  Lorenz-x(t) 序列: 測試集仿真結果

                      Table  2  Lorenz-x(t) time series: prediction results on the test dataset

                      模型RMSENRMSESMAPE
                      AF-ESN2.0850e-061.8571e-072.7992e-07
                      PSO-ESN1.0139e-061.0211e-071.3613e-07
                      ELM1.8422e-036.6638e-042.1061e-04
                      TLBO-ESN7.7210e-071.6737e-071.0528e-07
                      IDE-ESN3.2156e-079.8008e-084.3089e-08
                      下載: 導出CSV

                      表  3  Lorenz-x(t) 序列: 不同模型的運行時間

                      Table  3  Lorenz-x(t) series: run time of different models

                      模型AF-ESNPSO-ESNTLBO-ESNIDE-ESN
                      時間1405.4289 s47.6972 s168.3124 s102.8856 s
                      下載: 導出CSV

                      表  4  大連月平均氣溫: IDE-ESN模型參數

                      Table  4  Dalian monthly average temperature-rainfall series: parameters in IDE-ESN

                      儲備池參數取值
                      儲備池規模47
                      稀疏度0.0206
                      譜半徑0.9802
                      輸入變化因子0.0459
                      下載: 導出CSV

                      表  5  大連月平均氣溫: 測試集仿真結果

                      Table  5  Dalian monthly average temperature series: prediction results for the test dataset

                      模型RMSENRMSESMAPE
                      AF-ESN1.80420.29020.1820
                      PSO-ESN1.65110.29560.1666
                      ELM5.42350.67040.5520
                      TLBO-ESN1.67260.20880.1708
                      IDE-ESN1.42150.27410.1440
                      下載: 導出CSV

                      表  6  大連月平均氣溫: 不同模型的運行時間

                      Table  6  Dalian monthly average temperature series: run time of different models

                      模型AF-ESNPSO-ESNTLBO-ESNIDE-ESN
                      時間347.1955 s10.5115 s31.1971 s15.1921 s
                      下載: 導出CSV
                      360彩票
                    • [1] 1 Su C H, Cheng C H. A hybrid fuzzy time series model based on ANFIS and integrated nonlinear feature selection method for forecasting stock. Neurocomputing, 2016, 205: 264?273 doi:  10.1016/j.neucom.2016.03.068
                      [2] 2 Haidar A, Verma B. A novel approach for optimizing climate features and network parameters in rainfall forecasting. Soft Computing, 2018, 22(24): 8119?8130 doi:  10.1007/s00500-017-2756-7
                      [3] 3 Arthun M, Eldevik T, Viste E, Drange H, Furevik T, Johnson H L, et al. Skillful prediction of northern climate provided by the ocean. Nature Communications, 2017, 8: 15875 doi:  10.1038/ncomms15875
                      [4] 4 Wang X, Jiang R, Li L, Lin Y, Zheng X, Wang F. Capturing car-following behaviors by deep learning. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(3): 910?920 doi:  10.1109/TITS.2017.2706963
                      [5] 周平, 劉記平. 基于數據驅動多輸出ARMAX建模的高爐十字測溫中心溫度在線估計. 自動化學報, 2018, 44(3): 552?561

                      5 Zhou Ping, Liu Ji-Ping. Data-driven multi-output ARMAX model for online estimation of central temperatures for cross temperature measuring in blast furnace ironmaking. Acta Automatica Sinica, 2018, 44(3): 552?561
                      [6] 張顏顏, 唐立新. 改進的數據驅動子空間算法求解鋼鐵企業能源預測問題. 控制理論與應用, 2012, 29(12): 1616?1622

                      6 Zhang Yan-Yan, Tang Li-Xin. Improved data-driven subspace algorithm for energy prediction in iron and steel industry. Control Theory and Application, 2012, 29(12): 1616?1622
                      [7] 鄭念祖, 丁進良. 基于Regression GAN的原油總氫物性預測方法. 自動化學報, 2018, 44(5): 915?921

                      7 Zheng Nian-Zu, Ding Jin-Liang. Regression GAN based prediction for physical of total hydrogen in crude oil. Acta Automatica Sinica, 2018, 44(5): 915?921
                      [8] 8 Hearst M A, Dumais S T, Osuna E, Platt J, Scholkopf B. Support vector machines. IEEE Intelligent Systems and Their Applications, 1998, 13(4): 18?28 doi:  10.1109/5254.708428
                      [9] 9 Trappey A J, Hsu F C, Trappey C V, Lin C I. Development of a patent document classification and search platform using a back-propagation network. Expert Systems with Applications, 2006, 31(4): 755?765 doi:  10.1016/j.eswa.2006.01.013
                      [10] 10 Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: Theory and application. Neurocomputing, 2006, 70: 489?502 doi:  10.1016/j.neucom.2005.12.126
                      [11] 11 Jaeger H, Haas H. Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 2004, 304(5667): 78?80 doi:  10.1126/science.1091277
                      [12] 12 Han Min, Ren Wei-Jie, Xu Mei-Ling. An improved echo state network via L1-norm regularization. Acta Automatica Sinica, 2014, 40(11): 2428?2435
                      [13] 倫淑嫻, 林健, 姚顯雙. 基于小世界回聲狀態網的時間序列預測. 自動化學報, 2015, 41(9): 1669?1679

                      13 Lun Shu-Xian, Lin Jian, Yao Xian-Shuang. Time series prediction with an improved echo state network using small world network. Acta Automatica Sinica, 2015, 41(9): 1669?1679
                      [14] 14 Han M, Xu M. Laplacian Echo State Network for Multivariate Time Series Prediction. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(1): 238?244 doi:  10.1109/TNNLS.2016.2574963
                      [15] 李德才, 韓敏. 基于魯棒回聲狀態網絡的混沌時間序列預測研究. 物理學報, 2011, 60(10): 108903 doi:  10.7498/aps.60.108903

                      15 Li De-Cai, Han Min. Chaotic time series prediction based on robust echo state network. Acta Physica Sinica, 2011, 60(10): 108903 doi:  10.7498/aps.60.108903
                      [16] 韓敏, 王亞楠. 基于Kalman濾波的儲備池多元時間序列在線預報器. 自動化學報, 2010, 36(1): 169?173 doi:  10.3724/SP.J.1004.2010.00169

                      16 Han Min, Wang Ya-Nan. Multivariate time series online predictor with Kalman filter trained reservoir. Acta Automatica Sinica, 2010, 36(1): 169?173 doi:  10.3724/SP.J.1004.2010.00169
                      [17] Xu D, Lan J, Principe J C. Direct adaptive control: an echo state network and genetic algorithm approach[C]. in Proceedings of the IEEE International Joint Conference on Neural Networks. Montreal, Canada: IEEE, 2005. 3: 1483−1486
                      [18] 18 Wang J S, Han S, Guo Q P. Echo state networks based predictive model of vinyl chloride monomer convention velocity optimized by artificial fish swarm algorithm. Soft Computing, 2014, 18(3): 457?468 doi:  10.1007/s00500-013-1068-9
                      [19] 19 Chouikhi N, Ammar B, Rokbani N, Alimi A M. PSO-based analysis of echo state network parameters for time series forecasting. Applied Soft Computing, 2017, 55: 211?225 doi:  10.1016/j.asoc.2017.01.049
                      [20] 孫曉燕, 陳姍姍, 鞏敦衛, 張勇. 基于區間適應值交互式遺傳算法的加權多輸出高斯過程代理模型. 自動化學報, 2014, 40(2): 172?184

                      20 Sun Xiao-Yan, Chen Shan-Shan, Gong Dun-Wei, Zhang Yong. Weighted multi-output Gaussian process-based surrogate of interactive genetic algorithm with individual's interval fitness. Acta Automatica Sinica, 2014, 40(2): 172?184
                      [21] 21 Du W, Ying W, Yan G, Zhu Y, Cao X. Heterogeneous strategy particle swarm optimization. IEEE Transactions on Circuits and Systems II: Express Briefs, 2017, 64(4): 467?471 doi:  10.1109/TCSII.2016.2595597
                      [22] 22 Mavrovouniotis M, Muller F M, Yang S. Ant colony optimization with local search for dynamic traveling salesman problems. IEEE Transactions on Cybernetics, 2017, 47(7): 1743?1756 doi:  10.1109/TCYB.2016.2556742
                      [23] 23 Zhang Z, Wang K, Zhu L, Wang Y. A Pareto improved artificial fish swarm algorithm for solving a multi-objective fuzzy disassembly line balancing problem. Expert Systems with Applications, 2017, 86: 165?176 doi:  10.1016/j.eswa.2017.05.053
                      [24] 胡蓉, 錢斌. 一種求解隨機有限緩沖區流水線調度的混合差分進化算法. 自動化學報, 2009, 35(12): 1580?1586

                      24 Hu Rong, Qian Bin. A hybrid differential evolution algorithm for stochastic flow shop scheduling with limited buffers. Acta Automatica Sinica, 2009, 35(12): 1580?1586
                      [25] 25 Rao R V, Savsani V J, Vakharia D P. Teaching-learning-based optimization: A novel method for constrained mechanical design optimization problems. Computer-Aided Design, 2011, 43: 303?315 doi:  10.1016/j.cad.2010.12.015
                      [26] 26 Xu M L, Han M, Lin H F. Wavelet-denoising multiple echo state networks for multivariate time series prediction. Information Sciences, 2018, 465: 439?458 doi:  10.1016/j.ins.2018.07.015
                      [27] 周曉根, 張貴軍, 郝小虎. 局部抽象凸區域剖分差分進化算法. 自動化學報, 2015, 41(7): 1315?1327

                      27 Zhou Xiao-Gen, Zhang Gui-Jun, Hao Xiao-hu. Differential evolution algorithm with local abstract convex region partition. Acta Automatica Sinica, 2015, 41(7): 1315?1327
                      [28] 丁進良, 楊翠娥, 陳立鵬, 柴天佑. 基于參考點預測的動態多目標優化算法. 自動化學報, 2017, 43(2): 313?320

                      28 Ding Jin-Liang, Yang Cui-E, Chai Tian-You. Dynamic multi-objective optimization algorithm based on reference point prediction. Acta Automatica Sinica, 2017, 43(2): 313?320
                      [29] 29 Zhang J Q, Sanderson A C. JADE: adaptive differential evolution with optional external archive. IEEE Transactions on Evolutionary Computation, 2009, 13(5): 945?958 doi:  10.1109/TEVC.2009.2014613
                      [30] 30 Zhao S Z, Suganthan P N, Das S. Self-adaptive differential evolution with multi-trajectory search for large-scale optimization. Soft Computing, 2011, 15: 2175?2185 doi:  10.1007/s00500-010-0645-4
                    • [1] 劉暢, 郎勁. 基于混核LSSVM的批特征風功率預測方法[J]. 自動化學報, doi: 10.16383/j.aas.c180103
                      [2] 王柳靜, 張貴軍, 周曉根. 基于狀態估計反饋的策略自適應差分進化算法[J]. 自動化學報, doi: 10.16383/j.aas.2018.c170338
                      [3] 薄迎春, 張欣, 劉寶. 延遲深度回聲狀態網絡及其在時間序列預測中的應用[J]. 自動化學報, doi: 10.16383/j.aas.c180264
                      [4] 栗三一, 喬俊飛, 李文靜, 顧錁. 污水處理決策優化控制[J]. 自動化學報, doi: 10.16383/j.aas.2018.c170257
                      [5] 陳龍, 劉全利, 王霖青, 趙珺, 王偉. 基于數據的流程工業生產過程指標預測方法綜述[J]. 自動化學報, doi: 10.16383/j.aas.2017.c170136
                      [6] 丁進良, 楊翠娥, 陳立鵬, 柴天佑. 基于參考點預測的動態多目標優化算法[J]. 自動化學報, doi: 10.16383/j.aas.2017.c150811
                      [7] 周曉根, 張貴軍, 郝小虎. 局部抽象凸區域剖分差分進化算法[J]. 自動化學報, doi: 10.16383/j.aas.2015.c140680
                      [8] 張英杰, 龔中漢, 陳乾坤. 基于免疫離散差分進化算法的復雜網絡社區發現[J]. 自動化學報, doi: 10.16383/j.aas.2015.c140018
                      [9] 許美玲, 韓敏. 多元混沌時間序列的因子回聲狀態網絡預測模型[J]. 自動化學報, doi: 10.16383/j.aas.2015.c140604
                      [10] 韓敏, 任偉杰, 許美玲. 一種基于L1范數正則化的回聲狀態網絡[J]. 自動化學報, doi: 10.3724/SP.J.1004.2014.02428
                      [11] 黃淼, 王昕, 王振雷. 一類非線性系統的基于時間序列的多模型自適應控制[J]. 自動化學報, doi: 10.3724/SP.J.1004.2013.00581
                      [12] 韓敏, 王亞楠. 基于Kalman濾波的儲備池多元時間序列在線預報器[J]. 自動化學報, doi: 10.3724/SP.J.1004.2010.00169
                      [13] 胡蓉, 錢斌. 一種求解隨機有限緩沖區流水線調度的混合差分進化算法[J]. 自動化學報, doi: 10.3724/SP.J.1004.2009.01580
                      [14] 郜傳厚, 漸令, 陳積明, 孫優賢. 復雜高爐煉鐵過程的數據驅動建模及預測算法[J]. 自動化學報, doi: 10.3724/SP.J.1004.2009.00725
                      [15] 劉穎, 趙珺, 王偉, 吳毅平, 陳偉昌. 基于數據的改進回聲狀態網絡在高爐煤氣發生量預測中的應用[J]. 自動化學報, doi: 10.3724/SP.J.1004.2009.00731
                      [16] 玄兆燕, 楊公訓. 經驗模態分解法在大氣時間序列預測中的應用[J]. 自動化學報, doi: 10.3724/SP.J.1004.2008.00097
                      [17] 王永利, 周景華, 徐宏炳, 董逸生, 劉學軍. 時間序列數據流的自適應預測[J]. 自動化學報, doi: 10.1360/aas-007-0197
                      [18] 賀國光, 馬壽峰, 李宇. 基于小波分解與重構的時間序列預測法[J]. 自動化學報
                      [19] 陳仲永, 錢鳴奇, 伍文凱, 童勤業. 漲落復雜性在EEG時間序列分析中的應用[J]. 自動化學報
                      [20] 龔正發. 多變量時間序列的建模預報及其應用[J]. 自動化學報
                    • 加載中
                    計量
                    • 文章訪問數:  2464
                    • HTML全文瀏覽量:  2830
                    • 被引次數: 0
                    出版歷程
                    • 網絡出版日期:  2019-12-28

                    基于改進差分進化和回聲狀態網絡的時間序列預測研究

                    doi: 10.16383/j.aas.c180549
                      基金項目:  國家自然科學基金(61702077), 中央高?;究蒲袠I務費(DUT16RC(3)123)資助
                      作者簡介:

                      東北大學智能工業數據解析與優化教育部重點實驗室講師, 大連理工大學電子信息與電氣工程學部博士后. 主要研究方向為神經網絡和多元時間序列預測. E-mail: xuml@dlut.edu.cn

                      大連理工大學電子信息與電氣工程學部碩士生. 主要研究方向為時間序列預測. E-mail: wangyiwen0802@163.com

                    摘要: 針對回聲狀態網絡無法根據不同的時間序列有效地選擇儲備池參數的問題, 本文提出一種新型預測模型, 利用改進的差分進化算法來優化回聲狀態網絡. 其中差分進化算法的縮放因子F、交叉概率CR和變異策略自適應調整, 以提高算法的尋優性能. 為驗證本文方法的有效性, 對Lorenz時間序列、大連月平均氣溫 ? 降雨量數據集進行仿真實驗. 由實驗結果可知, 本文提出的模型可以提高時間序列的預測精度, 且具有良好的泛化能力及實際應用價值.

                    English Abstract

                    許美玲, 王依雯. 基于改進差分進化和回聲狀態網絡的時間序列預測研究. 自動化學報, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    引用本文: 許美玲, 王依雯. 基于改進差分進化和回聲狀態網絡的時間序列預測研究. 自動化學報, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    Xu Mei-Ling, Wang Yi-Wen. Time series prediction based on improved differential evolution and echo state network. Acta Automatica Sinica, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    Citation: Xu Mei-Ling, Wang Yi-Wen. Time series prediction based on improved differential evolution and echo state network. Acta Automatica Sinica, 2019, 45(x): 1?9. doi: 10.16383/j.aas.c180549
                    • 時間序列廣泛存在于人類社會生活的方方面面, 比如經濟領域的生產總值、商品的銷售量、股票的增長幅度等[1]; 天氣領域中城市的降雨量、平均氣溫等[2-3]; 社會領域中城市交通流量、外來人口遷徙量及汽車能量消耗值等[4]; 工業領域中高爐煉鐵的中心溫度[5]、鋼鐵企業能源預測[6]和原油物性預測[7]等.

                      隨著人工智能研究的不斷發展, 人工神經網絡、支持向量機[8]等機器學習方法逐漸成為非線性時間序列建模和預測的主要工具. 但是傳統的人工神經網絡如BP(Back Propagation)神經網絡[9]存在訓練算法復雜、網絡結構難以確定、易陷入局部最優和收斂速度慢等問題. 支持向量機模型若訓練樣本過大, 存在訓練時間過長且效果不佳的問題. 極限學習機(Extreme Learning Machine, ELM)[10]是針對單層前饋神經網絡設計的新型學習算法, 學習速度快, 泛化性能好, 但其靜態前饋結構不適用于動態時間序列的建模. 隨著學者們的不斷研究, 發現回聲狀態網絡(Echo State Network, ESN)[11]在時間序列預測方面存在一定的優勢, 其訓練算法簡單, 計算快速, 且能保證解的全局最優性. 雖然回聲狀態網絡具有以上優點, 但是也存在一些問題, 例如儲備池的適應性問題、穩定性問題及病態解的出現會影響網絡的泛化能力, 容易產生過擬合等.

                      近年來, 眾多學者們針對回聲狀態網絡存在的問題進行一些改進. 文獻[12]提出一種基于L1范數正則化的改進回聲狀態網絡, 將L1范數作為懲罰項, 防止模型出現過擬合現象, 提高模型的穩定性. 文獻[13]利用改進的小世界網絡優化泄露積分型回聲狀態網絡, 有效地改進了儲備池神經元的連接方式, 減少了稀疏連接的隨機性, 提高了儲備池的適應性. 文獻[14]提出拉普拉斯回聲狀態網絡解決了由于實際訓練樣本的數量小于隱藏層節點數存在的不適定問題并獲得低維的輸出權重. 文獻[15]提出一種魯棒回聲狀態網絡預測模型, 采用更具魯棒性的拉普拉斯分布代替高斯分布對數據的噪聲進行描述, 消除了異常點對模型泛化能力的影響. 文獻[16]結合回聲狀態網絡和Kalman濾波, 利用Kalman濾波直接對網絡的輸出權值進行在線更新, 擴展了算法的適用范圍, 提高預測精度. 文獻[17]利用遺傳算法直接優化ESN, 實現自適應非線性動力系統的控制. 文獻[18]采用人工魚群算法優化回聲狀態網絡, 滿足了聚氯乙烯聚合過程的實時控制要求. 文獻[19]利用粒子群優化算法對ESN中未經訓練的權重進行優化, 提高網絡的預測性能.

                      雖然已有學者采用智能優化方法優化回聲狀態網絡參數, 但由于回聲狀態網絡的儲備池包含節點較多、搜索空間較大, 優化效果還有待改善. 遺傳算法(Genetic Algorithm, GA)[17, 20]通過模擬自然進化過程搜索最優解, 但容易過早收斂, 存在早熟現象. 粒子群算法(Particle Swarm Optimization, PSO)[21]的魯棒性較差而且容易陷入局部最優解, 參數的初始化對粒子群算法的性能影響較大. 蟻群算法(Ant Colony Optimization)[22]盡管具有較強的魯棒性, 但是有明顯的經驗性, 收斂慢, 對實際問題適用性不強. 人工魚群算法(Artificial Fish, AF)[23]雖然不易陷入局部最優, 但不適合同時優化不同范圍或者范圍相差較大的參數, 而且人工魚群算法本身較為復雜, 效率低. 研究中發現差分進化算法[24]簡單, 具有較強的全局搜索能力, 尋優速度快, 且能平衡局部及全局的信息來進行搜索, 更具實用性, 魯棒性. 教與學優化算法 (Teaching-learning-based optimization, TLBO)[25]原理簡單、易實現, 需要調優的參數極少, 且計算效率比傳統的方法計算效率高. 該算法自提出以來, 已被廣泛用于函數優化、神經網絡優化、工程優化等領域. 然而, 每種算法都不是萬能的, 教與學優化算法也存在早熟收斂現象. 綜上, 本文選用全局性較強的差分進化算法.

                      為使差分算法可以更加準確的找到最優解及適用性更強. 本文提出一種改進的差分算法, 一方面對縮放因子(Scale Factor, F)和交叉概率(Cross Rate, CR)采用自適應, 另一方面對變異策略采用自適應. 綜上所述, 本文利用改進的差分進化算法來優化回聲狀態網絡中儲備池的四個重要參數, 對每個個體都分配一個適合的F、CR和變異策略, 使個體變異更加趨向于適應度好的個體, 從而加快該算法的收斂速度, 更準確地找到最優解, 提高預測精度.

                      • Jaeger[11, 26]提出的回聲狀態網絡(Echo State Network, ESN)是一種簡化的遞歸神經網絡, 用稀疏連接的儲備池代替全連接的隱含層, 增強了對動態系統的建模能力, 避免一般神經網絡基于梯度下降原理的收斂速度慢、易陷入局部最優的問題.

                      • 圖1所示, 回聲狀態網絡是一種三層遞歸神經網絡, 由輸入層、隱含層和輸出層三部分組成, 隱含層又稱儲備池, 含有成百上千個稀疏遞歸連接的神經元, 神經元之間的連接權值隨機生成且固定不變.

                        圖  1  ESN結構示意圖

                        Figure 1.  Structure of ESN

                        ESN的狀態方程和輸出方程如下:

                        $$ \begin{array}{l} {{x}}(t) = \varphi {\rm{\{ }}{{{W}}_{in}}{{u}}(t) + {{{W}}_x}{{x}}(t - 1) + {{}_x}{\rm{\} }} \end{array} $$ (1)
                        $$ \begin{array}{l} {{{y}}(t) = {{{w}}^{\rm{T}}}{{x}}(t) + {}} \end{array} \hspace{92pt} $$ (2)

                        上式中$ {{{u}}(t) \in {{\bf{R}}^{M \times 1}}} $M元輸入向量, ${{y}}(t) \in $$ {{\bf{R}}^{M \times 1}}$M元輸出向量, $ {{{}_x} \in {{\bf{R}}^{{ N} \times 1}}} $為輸入偏置, $ { {{}} \in {{\bf{R}}^{{ M} \times 1}}} $為輸出偏置. 由當前時刻t的輸入$ {{{u}}(t)} $和前一時刻t?1的儲備池內部狀態$ {{{x}}(t - 1)} $通過激活函數的映射得到當前時刻的狀態$ {{{x}}(t) \in {{\bf{R}}^{{ N} \times 1}}} $. $ {\varphi ( \cdot )} $為神經元的激活函數, 可以選取Sigmod函數或者tanh函數. 輸入連接矩陣$ {{{{W}}_{in}} \in {{\bf{R}}^{{ N} \times { M}}}} $的元素在區間[?1, 1]取值. $ {{{{W}}_x} \in {{\bf{R}}^{{ N} \times {N}}}} $為儲備池內部連接矩陣, 稀疏連接. 通過偽逆求得輸出連接矩陣$ {{{w}} \in {{\bf{R}}^{{ N} \times { M}}}} $. 輸入連接矩陣$ {{{{W}}_{in}}} $和內部的連接矩陣$ {{{{W}}_x}} $隨機生成, 且在回聲狀態網絡的訓練階段始終保持不變. 網絡只需求輸出連接矩陣$ {{{w}}} $, 因此降低了計算復雜度.

                      • 回聲狀態網絡的核心是儲備池, 儲備池性能的好壞取決于四個重要的參數: 儲備池規模N、儲備池的譜半徑R、稀疏度D以及輸入變換因子S, 如何選取這四個參數至關重要. 下面介紹儲備池的參數選擇對模型性能的影響.

                        1) 儲備池規模

                        儲備池的規模N即為儲備池中神經元數目, 是影響ESN預測性能最重要的參數. N的值過大, 造成過擬合; N的值過小, 造成欠擬合.

                        2) 儲備池的譜半徑

                        譜半徑R為內部連接矩陣$ {{{{W}}_x}} $的最大特征值的絕對值. R的取值范圍一般為[0, 1]之間, 但對于不同的時間序列其取值將視情況而定.

                        3) 稀疏度

                        儲備池內部神經元連接的稀疏程度稱為稀疏度D. 儲備池的神經元之間不是全連接, 而是少部分連接. 具體實現方法是使儲備池的連接權值$ {{{{W}}_x}} $中的大多數元素等于零. Jaeger等認為稀疏度$ {D \in [0, 0.1]}$即可保證儲備池具有足夠的動力特性.

                        4) 輸入變換因子

                        輸入變換因子S是指在信號輸入儲備池前縮放的比例因子, 表征輸入連接權值的取值范圍. 根據公式(1)可知, 其大小決定激活函數的工作區間, 也決定了輸入對儲備池的狀態變量作用的強度. 其取值范圍通常在[0,1]之間.

                        回聲狀態網絡參數的選擇往往會針對數據的不同特性而變化, 因此如何選擇適合不同數據的儲備池參數是本文研究的重點. 本文采用差分進化算法來自動選擇適合當前數據的儲備池的參數, 提高網絡的預測性能.

                      • 差分進化算法(Differential evolution, DE)是基于群體智能的優化算法[24]. 由于算法簡單易于實現、魯棒性好、搜索能力強等優點被廣泛應用于電力、煉油、工業及科學研究等領域[27, 28].

                      • 一般來說, 常常選用差分進化算法解決模型參數優化問題. 標準的差分進化算法包括四個操作: 初始化、變異、交叉和選擇. 下面介紹這四個操作的具體實現.

                        1) 隨機初始化個體數量為NP, 迭代次數為G的一個種群, 記${{X}} = ({{{X}}_{1,G}},{{{X}}_{2,G}},\cdots,{{{X}}_{i,G}},\cdots, $${{{X}}_{NP,G}})$, 其中${{{{X}}_{i,G}} = (x_{i,G}^1,x_{i,G}^2,\cdots,x_{i,G}^j,\cdots,x_{i,G}^Q)}$, Q為待優化問題的維數, 初始化公式:

                        $$ {{X}} = ({{{X}}_{\max}} - {{{X}}_{\min}}) \times rand(NP,Q) + {{{X}}_{\min}} $$ (3)

                        ${{{{X}}_{\max}}}$$ {{{{X}}_{\min}}}$分別為種群個體范圍的上限和下限, rand()函數表示生成范圍在(0, 1)之間的隨機數.

                        2) 變異操作則是利用變異策略來產生新的個體, 有利于后代進行搜索以便找到最好的解. 變異策略有:

                        $$ {{{V}}_{i,G}} = {{{X}}_{r1,G}} + {F} \times ({X_{r2,G}} - {{{X}}_{r3,G}}) \hspace{12pt} $$ (4)
                        $$ \begin{split} {{{V}}_{i,G}} =\;& {{{X}}_{{{r}}1,G}} + {F} \times ({{{X}}_{r2,G}} - {{{X}}_{r3,G}})+\\& {F} \times ({{{X}}_{r4,G}} - {{{X}}_{r5,G}}) \end{split} \hspace{5pt}$$ (5)
                        $$ {{{V}}_{i,G}} = {{{X}}_{best,G}} + {F} \times ({{{X}}_{r1,G}} - {{{X}}_{r2,G}}) \hspace{10pt}$$ (6)
                        $$ \begin{split} {{{V}}_{i,G}} =\;& {{{X}}_{best,G}} + {F} \times ({{{X}}_{r1,G}} - {{{X}}_{r2,G}})+\\ & {F} \times ({{{X}}_{r3,G}} - {{{X}}_{r4,G}}) \end{split} $$ (7)
                        $$ \begin{split} {{{V}}_{i,G}} =\;& {{{X}}_{i,G}} + {F} \times ({{{X}}_{best,G}} - {{{X}}_{i,G}})+\\ & {F} \times ({{{X}}_{r1,G}} - {X_{r2,G}}) \end{split} \hspace{10pt}$$ (8)
                        $$ \begin{split} {{{V}}_{i,G}} =\;& {{\bf{X}}_{r1,G}} + {F} \times ({{{X}}_{pbest,G}} - {{{X}}_{r2,G}})+\\& {F} \times ({{{X}}_{r3,G}} - {{{{X}}'}_{r4,G}}) \end{split} $$ (9)

                        得到變異種群${{{V}}_G} = ({{{V}}_{1,G}},{{{V}}_{2,G}},\cdots,{{{V}}_{i,G}},\cdots, $${{{V}}_{NP,G}}),$其中${{{{V}}_{i,G}} = (v_{i,G}^1,v_{i,G}^2,\cdots,v_{i,G}^j,\cdots,v_{i,G}^Q)}$, 代表變異的新個體, ${i=1,2,\cdots,NP}$, ${j=1,2,\cdots,Q}$. ${{r_1},{r_2},{r_3},{r_4},{r_5}}$為隨機生成的數, 代表不同于i的個體, ${{{{X}}_{best,G}}}$代表當前種群適應度最好的個體, F為縮放因子. 變異策略“DE/current-to-pbest/1”由Zhang和Sanderson提出[29], 如公式(9), 將當前種群按適應度排序, 選擇出適應度較好的前${p\% }$個個體, ${{{{X}}_{pbest,G}}}$從中隨機選擇. 該變異策略帶有小范圍的外部存檔arch來存儲迭代時競爭失敗的父代個體, 大小為NP. 若外部存檔arch的個體數大于NP, 則隨機刪除多余的個體. ${{{{X}}'_{r4,G}}}$從當前種群和外部arch中隨機選擇, 提高種群多樣性. ${F}$為縮放因子, 其決定著每個個體變異的尺度來得到新的個體, 因此它對差分算法的性能有著決定性影響.

                        3) 交叉操作的交叉公式為:

                        $$ {{{u}}_{i,G}^j = \left\{ \begin{aligned}& v_{i,G}^j, \;\;if \;rand \le CR\; or \; j = {j_{rand}}\\& x_{i,G}^j,\;\; otherwise \end{aligned} \right.} $$ (10)

                        其中${i=1,2,\cdots,NP}$, ${j=1,2,\cdots,Q}$, 生成的試驗向量為${{{{U}}_G} = ({{{U}}_{1,G}},{{{U}}_{2,G}},\cdots,{{{U}}_{i,G}},\cdots,{{{U}}_{NP,G}})}$, 每個試驗個體為${{{{U}}_{i,G}} = (u_{i,G}^1,u_{i,G}^2,\cdots,u_{i,G}^Q)}$, CR為交叉概率因子.

                        4) 選擇操作就是對新舊個體進行淘汰制操作, 規則就是比較新舊個體的適應度, 適應度好的個體順利進入下一代, 適應度差的就被淘汰, 以此來獲得適應度較好的種群. 選擇公式:

                        $$ {{{{X}}_{i,G + 1}} = \left\{ \begin{aligned}& {{{X}}_{i,G}}, \;\;if \;f({{{X}}_{i,G}}) \le f({{{U}}_{i,G}})\\ &{{{U}}_{i,G}}, \;\;if \;f({{{X}}_{i,G}}) > f({{{U}}_{i,G}}) \end{aligned} \right.} $$ (11)

                        式中${{{{X}}_{i,G}}}$為第G代的第i個個體, 如果目標矢量${{{{X}}_{i,G}}}$的適應度比實驗矢量${{{{U}}_{i,G}}}$適應度好, 則${{{{X}}_{i,G}}}$進入下一代成為${{{X}}_{i,G + 1}}$, 反之, ${{{{U}}_{i,G}}}$進入下一代成為${{{X}}_{i,G + 1}}$.

                      • 在標準的差分進化算法中, 縮放因子F和交叉概率CR是一個確定值, 意味著種群中的每個個體都是用同樣的FCR來進行后面的變異和交叉操作, 但是合適的參數選擇通常與個體成員相關, 不同的個體對應著不同的控制參數. 為了使參數FCR的選擇適合每一個個體, 本文采用自適應方法, 控制參數在進化的過程中根據個體適應度之間的關系自適應變化.

                        1) 縮放因子${F}$的自適應

                        從變異策略方程式可知, 差分矢量實際上是對基向量各維的擾動, ${F}$則控制擾動量的大小. 如果生成差分矢量的兩個個體${{{{X}}_{p,G}}}$${{{{X}}_{q,G}}}$在搜索空間中離得很遠, 則生成的差分矢量比較大, 此時${F}$應減小, 否則對基向量${{{{X}}_{b,G}}}$的各維的擾動量太大, 將會使變異個體超出整個搜索空間, 不利于局部搜索. 如果${{{{X}}_{p,G}}}$${{{{X}}_{q,G}}}$在搜索空間中的位置相近, 則生成的差分矢量的值${({{{X}}_{p,G}} - {{{X}}_{q,G}})}$就會很小, 此時F應增大, 否則基向量${{{{X}}_{b,G}}}$的各維的擾動量太小, 就起不到變異的作用, 不利于在進化初期的全局搜索. 因此, 本文采用自適應策略為每個個體選擇合適的縮放因子${F_i}$, 在全局搜索和局部搜索之間取得平衡.

                        $$ {F_i} = {F_l} + ({F_u} - {F_l})\frac{{{f_p} - {f_b}}}{{{f_q} - {f_b}}} $$ (12)

                        式中, ${{f_b},{f_p},{f_q}}$分別為個體${{{{X}}_{b,G}},{{{X}}_{p,G}},{{{X}}_{q,G}}}$的適應度, ${{F_l}}$${{F_u}}$分別為${{F_i}}$給定的最小值和最大值. 上式表明如果${{{{X}}_{p,G}}}$${{{{X}}_{q,G}}}$的適應度相差很小, 說明這兩個個體在搜索空間里離得很近, 則${{F_i}}$取值大, 以防止對基向量的各維擾動過小; 如果${{{{X}}_{p,G}}}$${{{{X}}_{q,G}}}$的適應度相差很大, 說明這兩個個體在搜索空間里位置離得很遠, 則${{F_i}}$取值小, 以限制擾動量過大.

                        2) 交叉概率${CR}$的自適應

                        從交叉策略方程式可知, ${CR}$是來控制變異矢量${{{{V}}_{i,G}}}$對試驗矢量${{{{U}}_{i,G}}}$的貢獻的. 如果${CR}$過大, 則控制變異矢量${{{{V}}_{i,G}}}$對試驗矢量${{{{U}}_{i,G}}}$的貢獻越多, 對目標矢量的破壞也就越大, 從而使原本適應度很好的個體結構遭到破壞, 不利于種群的進化. 如果${CR}$過小, 則不易產生新的個體, 會使整個搜索過程緩慢甚至停止, 不利于種群后代的搜索. 因此, ${CR}$的取值應該根據個體的適應度的變化而變化, 對適應度很好的個體, 此時${CR}$應減小, 避免對該個體造成破壞, 使其進入下一代的機會更大; 對適應度差的個體, 此時${CR}$應增大, 有利于改變該個體的結構則使產生適應度好的個體的可能更大. 每個個體的交叉概率${CR_i}$計算如下:

                        $$ {C{R_i} = \left\{ \begin{aligned}& C{R_l} + (C{R_u} - C{R_l})\frac{{{f_i} - {f_{\min }}}}{{{f_{\max }} - {f_{\min }}}},\;\;{f_i} \ge \bar f\\ &C{R_l},{f_i} < \bar f \end{aligned} \right.} $$ (13)

                        式中, ${C{R_u}, C{R_l}}$${C{R_i}}$給定的最大值和最小值, ${{f_i},\bar f,{f_{\min }}}$${{f_{\max }}}$分別代表第i個個體的適應度、種群適應度的平均值、最優個體的適應度和最差個體的適應度. 上式表明如果當前第i個個體的適應度 大于當前種群適應度的平均值, 說明該個體不好, 此時${CR}$應增大; 如果該個體的適應度小于當前種群適應度的平均值, 說明該個體性能好, 此時${CR}$應減小, 使該個體更可能進入下一代.

                      • 在標準的差分進化算法中, 變異策略只使用一種, 意味著種群中的每個個體都使用同樣的變異策略進行變異, 但是合適的變異策略選擇通常與問題和初始的種群息息相關, 不同的優化問題對應著不同的變異策略, 且初始化具有隨機性. 為了使變異策略的選擇獨立于優化問題和初始化, 根據文獻[30], 本文采用自適應方法, 使變異策略在進化的過程中, 在指定的策略池中內自適應地選擇, 策略池包括的策略: “DE/rand/1”、“DE/rand/2”、“DE/target-to-best/1”和“DE/current-to-pbest/1”[29],如公式(4)、(5)、(8)、(9).

                        首先在LP代及LP代之前, 策略池中的每個策略被選擇的概率是一樣的, 假設策略池有M個策略, 那么初始時每個變異策略被選擇的概率是${1/M}$. 每次迭代時, 將通過第m個策略生成進入下一代個體的數量記作${n_{s,G}^m}$, 將通過第m個策略生成的個體沒有成功進入下一代的個體數量記作${n_{f,G}^m}$. 從LP + 1代開始, 根據之前${ n_{s,G}^m}$${n_{s,G}^m}$的記憶, 來更新策略池中每個策略被選擇的概率. 例如, 在G代時, 第m個策略被選擇的概率為:

                        $$ p_G^m = \frac{{S_G^m}}{{\displaystyle\sum\nolimits_{m = 1}^M {S_G^m} }} \hspace{90pt}$$ (14)
                        $$ S_G^m = \frac{{\displaystyle\sum\nolimits_{g = LP}^{G - 1} {n_{s,g}^m} }}{{\displaystyle\sum\nolimits_{g = LP}^{G - 1} {n_{s,g}^m} + \sum\nolimits_{g = LP}^{G - {\rm{1}}} {n_{f,g}^m} }} + \varepsilon $$ (15)

                        在式中${m = 1,2,\cdots,M}$, ${G> LP}$, ${S_G^m}$表征當前G代中第m個策略生成的試驗矢量成功進入下一代的可能性大小. 為了使每個策略被選擇的概率和為1, 則將${S_G^m}$除以各個策略的成功率的和. 為避免變異策略生成進入下一代個體的成功率為0, 本文中${\varepsilon }$的值設為0.01.

                      • ESN優點在于網絡學習過程中僅需調節儲備池到輸出層之間的輸出連接權值, 而其他連接權值一般都隨機賦值后保持不變. 儲備池參數設置直接影響ESN的預測性能, 人工調節參數既費時又不能選擇出最適合的參數值, 所以本文提出基于改進的差分進化算法優化回聲狀態網絡(Improved Differential Evolution-Echo State Network, IDE-ESN)的參數. 本文將實驗數據分為訓練集、測試集兩部分, 目標函數為訓練集誤差最小. 具體闡述如算法1所示, 流程圖如圖2所示.

                        圖  2  IDE-ESN算法流程圖

                        Figure 2.  Flow chart for IDE-ESN

                      • 為驗證本文所提模型的有效性, 本文選擇Lorenz時間序列、大連月平均氣溫 ? 降雨量數據集進行仿真實驗.同時, 在相同的數據集上, 與人工魚群[18]優化ESN(AF-ESN)、粒子群[19]優化ESN(PSO-ESN)、教與學優化算法[25]優化ESN(TLBO-ESN) 和極限學習機預測模型(ELM)[10]的仿真結果進行比較. 模型預測性能好壞的評價指標為均方根誤差(Root Mean Square Error, RMSE)、平均對稱絕對誤差 (Symmetric Mean Absolute Percentage Error, SMAPE) 和標準化均方根誤差(Normalized Root Mean Squared Error NRMSE). RMSE、SMAPENRMSE的計算公式定義如下:

                        $$ RMSE = \sqrt {\frac{1}{n}\sum\nolimits_{t = 1}^n {{{(y'(t) - y(t))}^2}} } \hspace{10pt}$$ (16)
                        $$ SMAPE=\frac{1}{n}\sum\nolimits_{t=1}^{n}{\frac{\left| {y}'(t)-y(t) \right|}{{}^{1}\!\!\diagup\!\!{}_{2}\;\left| {y}'(t)+y(t) \right|}}$$ (17)
                        $$ NRMSE = \sqrt {\frac{{\displaystyle\sum\nolimits_{t = 1}^n {{{[y'(t) - y(t)]}^2}} }}{{\displaystyle\sum\nolimits_{t = 1}^n {{{[\bar y(t) - y(t)]}^2}} }}} \hspace{10pt}$$ (18)

                        式中${y(t)}$為測試數據的真實值, ${y'(t)}$為網絡預測值, ${\bar y(t)}$為真實值的平均值, ${n}$為測試集的大小.

                      • Lorenz系統方程描述如下:

                        $$ {\left\{ \begin{aligned}& {{dx} / {dt}} = a( - x + y)\\ &{{dy} / {dt}} = bx - y - xz\\ &{{dz} / {dt}} = xy - cz \end{aligned} \right.} $$ (19)

                        a = 10、b = 28和c = 8/3時, 系統是具有混沌特性. 采用龍格庫塔方法產生2 500組離散時間序列.

                        算法 1 改進差分進化回聲狀態網絡

                        步驟 1: 隨機初始化種群${{X}} = ({{{X}}_{1,G}}, {{{X}}_{2,G}},\cdots,$${{{X}}_{i,G}},\cdots,{{{X}}_{NP,G}})$, NP為種群個體數, G = 0為初始代數. 種群個體的每一維代表儲備池的一個參數, 每一個參數都有選擇范圍, 因此對個體的每一維進行約束.

                        步驟 2: 將個體的每一維分別賦值給儲備池對應的參數: 儲備池規模N, 稀疏度D, 譜半徑R和輸入變換因子S, 進行適應度評價, 選出最優個體. 適應度評價為計算ESN模型在訓練集上的均方根誤差.

                        步驟 3: 根據公式(12)來選擇每個個體對應的縮放因子${{F_i}}$.

                        步驟 4: 當迭代次數$G \le LP$時, 在變異策略池中隨機選擇變異策略, 生成變異個體${{V_{i,G}}}$. 當迭代次數${ G>LP }$時, 根據前${G-LP}$代得出的${n_{s,G}^m}$${n_{f,G}^m}$, 依公式(14)和(15)計算每個變異策略被選擇的概率${p_G^m}$, 并選擇概率最大的變異策略來產生變異個體${{{{V}}_{i,G}}}$.

                        步驟 5: 用公式(13)為每個目標個體選擇${C{R_i}}$, 通過交叉策略, 即公式(10)來生成試驗個體${{{{U}}_{i,G}}}$.

                        步驟 6: 通過對原個體與試驗個體進行適應度評價比較, 選出適應度好的個體來進行種群更新. 即若${f({{{X}}_{i,G}}) > f({{{U}}_{i,G}})}$, 則${{{X}}_{i,G + 1}} ={ {{{U}}_{i,G}}} $, $n_{s,G}^m = $${ n_{s,G}^m + 1}$. 若${f({{{X}}_{i,G}}) \le f({{{U}}_{i,G}})}$, 則${{{{X}}_{i,G + 1}} = {{{X}}_{i,G}}}$, ${n_{f,G}^m = n_{f,G}^m + 1}$. 并更新最優個體.

                        步驟 7: 在迭代的過程中, 種群中的個體慢慢趨于相同, 為了增加種群的多樣性, 避免陷入局部最優, 在迭代次數大于5時, 隨機選取NP/5個體, 根據Logistic混沌映射產生與原個體差異較大的新的個體. 若迭代次數G大于最大迭代次數Max Iteration, 執行步驟8; 反之執行步驟3.

                        步驟 8: 輸出最優個體, 在測試集數據上進行驗證.

                        改進的差分進化算法優化ESN模型參數的范圍設定: 儲備池規模N范圍設為[20, 100]、稀疏度D范圍設為[0.01, 0.5]、譜半徑$\rho $范圍設為[0.1, 1]及輸入變換因子S范圍設為[0.0001, 0.1]; 種群大小NP設為25, 最大迭代次數設為30. 縮放因子F的范圍設為[0.1, 0.9], 交叉概率CR的范圍設為[0.1, 0.9]. 前${70\,{\text{%}}}$數據用于訓練, ${30\,{\text{%}} }$數據用于測試, 其中訓練樣本中舍棄前50個樣本產生的狀態以消除初始暫態的影響. 人工魚群優化ESN模型及粒子群優化ESN模型的參數設置同改進差分優化ESN模型. 表1給出了對于Lorenz序列IDE-ESN選出的最好的參數值.

                        表 1  Lorenz-x(t)序列: IDE-ESN模型參數

                        Table 1.  Lorenz-x(t) series: parameters in IDE-ESN

                        儲備池參數取值
                        儲備池規模50
                        稀疏度0.0210
                        譜半徑0.9589
                        輸入變化因子0.0600

                        表2給出了不同模型對Lorenz-x(t)的單步預測結果, 可以看出本文所提模型在RMSE、SMAPENRMSE方面均好于其他對比模型, 更具優勢. 其中, 人工魚群優化ESN模型的預測精度不及粒子群優化ESN模型, 可以看出同時優化多個范圍不同的參數時, 人工魚群優化ESN模型存在局限性. 圖3給出了IDE-ESN對Lorenz-x(t)測試數據的預測曲線和誤差曲線. 從圖中可以看出, 預測誤差很小, IDE-ESN能夠很好的擬合Lorenz-x(t)序列. 得到各個算法誤差指標如表2所示.

                        表 2  Lorenz-x(t) 序列: 測試集仿真結果

                        Table 2.  Lorenz-x(t) time series: prediction results on the test dataset

                        模型RMSENRMSESMAPE
                        AF-ESN2.0850e-061.8571e-072.7992e-07
                        PSO-ESN1.0139e-061.0211e-071.3613e-07
                        ELM1.8422e-036.6638e-042.1061e-04
                        TLBO-ESN7.7210e-071.6737e-071.0528e-07
                        IDE-ESN3.2156e-079.8008e-084.3089e-08

                        圖  3  Lorenz-x(t)序列: IDE-ESN的預測曲線及誤差曲線

                        Figure 3.  Lorenz-x(t) series: prediction and error curves obtained by IDE-ESN

                        表3給出對于Lorenz序列不同模型在30次迭代次數下運行時間, 可以看出AF-ESN模型運行時間最長, 該模型的時間復雜度最大. PSO-ESN的時間復雜度最小, 本文所提模型IDE-ESN運行時間雖然比PSO-ESN長, 但是預測精度高, 綜合來看, IDE-ESN模型更具優勢. 圖4給出對于Lorenz時間序列, 本文所提出的改進的差分進化算法優化ESN(IDE-ESN)、粒子群優化ESN(PSO-ESN)、人工魚群優化ESN(AF-ESN)及教與學優化算法優化ESN(TLBO-ESN)在迭代過程中的適應度值(Fitness)的變化曲線圖. 為更能清楚的顯示各個模型適應度曲線的差別, 對適應度的值取以30為底的對數. 從圖中可以看出IDE-ESN算法在迭代的過程中, 誤差越來越小, 收斂速度較快并最終穩定于較小的適應度值.

                        表 3  Lorenz-x(t) 序列: 不同模型的運行時間

                        Table 3.  Lorenz-x(t) series: run time of different models

                        模型AF-ESNPSO-ESNTLBO-ESNIDE-ESN
                        時間1405.4289 s47.6972 s168.3124 s102.8856 s

                        圖  4  Lorenz-x(t)序列: 不同模型的適應度曲線

                        Figure 4.  Lorenz-x(t) series: the curves of Fitness for different models

                      • 大連市月平均氣溫和月降雨量數據集包括從1951年1月到2001年12月的數據記錄值, 采樣間隔為月. 大連月降雨量序列作為實驗數據的第二維, 來輔助大連月平均氣溫的預測. ${70\,{\text{%}}}$的數據用于訓練, ${30\,{\text{%}}}$數據用于測試, 其中訓練樣本中舍棄前50個樣本產生的狀態以消除初始暫態的影響. 儲備池規模N范圍設為[20, 100]、稀疏度D范圍設為[0.01, 0.5]、譜半徑R范圍設為[0.1, 1]及輸入變換因子S范圍設為[0.0001, 0.1]; 種群大小NP設為25, 最大迭代次數設為30. 縮放因子F的范圍設為[0.1, 0.9], 交叉概率CR的范圍設為[0.1, 0.9]. 為證明本文所提模型有效性, 對于PSO-ESN、AF-ESN模型, 設置同樣的儲備池參數范圍、種群大小及迭代次數. 表4給出本文所提出的模型選出的最適合大連月平均氣溫 ? 降雨量序列的儲備池參數.

                        表 4  大連月平均氣溫: IDE-ESN模型參數

                        Table 4.  Dalian monthly average temperature-rainfall series: parameters in IDE-ESN

                        儲備池參數取值
                        儲備池規模47
                        稀疏度0.0206
                        譜半徑0.9802
                        輸入變化因子0.0459

                        圖5給出了IDE-ESN模型對大連月平均氣溫 ? 降雨量序列測試數據的預測曲線和誤差曲線. 從圖中可以看出, 本文模型能夠很好的擬合大連月平均氣溫 ? 降雨量序列曲線, 絕對誤差較小. 表5給出了不同模型對大連月平均氣溫 ? 降雨量序列的單步預測結果, 可以看出本文所提模型在RMSE、SMAPENRMSE方面均好于其他對比模型. 從表5可以看出雖然PSO-ESN模型的RMSE小于AF-ESN, 但是SMAPE卻很大, 說明PSO-ESN模型不能很好地預測出大連月平均氣溫的序列趨勢. 而AF-ESN雖然能夠較好的擬合出序列的變化趨勢, 但是在RMSENRMSE方面誤差較大, 說明在某些點上的預測上存在較大偏差. 本文所提IDE-ESN模型無論在RMSE、NRMSE方面還是SMAPE方面都小于其他對比模型, 具有明顯優勢.

                        圖  5  大連月平均氣溫: IDE-ESN的預測曲線及誤差曲線

                        Figure 5.  Dalian monthly average temperature series: prediction and error curves obtained by IDE-ESN

                        表 5  大連月平均氣溫: 測試集仿真結果

                        Table 5.  Dalian monthly average temperature series: prediction results for the test dataset

                        模型RMSENRMSESMAPE
                        AF-ESN1.80420.29020.1820
                        PSO-ESN1.65110.29560.1666
                        ELM5.42350.67040.5520
                        TLBO-ESN1.67260.20880.1708
                        IDE-ESN1.42150.27410.1440

                        圖6給出對于大連月平均氣溫數據集, IDE-ESN、PSO-ESN、AF-ESN及TLBO-ESN在迭代過程中的適應度值的變化曲線圖, 從圖中可以看出IDE-ESN算法較快收斂, 且誤差較小. 表6給出對于大連月平均氣溫數據集不同模型在30次迭代次數下的運行時間, 可以看出AF-ESN模型運行時間最長, 該模型的時間復雜度最大. IDE-ESN模型運行時間略大于PSO-ESN模型, TLBO-ESN模型運行時間是本文提出模型運行時間的兩倍. PSO-ESN模型雖然運行時間最短, 但預測精度較差.

                        圖  6  大連月平均氣溫: 不同模型的適應度曲線

                        Figure 6.  Dalian monthly average temperature series: the curves of Fitness for differential models

                        表 6  大連月平均氣溫: 不同模型的運行時間

                        Table 6.  Dalian monthly average temperature series: run time of different models

                        模型AF-ESNPSO-ESNTLBO-ESNIDE-ESN
                        時間347.1955 s10.5115 s31.1971 s15.1921 s
                      • 本文針對不同的時間序列, 利用改進的差分進化算法來動態選擇回聲狀態網絡的參數, 以適應于不同時間序列的動力學特性, 從而提高預測精度和泛化性能. 對于標準的差分進化主要有兩方面的改進, 一是對于算法的控制參數的自適應選擇, 主要包括縮放因子F和交叉概率CR; 二是變異策略的自適應選擇. 對兩組時間序列進行預測, 仿真實驗結果表明, 本文所提出的模型較其他預測模型有了很大的改善, 既具有較高的預測精度, 又具有較快的收斂速度和運行速度, 在時間序列預測分析中具有實用性和有效性、普遍性.

                    WeChat 關注分享

                    返回頂部

                    目錄

                      /

                      返回文章
                      返回