<address id="japib"><nav id="japib"></nav></address>

<cite id="japib"></cite>

        基于長短期記憶網絡的輪詢系統性能預測

        楊志軍 毛磊 丁洪偉

        引用本文:
        Citation:

        基于長短期記憶網絡的輪詢系統性能預測

          作者簡介: 楊志軍(1968?),男,云南人,研究員,主要研究計算機網絡與通信、輪詢控制系統. E-mail:353738698@qq.com;
        • 中圖分類號: TN202

        Performance prediction of polling system based on Long Short-Term Memory network

        • CLC number: TN202

        • 摘要: 為解決輪詢系統性能參數計算復雜的問題,提出一種基于長短期記憶(Long Short-Term Memory,LSTM)網絡的輪詢系統性能預測方法. 通過對已有實驗數據進行建模和分析,構建LSTM模型,預測不同信息分組到達率下的輪詢系統性能. 首先對實驗數據進行處理,以不同信息分組到達率下的平均排隊隊長構成一個序列;然后建立包括輸入層、隱藏層、全連接層和輸出層的LSTM網絡來執行預測;最后采用循環將網絡的輸出重新輸入,以此來預測未知到達率下的平均排隊隊長. 實驗結果顯示預測值曲線與真實值曲線表現出了相同的趨勢,表明該方法能夠有效預測不同輪詢系統的性能.與傳統的數學分析方法相比,該方法計算效率較高.
        • 圖 1  輪詢系統的基本模型

          Figure 1.  The basic model of polling system

          圖 2  LSTM網絡模型

          Figure 2.  The network model of LSTM

          圖 3  LSTM網絡結構

          Figure 3.  The network structure of LSTM

          圖 4  損失函數下降曲線(200個樣本)

          Figure 4.  The drop curve of the loss function (200 samples)

          圖 5  完全服務輪詢系統平均排隊隊長預測結果(200個樣本)

          Figure 5.  Prediction results of average queue length of exhaustive service polling system (200 samples)

          圖 6  完全服務平均排隊隊長態勢及預測結果(200個樣本)

          Figure 6.  Trend and prediction of exhaustive service average queue length (200 samples)

          圖 7  完全服務不同樣本預測值與真實值對比

          Figure 7.  Comparison of predicted values and true values of different samples

          圖 8  限定和完全服務平均排隊隊長的預測結果(200個樣本)

          Figure 8.  Prediction results of limited and exhaustive serviced average queue length (200 samples)

          圖 9  兩種模型對比分析(200個樣本)

          Figure 9.  Comparative analysis of two models (200 samples)

          表 1  不同樣本時迭代次數與均方根誤差的關系

          Table 1.  Relationship between epochs and RMSE in different samples

          樣本數迭代次數均方根誤差
          200 20 2.02
          40 0.08
          100 0.11
          500 20 0.20
          40 0.14
          100 0.19
          下載: 導出CSV
          幸运快三
        • [1] 羅啟鵬, 保利勇, 丁洪偉, 等. 離散時間并行優化門限服務輪詢系統排隊特性解析[J]. 電子學報, 2019, 47(9): 1 937-1 942. DOI:  10.3969/j.issn.0372-2112.2019.09.017. Luo Q P, Bao L Y, Ding H W, et al. Performance analysis of discrete time polling queuing system based on parallel optimization gated service[J]. Acta Electronica Sinica, 2019, 47(9): 1 937-1 942.
          [2] 王若男, ??? 宗容, 等. 基于損失制輪詢調度的頻譜接入機制研究[J]. 云南大學學報: 自然科學版, 2018, 40(1): 50-56. DOI:  10.7540/j.ynu.20170266. Wang R N, Chang J, Zong R, et al. Research on spectrum access mechanism based on loss polling scheduling[J]. Journal of Yunnan University :Natural Sciences Edition, 2018, 40(1): 50-56.
          [3] 楊志軍, 孫洋洋. 無線傳感器網絡輪詢控制系統研究[J]. 云南大學學報:自然科學版, 2019, 41(2): 46-52. DOI:  10.7540/j.ynu.20170671. Yang Z J, Sun Y Y. Research on wireless sensor network polling control system[J]. Journal of Yunnan University :Natural Sciences Edition, 2019, 41(2): 46-52.
          [4] Yang Z J, Ding H W. Characteristics of a two-class polling system model[J]. Tsinghua Science and Technology, 2014, 19(5): 516-520. DOI:  10.1109/TST.2014.6919828.
          [5] 蘇楊, 楊志軍, 丁陽洋, 等. 無線傳感器網絡中輪詢系統控制的實現[J]. 電子測量技術, 2018, 41(4): 66-70. Su Y, Yang Z J, Ding Y Y, et al. Realization of polling system control in wireless sensor networks[J]. Electronic Measurement Technology, 2018, 41(4): 66-70.
          [6] Yang Z J, Sun Y Y, Gan J H. New polling scheme based on busy/idle queues mechanism[J]. International Journal of Performability Engineering, 2018, 14(10): 2 522-2 531.
          [7] 郭佳. 基于改進的人工神經網絡對存儲系統性能進行預測的方法[J]. 計算機科學, 2019, 46(S1): 52-55. Guo J. Method of predicting performance of storage system based on improved artificial neural network[J]. Computer Science, 2019, 46(S1): 52-55.
          [8] Chen G, Luo X, Zhang H, et al. Artificial neural network models for the prediction of CO2 solubility in aqueous amine solutions[J]. International Journal of Greenhouse Gas Control, 2015, 39: 174-184. DOI:  10.1016/j.ijggc.2015.05.005.
          [9] 張鵬, 楊濤, 劉亞楠, 等. 基于CNN-LSTM的QAR數據特征提取與預測[J]. 計算機應用研究, 2019, 36(10): 2 958-2 961. Zhang P, Yang T, Liu Y N, et al. Feature extraction and prediction of QAR data based on CNN-LSTM[J]. Application Research of Computers, 2019, 36(10): 2 958-2 961.
          [10] Ospina J, Newaz A, Faruque M O. Forecasting of PV plant output using hybrid wavelet-based LSTM-DNN structure model[J]. IET Renewable Power Generation, 2019, 13(7): 1 087-1 095. DOI:  10.1049/iet-rpg.2018.5779.
          [11] Xu P, Du R, Zhang Z B. Predicting pipeline leakage in petrochemical system through GAN and LSTM[J]. Knowledge-Based Systems, 2019, 175: 50-61. DOI:  10.1016/j.knosys.2019.03.013.
          [12] Challagulla V U B, Bastani F B, Yen I L, et al. Empirical assessment of machine learning based software defect prediction techniques[J]. International Journal of Artificial Intelligence Tools, 2015, 17(2): 389-400.
          [13] Bhuiyan M Z A, Wang G, Vasilakos A V. Local area prediction-based mobile target tracking in wireless sensor networks[J]. IEEE Transactions on Computers, 2015, 64(7): 1 968-1 982. DOI:  10.1109/TC.2014.2346209.
          [14] Yang B L, Sun S L, Li J Y, et al. Traffic flow prediction using LSTM with feature enhancement[J]. Neurocomputing, 2019, 332: 320-327. DOI:  10.1016/j.neucom.2018.12.016.
          [15] Tian Y, Zhang K L, Li J Y, et al. LSTM-based traffic flow prediction with missing data[J]. Neurocomputing, 2018, 318: 297-305. DOI:  10.1016/j.neucom.2018.08.067.
          [16] Zhang W S, Guo W W, Liu X, et al. LSTM-based analysis of industrial IoT equipment[J]. IEEE Access, 2018, 6: 23 551-23 560. DOI:  10.1109/ACCESS.2018.2825538.
          [17] Shu T X, Chen J H, Vijay K B, et al. An energy-efficient dual prediction scheme using LMS filter and LSTM in wireless sensor networks for environment monitoring[J]. IEEE Internet of Things Journal, 2019, 6(4): 6 736-6 747. DOI:  10.1109/JIOT.2019.2911295.
        • [1] 王明貴趙東風丁洪偉賴裕平 . 服務2類業務的輪詢系統性能分析. 云南大學學報(自然科學版), 2010, 32(2): 147-151 .
          [2] 賴裕平趙東風丁洪偉王明貴 . m級門限服務輪詢系統隊長特性分析. 云南大學學報(自然科學版), 2010, 32(6): 657-660 .
          [3] 楊志軍劉征丁洪偉毛磊張強 . 基于輪詢控制的無線傳感器網絡MAC協議性能分析. 云南大學學報(自然科學版), 2020, 42(3): 437-443. doi: 10.7540/j.ynu.20190326
          [4] 任思睿黃銘 . 基于改進的長短期記憶網絡的調制識別算法. 云南大學學報(自然科學版), 2020, 42(): 1-7. doi: 10.7540/j.ynu.20200075
          [5] 王鶴鳴王靈矯譚貌夏偉郭華 . 基于多目標優化回聲狀態網絡的電網故障恢復. 云南大學學報(自然科學版), 2017, 39(5): 760-767. doi: 10.7540/j.ynu.20160757
          [6] 趙東風丁洪偉楊志軍 . 連續時間型輪詢系統并行調度策略研究. 云南大學學報(自然科學版), 2003, 25(3): 212-216.
          [7] 趙家松趙東風丁洪偉 . 門限服務輪詢系統中非對稱性問題研究. 云南大學學報(自然科學版), 2010, 32(1): 30-35 .
          [8] 楊志軍孫洋洋 . 無線傳感器網絡輪詢控制系統研究. 云南大學學報(自然科學版), 2019, 41(1): 46-52. doi: 10.7540/j.ynu.20170671
          [9] 虞雙吉苗春生王新 . 極限學習機神經網絡在短期降水預報中的應用. 云南大學學報(自然科學版), 2013, 35(4): 507-515. doi: 10.7540/j.ynu.20120670
          [10] 宋炯金釗楊維和 . 機器學習中加速強化學習的一種函數方法. 云南大學學報(自然科學版), 2011, 33(S2): 176-181.
          [11] 于艷艷黃倩王磊楊軍趙征鵬 . 基于FPGA的動態優先輪詢策略在Ad Hoc網絡數據采集系統中的研究與應用. 云南大學學報(自然科學版), 2014, 36(1): 16-20. doi: 10.7540/j.ynu.20120711
          [12] 裴以建余江宗容蔡光卉 . 行走機器人高精度視覺系統. 云南大學學報(自然科學版), 2006, 28(6): 483-486.
          [13] 錢謙裴以建余江宗容 . 基于OpenGL的關節型機器人實時控制與仿真系統的研究. 云南大學學報(自然科學版), 2006, 28(5): 398-403.
          [14] 蔡群趙東風丁洪偉李俊生 . 輪詢LAN多業務系統丟失率分析. 云南大學學報(自然科學版), 2006, 28(6): 478-482.
          [15] 張亞鵬唐猛李海華謝靈運陳建華 . 物理層網絡編碼與LDPC碼聯合系統設計及性能優化. 云南大學學報(自然科學版), 2020, 42(1): 28-35. doi: 10.7540/j.ynu.20190226
          [16] 李海華唐猛張亞鵬謝靈運陳建華 . 多中繼物理層網絡編碼系統與LDPC碼聯合設計及性能分析. 云南大學學報(自然科學版), 2020, 42(): 1-9. doi: 10.7540/j.ynu.20190651
          [17] 施繼紅趙東風蔡光卉 . 多業務門限服務排隊系統分析. 云南大學學報(自然科學版), 2003, 25(2): 105-109.
          [18] 唐菁敏馬含 . 基于混沌粒子群優化的微電網短期負荷預測. 云南大學學報(自然科學版), 2019, 41(6): 1123-1129. doi: 10.7540/j.ynu.20190017
          [19] 王菽蘭官錚趙東風楊志軍 . 一種多業務門限服務輪詢多址系統的分析方法研究. 云南大學學報(自然科學版), 2009, 31(2): 135-139, .
          [20] 趙進曉趙東風丁洪偉 . 輪詢門限服務系統中信息分組等待時間的公平性問題分析. 云南大學學報(自然科學版), 2006, 28(2): 108-112.
        • 加載中
        圖(9)表(1)
        計量
        • 文章訪問數:  237
        • HTML全文瀏覽量:  232
        • PDF下載量:  11
        • 被引次數: 0
        出版歷程
        • 收稿日期:  2019-06-24
        • 錄用日期:  2020-03-23
        • 網絡出版日期:  2020-09-28
        • 刊出日期:  2020-11-10

        基于長短期記憶網絡的輪詢系統性能預測

          作者簡介:楊志軍(1968?),男,云南人,研究員,主要研究計算機網絡與通信、輪詢控制系統. E-mail:353738698@qq.com
        • 1. 云南大學 信息學院,云南 昆明 650500
        • 2. 云南省教育廳 教學儀器裝備中心,云南 昆明 650223

        摘要: 為解決輪詢系統性能參數計算復雜的問題,提出一種基于長短期記憶(Long Short-Term Memory,LSTM)網絡的輪詢系統性能預測方法. 通過對已有實驗數據進行建模和分析,構建LSTM模型,預測不同信息分組到達率下的輪詢系統性能. 首先對實驗數據進行處理,以不同信息分組到達率下的平均排隊隊長構成一個序列;然后建立包括輸入層、隱藏層、全連接層和輸出層的LSTM網絡來執行預測;最后采用循環將網絡的輸出重新輸入,以此來預測未知到達率下的平均排隊隊長. 實驗結果顯示預測值曲線與真實值曲線表現出了相同的趨勢,表明該方法能夠有效預測不同輪詢系統的性能.與傳統的數學分析方法相比,該方法計算效率較高.

        English Abstract

        • 物聯網是第三次信息技術產業革命的產物,通過各類傳感器設備,實時采集需要監視、連接、交流的物體或過程等多種所需的信息,并與互聯網相結合構成一個巨大的網絡. 其目的在于實現人與人、物與物、人與物之間的任意通信. 無線傳感器技術是物聯網的關鍵性技術之一,在物聯網感知層的信息采集中起著不可替代的作用. 無線傳感器網絡通過介質訪問控制(Medium Access Control, MAC)協議分配無線信道的使用,從而實現資源共享和各個節點的協同工作. 基于輪詢接入機制的MAC協議不僅公平性較高,而且用戶的平均等待時延較低,在無線傳感器網絡中有著廣泛的應用.

          目前,對輪詢接入控制協議的研究,主要是通過數學方法計算系統內用戶的平均排隊隊長和平均等待時延[1-2]. 文獻[3-4]采用概率母函數和嵌入式馬爾可夫鏈的方法對輪詢系統的性能進行了研究,通過求導解析出了它的一階、二階特性;文獻[5]通過構建數學模型,精確解析了輪詢系統的平均時延和平均隊長,并通過蒙特卡洛實驗進行了驗證;文獻[6]采用均值分析法分析輪詢系統的性能. 通過對比可以發現,傳統的分析方法都是通過復雜的數學計算,然后利用計算機上萬次仿真得出結果.這類分析方法不僅難度大,而且運算效率較低. 隨著無線傳感器網絡的不斷發展,網絡規模和業務量不斷增加,網絡部署和后期維護難度逐漸增大,輪詢系統的分析變得更加困難.

          隨著機器學習的發展,循環神經網絡(Recurrent Neural Network, RNN)、人工神經網絡(Artificial Neural Network, ANN)[7-8]、卷積神經網絡(Convolutional Neural Networks, CNN)[9]、長短期記憶(Long Short-Term Memory,LSTM)網絡[10-11]和其他方法[12-13]被逐漸運用到預測分析中,通過歷史數據預測未來發展趨勢. LSTM網絡是由RNN 發展而來的一種遞歸神經網絡,與其它模型相比,其具有隱藏單元循環遞歸的特點,能夠將上一時間節點的特性傳遞到當前節點,在性能上具有很好的優勢,近年來被廣泛用于預測分析[14-15]. 文獻[16]通過對工業物聯網產生的大量數據進行分析,然后設計LSTM網絡模型預測設備運行狀況,提高了物聯網的服務質量. 文獻[17]使用自適應濾波器(Least Mean Square, LMS)和LSTM結合的方法預測智能交通系統中的車流量,克服了交通傳感器不規則采樣和數據缺失的問題. 本文利用LSTM網絡的優勢,對輪詢系統的數據序列進行建模和分析,構建LSTM模型預測其性能,并驗證該方法的可行性.

          • 輪詢是服務器為終端分配資源的一種通信方式,這種分配可以是針對單個終端的,也可以是針對多個終端的. 輪詢系統的基本模型由1臺服務器和N個用戶組成,如圖1所示,其服務規則有完全、門限和限定3種[1,3,5]. 其中完全服務策略是指一個隊列或者用戶在占用信道資源時,信道資源當且僅當該隊列里沒有數據包時才分配給下一個隊列;門限服務策略是指當用戶占用信道資源的時候,只傳輸當前時段內的數據;限定(K=1)服務是指隊列在發送完一個數據后,其占用的信道資源就被分配給下一個隊列. 一個輪詢系統性能的好壞,主要通過系統內用戶的平均排隊隊長、平均等待時延等特性來衡量. 平均排隊隊長越低,用戶的平均等待時延越小,說明系統的性能越好. 本文主要研究完全服務和限定服務輪詢系統的平均排隊隊長、平均時延等參數與此類似.

            圖  1  輪詢系統的基本模型

            Figure 1.  The basic model of polling system

          • LSTM網絡是一種特殊的RNN模型,是為了解決RNN模型梯度爆炸的問題而提出的. 在傳統的RNN中,訓練算法使用的是基于時間的誤差反向傳播算法(Back Propagation Trough Time,BPTT). 隨著時間的積累,網絡中需要回傳的殘差會呈指數下降,使得網絡的權重更新緩慢,無法體現出RNN的長期記憶效果,因此需要一個存儲單元來存儲記憶,LSTM模型由此提出. LSTM網絡模型如圖2所示.

            圖  2  LSTM網絡模型

            Figure 2.  The network model of LSTM

            LSTM與RNN的不同之處在于,LSTM在網絡的最頂層增加了一條信息傳送帶,用來存儲信息. LSTM網絡有4層神經網絡層,分別是遺忘層、輸入層、更新層和輸出層[11],它的工作流程可分為:

            第1步 遺忘層通過激活函數(sigmoid)控制能夠通過的信息,利用上一時刻的輸出ht?1和當前輸入xt來產生一個0到1的遺忘門ft值,根據ft值決定是否讓上一時刻的信息ct?1 通過,計算公式為:

            ${f_t} = \sigma ({W_{\rm{f}}} \cdot [{h_{t - 1}},{x_t}] + {b_{\rm{f}}}),$

            式中, σ 為 sigmoid 激活函數,Wft時刻遺忘門的權重值,bf 為遺忘門偏置.

            第2步 產生需要更新的新信息,包含兩部分:首先是輸入層通過激活函數以決定哪個值需要被更新,然后通過tanh函數生成新的候選值 ${\tilde c_t}$ 加入到狀態中. 計算如下:

            ${i_t} = \sigma ({W_i} \cdot [{h_{t - 1}},{x_t}] + {b_i}),$

            ${\tilde c_t} = \tanh ({W_c} \cdot [{h_{t - 1}},{x_t}] + {b_c}),$

            式中, it為輸入門, ${\tilde c_t} $為當前輸入單元的狀態, WiWc 為權重值, bibc 為偏置項.

            第3步 更新舊狀態,即把 ct?1 狀態更新為 ct. 將 ct?1通過遺忘門忘掉不需要的信息,再加上新的候選值,得到新的狀態. 其公式如下:

            ${c_t} = f{ \otimes _t}{c_{t - 1}} + {i_t} \otimes {\tilde c_t},$

            式中, ct 為細胞狀態,$\otimes$表示逐點相乘.

            第4步 決定模型的輸出,首先通過激活函數產生一個初始輸出,然后使用tanh函數將ct值縮放到?1到1之間,再與激活函數得到的輸出逐對相乘,即得到模型的輸出. 公式如下:

            ${o_t} = \sigma ({W_{\rm{o}}} \cdot [{h_{t - 1}},{x_t}] + {b_{\rm{o}}}),$

            ${h_t} = {o_t} \otimes \tanh ({c_t}),$

            式中, ot 為輸出門,htt 時刻的輸出值,Wo 為輸出門權重值,bo 為輸出門偏置.

          • 為了解決輪詢系統的性能預測問題,把平均排隊隊長與信息分組到達率的關系抽象為一個時間序列預測問題,即按照時間順序將不同業務量下客戶的平均排隊隊長構成一系列離散數據,然后通過構建適當的網絡模型,對已知數據序列進行統計分析就可實現有效預測. 該模型的實現工具為Windows10 64位環境下的Python3.7,利用Tensorflow 和Keras框架構建網絡.為了簡化網絡,提高計算效率,LSTM網絡的結構設計為1個輸入層、1個隱藏層、1個全連接層和1個網絡輸出層. 網絡模型如圖3所示.

            圖  3  LSTM網絡結構

            Figure 3.  The network structure of LSTM

            實驗中,采用均方根誤差(Root Mean Square Error, RMSE)評判預測數據的準確性和模型的可靠性,計算方法如下:

            $E_{{\rm{RMS}}} = \sqrt {\frac{1}{N}\sum\limits_{i = 1}^N {{{(y_i - {\hat y}_i)}^2}} }, $

            式中,N為預測數據的總數,yi為仿真值,${\hat y_i}$ 為預測值.

            訓練網絡的優化算法選擇適應性動量估計算法(Adaptive moment estimation, Adam). 該算法吸收了AdaGrad 和RMSProp算法的優點,基于訓練數據迭代的更新網絡的權值,是目前使用最廣泛的優化算法之一. 其算法步驟如下:

            步驟 1 設置步長 $\alpha {\rm{ = 0}}{\rm{.001}}$.

            步驟 2 設置矩估計衰減指數 ${\rho _{\rm{1}}},{\rho _2} \in [0,1)$,其中 ${\rho _{\rm{1}}}{\rm{ = 0}}{\rm{.9}}$,${\;\rho _{\rm{2}}}{\rm{ = 0}}{\rm{.999}}$.

            步驟 3 設置用于穩定的常數 $\delta {\rm{ = 1}}{{\rm{0}}^{{\rm{ - 8}}}}$.

            步驟 4 初始化參數θ,初始化一階、二階矩估計分別為s=0,r=0,初始化時間步長t=0.

            步驟 5 在停止判據不滿足的條件下,計算以下網絡參數:

            $g \leftarrow \dfrac{1}{m}\nabla \theta \displaystyle \sum_ {i} L(f({x^{(i)}};\theta ),{y^{(i)}})$;//計算梯度

            $t \leftarrow t + 1$;

            $s \leftarrow {\rho _1}s + (1 - {\rho _1})g$;//更新有偏一階矩估計量

            $r \leftarrow {\rho _2}r + (1 - {\rho _2})g \odot g$;//更新有偏二階矩估計量

            $\hat s \leftarrow \dfrac{s}{{1 - {\rho _1}}}$;//修正一階矩的偏差

            $\hat r \leftarrow \dfrac{r}{{1 - \rho _2^t}}$;//修正二階矩的偏差

            $\Delta \theta = \alpha \dfrac{s}{{\sqrt {\hat r} + \delta }}$;//計算更新值

            $\theta \leftarrow \theta + \Delta \theta $.//更新參數

          • 輪詢系統平均排隊隊長的預測問題用數學模型表述為:假設預測目標在到達率i+1下的平均排隊隊長為y(i+1),可以使用N個到達率在(i?N+1, i)范圍內的歷史數據作為輸入,用矩陣表示為:

            ${{Q}} = \left[\!\!\!\! {\begin{array}{*{20}{c}} {{y_1}}\\ \vdots \\ {{y_N}} \end{array}}\!\!\!\! \right] = \left[\!\!\!\! {\begin{array}{*{20}{c}} {{y_1}(i - N + 1)}&{ \cdot \cdot \cdot }&{{y_1}(i)}\\ \vdots & & \vdots \\ {{y_N}(i - N + 1)}&{ \cdot \cdot \cdot }&{{y_N}(i)} \end{array}} \!\!\!\!\right].$

            Q也可以表示為時間序列的形式:

            $\begin{split} y &= \{ {T_m}\} _{m = 1}^N , \\ {T_m} &= [{y_m}(i - N + 1){\rm{ }},{y_m}(i - N + 2), \cdot \cdot \cdot {\rm{ }},{y_m}(i){\rm{ }}]. \end{split} $

            則輪詢系統平均排隊隊長的預測問題可以簡單地表述為根據已知的平均排隊隊長,預測下一個到達率下的平均隊長值y

            $y(i + 1) = p(y).$

            整個過程中,基于LSTM網絡的輪詢系統性能預測方法可以分為如下步驟:

            步驟 1 問題抽象,即將信息分組到達率—平均排隊隊長的關系映射為時間序列—平均排隊隊長的關系.

            步驟 2 數據處理,包括導入數據、數據歸一化、劃分數據集、維度轉換等步驟.

            步驟 3 構建LSTM網絡,經過反復實驗,最終確定網絡參數為:1個輸入層、1個LSTM層(包含4個神經單元)、1個全連接層和1個輸出層、迭代次數為40.

            步驟 4 預測階段,利用訓練好的LSTM網絡對輪詢系統進行預測,并用循環將網絡的輸出重新輸入,以此來預測未知步長的平均排隊隊長.

            步驟 5 數據反歸一化,預測結果分析與模型評估階段,并與參考模型對比.

          • 輪詢系統的性能通常使用系統內數據包的平均排隊隊長和平均時延來衡量. 由于通信過程中,系統的業務量(表現為信息分組的到達率)復雜多變,而不同的業務量又對應不同的平均排隊隊長,通過改變通信量就可以得到不同的數據集. 目前還沒有統一的數據庫用于研究輪詢系統的性能,因此基于文獻[3-5],利用Matlab 2018a構建出完全服務和限定服務輪詢系統的模型,然后仿真出不同到達率下的平均排隊隊長用于預測. 實際應用中輪詢系統的負載會隨到達率而變化,在服務率一定時,系統的負載能力是有限的,表現為負載越大系統中顧客的平均排隊隊長越長. 輪詢系統在 $\omega = \displaystyle\sum\limits_{i = 1}^N {\lambda_i \beta_i = N\rho_i < 1}$($\;\rho_i = \lambda_i \beta_i $ 表示系統負載)的條件下達到穩定[3],當ω=0時,系統空閑,平均排隊隊長為0;ω趨向于1時,系統阻塞,平均排隊隊長最大. 為了提高該模型的泛化能力,對系統不同工作狀態下的平均排隊隊長進行預測,仿真出的數據要包含系統空閑、平衡、阻塞3個狀態下的平均隊長,也就是這些數據要包含系統在實際運行中可能發生的狀態. 實驗中采用完全服務策略下的200、500組和限定服務策略下的200組數據用于預測,即使用不同規模和不同類型的數據集.

            數據處理階段,將到達率與時序一一對應,即把數據表示為時間序列 $X = \{{x_0},{x_1}, \cdot \cdot \cdot ,{x_{T - 1}}\}$,xT表示時間步長T的值. 預測時,為了提高數據各個特征之間的可比性,使求解過程平滑,使用minmax_scale ()函數進行歸一化處理,將每個特征縮放到(0,1)之間,計算公式如式(11)所示. 將數據劃分為訓練集和測試集,比例分別為67%和33%. 輸入的數據維度是[s, f],為了適應LSTM網絡的需要,將數據結構變換為[s, t, f].

            ${X_{{\rm{scale}}}} = \frac{{x - {x_{\min }}}}{{{x_{\max }} - {x_{\min }}}},$

            式中, Xscale 為當前時刻歸一化的值, x 為當前時刻初始值, xmax 為樣本的最大值, xmin 為樣本的最小值.

          • 將處理后的數據輸入到LSTM網絡隱藏層,使用前2個細胞狀態的輸出與當前細胞狀態輸入作為LSTM細胞的輸入向量,也就是使用當前時刻t和前兩個時刻(t?1、t?2)作為輸入值來預測下一個時刻的值(t+1). 輸入值經過隱藏層,通過(1)~(6)式計算出輸出值,實驗結果如表1圖49所示.

            樣本數迭代次數均方根誤差
            200 20 2.02
            40 0.08
            100 0.11
            500 20 0.20
            40 0.14
            100 0.19

            表 1  不同樣本時迭代次數與均方根誤差的關系

            Table 1.  Relationship between epochs and RMSE in different samples

            圖  4  損失函數下降曲線(200個樣本)

            Figure 4.  The drop curve of the loss function (200 samples)

            圖  5  完全服務輪詢系統平均排隊隊長預測結果(200個樣本)

            Figure 5.  Prediction results of average queue length of exhaustive service polling system (200 samples)

            圖  6  完全服務平均排隊隊長態勢及預測結果(200個樣本)

            Figure 6.  Trend and prediction of exhaustive service average queue length (200 samples)

            圖  7  完全服務不同樣本預測值與真實值對比

            Figure 7.  Comparison of predicted values and true values of different samples

            圖  8  限定和完全服務平均排隊隊長的預測結果(200個樣本)

            Figure 8.  Prediction results of limited and exhaustive serviced average queue length (200 samples)

            圖  9  兩種模型對比分析(200個樣本)

            Figure 9.  Comparative analysis of two models (200 samples)

            表1是不同樣本時,迭代次數與ERMS的關系,通過對比可以看出,樣本規模從200增加到500時,迭代次數40仍能達到較好的訓練目標. 圖4為在該模型下訓練過程中損失函數下降曲線,可以看出,整個訓練過程中損失值不斷下降并趨于零,說明最終得到的參數是該模型下的最優參數結果.

            圖5為預測值與真實值對比. 從圖5可以看出測試預測和訓練預測的預測值與真實值基本擬合,預測值在每一個到達率下與真實值之間的誤差都很小,平均ERMS為0.08,說明該模型能準確預測完全服務輪詢系統的平均排隊隊長.

            以上實驗都是根據前3個步長預測下一個步長的值. 接下來,我們調整網絡模型預測未知數據. 預測未知步長時,使用循環將網絡的輸出重新輸入,實驗中,分別預測未知10和30個步長的平均排隊隊長,預測結果如圖6所示. 可以看出,無論是10個步長還是30個步長,預測值曲線與真實值曲線都表現出了相同的趨勢,平均隊長隨著到達率的增大而增加. 相比之下,30步預測的平均誤差更大,因為是以輸出的預測值作為網絡的輸入進行預測的,所以步長越大,誤差的積累越大. 不同步長的預測曲線也說明,當服務器速率固定不變時,數據包的到達率越大,平均排隊隊長越長,服務器負載越大,系統性能越差. 當設計通信系統時,要充分考慮通信量,使得服務速率與到達率保持平衡. 在高通信量時,可以適當增加服務器數量來緩解系統壓力. 同時,為了預知輪詢系統的平均隊長和時延,為部署網絡提供參考和評估系統的性能,可以記錄低通信量時系統的隊長和時延,然后預測較高通信量時的隊長和時延.

            進一步,為了驗證該模型的擬合性和泛化能力,改變樣本規模,并對限定服務輪詢系統進行預測,結果如圖7圖8所示. 圖7是200和500個樣本時,完全服務輪詢系統的平均排隊隊長預測結果,可以看出,不同樣本規模下,預測值與真實值都表現出了相同的趨勢,且誤差較小. 200個樣本時,ERMS=0.08;500個樣本時,ERMS=0.14,雖然樣本規模增大了1.5倍,但是模型的擬合效果仍然較好. 圖8顯示,改變系統的服務方式和使用不同類型的數據集,預測效果沒有發生變化,無論是完全服務還是限定服務,預測值與真實值基本擬合,說明該模型對輪詢系統的預測具有適用性. 結合輪詢系統理論,可以看出限定服務排隊隊長增長較為緩慢,對于每一個客戶來說其公平性較好,但靈活性較差,這與理論推導的分析是一致的.

            機器學習中還有自回歸滑動平均ARMA(Autoregressive Moving Average)模型、支持向量機、BP(Back Propagation)神經網絡等用于預測的模型,為了再次驗證該模型的預測性能,本文利用BP神經網絡模型對同一數據集進行預測. 通過實驗得出,BP神經網絡平均預測誤差ERMS為0.421,而LSTM網絡平均預測誤差ERMS為0.08. 圖9為兩種模型擬合效果對比圖,可以看出,基于LSTM網絡構建的輪詢系統預測模型效果優于BP神經網絡,LSTM網絡模型不僅能夠擬合,還能更好地把握數據變化趨勢.

          • 隨著網絡規模和數據流量的增加,輪詢系統的性能分析變得更加復雜. 為了提高計算效率,對輪詢系統的性能做出正確評估,本文使用LSTM網絡對輪詢系統的性能進行預測. 以完全服務和限定服務輪詢系統為例,將該預測問題抽象為時間序列預測問題,建立LSTM網絡訓練模型執行預測. 首先對不同的樣本規模和使用不同服務方式的輪詢系統進行預測;然后使用循環將網絡的輸出重新輸入,以此來預測未知到達率下的平均排隊隊長;最后與BP神經網絡預測模型做了對比. 實驗中,預測值曲線與真實值曲線基本擬合,誤差保持在較低范圍內,表明該方法用來預測輪詢系統的性能較為準確,可以作為一種新方法推廣到其他輪詢系統的性能研究. 與其他預測算法相比,LSTM能夠準確把握輪詢系統平均排隊隊長隨到達率的變化. 除到達率之外,服務時間、轉換時間和站點數量也是影響輪詢系統性能好壞的重要因素,下一步將綜合考慮各種因素,建立更加適用和廣泛的模型用于預測.

        參考文獻 (17)

        目錄

          /

          返回文章
          返回