時間：2023-05-30 10:27:48
開篇：寫作不僅是一種記錄，更是一種創造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇bp神經網絡，希望這些內容能成為您創作過程中的良師益友，陪伴您不斷探索和進步。
反向傳播BP（back propagation）神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一[1]。BP算法的思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱層逐層處理后，傳向輸出層。若輸出層的實際輸出與期望的輸出不符合，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網絡的學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可以接受的程度或進行到預先設定的學習次數為止[2]。
1 BP標準神經網絡算法分析
1.1 BP算法存在的不足及原因分析
標準的BP算法因其簡單、易行、計算量小、并行性強等優點，是目前神經網絡訓練采用最多也是最為成熟的訓練算法之一。與早期的人工神經網絡模型相比，BP反向傳播神經網絡無論是在網絡理論還是網絡性能方面都更加成熟，起最突出的優點就是具有很強的非線性映射能力。但人們在使用過程中發現BP算法也存在著訓練時間長、收斂速度慢、易陷入局部最小點等缺陷。
1.1.1 學習算法的收斂速度慢
BP神經網絡學習訓練次數過多，導致學習訓練過程過長，學習收斂速度太慢，即使一個比較簡單的問題，也需要幾百次甚至上千次的學習才收斂。
1.1.2 隱含層層數及節點數的選取缺乏理論指導。
BP神經網絡隱含層的層數以及節點數的選取，目前尚無理論上的指導，大多根據經驗確定。因此網絡往往具有很大的冗余性，無形中增加了學習的時間。
1.1.3 訓練時學習新樣本有遺忘舊樣本的趨勢
BP神經網絡的學習與記憶具有不穩定性。當給一個訓練結束的BP神經網絡提供新的記憶模式時，會破壞已經調整完畢的網絡連接權值，導致已經記憶的學習模式信息消失。
2 改進的BP神經網絡學習算法
2.1 學習方法的改進
對于標準的BP算法，由于其自身存在的缺點，BP算法的研究提出了一些的改進算法，如自適應調節學習率[3]，引入兜度因子[4]，使用雙曲正切函數[5]，但是都沒有取得非常理想的效果，對此我們可以采用以下的算法來解決問題。
2.1.1 加入動量項
反向傳播算法提供使用最速下降方法在權空間計算得到的軌跡的一種近似。我們使用的學習率參數η越小，從一次迭代到下一次迭代的網絡突觸權值的變化量越小，軌跡在權值空間越光滑。我們可以設想使用一下的方法來解決這個問題。
ΔWji（n）=αΔWji（n-1）+ηδj（n）yi（n） （1）
α是動量常數，通常是整數。
為了看出動量常數在一系列模式呈現上對突觸權值的影響，我們將（1）式重新寫成帶下標t的一個時間系列。索引t從初始時間0到當前時間n，式（1）可被視為權值修正量ΔWji（n）的一階差分方程。解這個關于ΔWji（n）的方程得到
這代表一個長度為n+1的時間序列，并且我們可以知道δj（n）yi（n）等于- 因此我們可以把公式（2）重寫等等價形式
當前修正值ΔWji（n）代表指數加權的時間序列的和。欲使時間序列收斂，動量常數α必須限制在0和1之間。當α等于0，反向傳播算法運行起來沒有動量。雖然在實際中動量常數α不大可能是負的，但是還有可正可負。
當偏導數 在連續迭代中有相同的代數符號，指數加權和ΔWji（n）在數量上增加，所以權值ΔWji（n）被大幅度調整。在反向傳播算法中包含動量趨于在穩定的下降方向上加速下降。
當偏導數 在連續迭代中有相反的代數符號，指數加權和ΔWji（n）在數量上減少，所以權值ΔWji（n）調整不大。在反向傳播算法中包含動量具有穩定符號正負擺動方向的效果。
3 仿真實驗
根據以上的算法，我們對標準的BP算法和改進的BP算法進行仿真計算，仿真計算的結果如表1所示。
可以看出改進后得算法能減少迭代次數，減少實際誤差。
4 結論
從大量的實際應用來看，收斂速率慢，學習時間長，產生振蕩，甚至達不到收斂精度是常規BP算法的主要缺陷，通過對BP算法的改進，增加動量項，可以減少BP算法的迭代次數，減少誤差，提高BP算法的工作效率。
[參考文獻]
[1]Adaboost算法改進BP神經網絡預測研究[J].計算機工程與科學，2013年8月.
[2]韓立群.人工神經網絡教程[M].北京：人民郵電出版社，2007年7月.
[3]馬銳.人工神經網絡原理[M].北京：機械工業出版社，2010年9月.
1方法
BP神經網絡是目前應用最多的神經網絡，一般由一個輸入層（inputlayer）、一個輸出層（outputlayer）、一個或幾個中間層（隱層）組成，每一層可包含一個或多個神經元，其中每一層的每個神經元和前一層相連接，同一層之間沒有連接。輸入層神經元傳遞輸入信息到第一隱層或直接傳到輸出層，隱層的神經元對輸入層的信息加權求和，加一個常數后，經傳遞函數運算后傳到下一個隱層（或輸出層），常用的傳遞函數是logistic函數，即φh=1/(1+exp(－z))，輸出層神經元對前一層的輸入信息加權求和經傳遞函數φ0（線性或logistic函數或門限函數）運算后輸出，例如：如果輸入為xi，對于含一個隱層的神經網絡可以得到：
g(xi,θ)=φ0(αk+∑i≠kwikxi+∑jwjkφh(αj+∑iwijxi))（1）
θ表示未知的參數矢量（即各層的網絡權值），BP神經網絡一般采用BP算法訓練網絡，訓練開始時選擇初始值0，BP算法通過梯度下降法得到估計值，使得g(x,)能很好地估計實測值，關于BP算法及改進可參考相關文獻［1］。
利用BP神經網絡模型建立生存分析模型，常用的方法有：連續時間模型（continuoustimemodels）與離散時間模型（discretetimemodels）。
1.1連續時間模型（continuoustimemodels）
最常用的是Faraggi和Simon［2］提出的方法，在Cox比例風險模型中,風險函數與時間、協變量有如下關系：
h(t,xi)=h0(t)exp(βxi)（2）
通過最大化偏似然函數，使用Newton-Raphson法得到參數的估計值，現在使用神經網絡的輸出值g(xi,θ)來代替（2）中的線性項βxi，比例風險模型變成h(t,xi)=h0(t)exp［g(xi,θ)］，有偏似然函數：
Lc(θ)=∏i∈uexp∑jwjk/(1+exp(－wijxi))/∑j∈Riexp∑jwjk/(1+exp(－wijxj))(3)
g(xi,θ)可以依賴時間和協變量變化，也就是說協變量的效應可以隨時間而變化，這給我們提供了一個可以處理刪失變量但又不需要滿足比例風險模型的PH假定的可供選擇的方法。
1.2離散時間模型（discretetimemodels）
常用的模型有［3］：（1）直接預測患者是否可以存活到某年(例如5年)，是最簡單的神經網絡模型，模型的輸出層只有一個神經元結點，如欲預測多個時間點，則需建立多個神經網絡模型（每個模型對應一個時間區間)；（2）多個輸出結點的單個神經網絡模型。
1.2.1輸出層有單個結點的神經網絡模型是一個標準的分類神經網絡模型，生存時間被分成2個區間，例如生存時間是否大于5年。其似然函數為：
∏patientsptii(1-pi)(1-ti)
其對數似然函數為：
∑patientstilogpi+(1-ti)log(1-pi)
pi：第i個病人死亡的概率，ti：第i個觀測在某時間點（例如5年）的結果，如觀測死亡，取值為1，否則取值為0。對于刪失的觀測不能簡單地排除，這樣會造成偏性，我們使用Cox線性比例風險模型產生的個體預測值對刪失值做填補。
1.2.2輸出層有多個結點的神經網絡模型將生存時間分成幾個離散的區間，估計某個區間事件發生的概率。
不考慮時間區間的順序，有模型：logpk-logp1=ηk(X)(k=2,…,P)
從神經網絡可以得到輸出值yk：yk=∑iwikxi+∑jwjkφ1(∑iwijxi)（K=1，…，P）（這里我們設ηk(x)=yk－y1），
于是可以得到時間區間k的概率：pk=exp(yk)∑l(yl)
建立似然函數∏patients∑lik=mi+1pki
mi：觀測i存活的前一個生存區間，li：最后的時間區間，pki：第i個病人在時間區間k死亡的概率。
本次研究采用靈敏度、特異度、一致性指數C(concordanceindex)［4,5］作為預測準確性的評價指標。一致性指數C是對含有刪失數據的ROC曲線下面積的推廣(generalization)，是指預測結果和實際結果一致的觀察單位的對子數占總的有用對子數的比例,即C=一致的對子數/有用的對子數，C接近0.5表明模型的預測性能差，接近1表明預測性能好。一致性指數的計算步驟為［5］：①產生所有的病例配對。若有n個觀察個體,則所有的對子數為C2n。②排除兩種對子:對子中具有較小觀察時間的個體沒有達到觀察終點及對子中2個個體都沒達到觀察終點。③計算有用對子中,預測結果和實際相一致的對子數,④計算一致性指數。
2實例分析
賁門癌是常見惡性腫瘤,對236例經手術切除但未行放化療的賁門癌患者隨訪，生存時間為確診到最后一次隨訪，按月記錄，分析的協變量包括：性別、年齡、腫瘤的長度、組織學類型、大體分型、浸潤深度、淋巴結轉移情況、TNM分期等臨床上可能的預后因素。為了減少訓練時間，先采用COX比例危險模型對可能影響預后的因素進行篩選，采用向前逐步法，引入標準為0.05，剔除標準為0.10，結果顯示對賁門癌患者生存率有影響的因素為：病人的腫瘤長度、淋巴結轉移情況、組織學類型、篩選結果見表1。
表1賁門癌患者生存的COX逐步回歸分析結果（略）
Tab.1TheresultofCoxregressionmodelforcarcinomaofthegastriccardia
2.1BP網訓練集、校驗集和測試集的確定
從原始數據中隨機抽取80例作為訓練集，80例作為校驗集，76例為預測樣本。
2.2輸入數據的預處理
使輸入變量的取值落在0到1的范圍內。對于腫瘤長度使用x′i=ximax(x)進行歸一化處理；病理分型為無序分類變量，以啞變量的形式賦值。
2.3神經網絡模型的建立及訓練
選取Cox回歸選出的3個變量作為網絡的輸入。建立輸出層為1個結點的離散型神經網絡時，將病人生存時間按下式分為兩類作為輸出變量
yi（i=1,2,…,n），
即yi=1生存t≥5年
0生存t<5年；建立輸出層為5個結點的離散型神經網絡時，將病人生存時間分為5類作為輸出變量yi，time<1year，1year≤time<2year，2≤time<3year，3≤time<5year，time>5year。
使用Matlab軟件建立神經網絡模型，學習率為0.01，傳遞函數采用logistic傳遞函數,單結點網絡的隱單元數為2，多結點網絡隱單元數為3，采用“早停止”策略防止過度擬合。
2.4兩種神經網絡模型預測性能
使用靈敏度、特異度、一致性指數C評價模型的預測性能。
表2兩種神經網絡模型預測性能*（略）
Tab.2Thepredictiveperformanceofthreetypeofneuralnetwork
*判斷界值取0.5
3討論
神經網絡已在語音識別、圖像診斷分析、臨床診斷、高分子序列分析等許多方面取得了成功的應用，在醫學研究領域，變量間關系往往非常復雜，神經網絡正逐漸變成分析數據的流行工具，目前主要應用于分類與預測，用于生存分析方面的研究還較少。國內黃德生［5］等建立利用BP神經網絡建立time-codedmodel和single-timepointmodel用于肺鱗癌預后預測，賀佳［6］等對肝癌術后無瘤生存期的預測做了應用嘗試。
本文通過實例建立連續時間模型與離散時間模型探討BP神經網絡在生存分析中的應用，Faraggi提出的方法還可以擴展到其他可以處理刪失數據的模型,例如加速失效時間模型、Buckley-James模型，但哪一種模型更好，還有待進一步研究。神經網絡在生存分析中的應用主要在于［7］：個體患者預后的預測，研究預后因子的重要性，研究預后因子的相互作用；對于預測變量的影響力強弱，解釋性還有待進一步探討。還有研究者在建立多個時間區間的模型時將時間區間也作為一個輸入變量，也有學者將神經網絡納入Bayes方法的研究框架，神經網絡建立的生存分析模型可以探測復雜的非線性效應，復雜的交互效應，相信會逐漸應用到生物醫學研究領域。
[關鍵詞]數據挖掘 BP神經網絡 CPI預測
一、引言
目前，隨著居民收入的快速增長，中國居民消費能力不斷升級，尤其是近期我國居民消費價格總水平出現了明顯上漲，其中糧食、豬肉等食品價格屢創新高。對于相關部門來說，應努力做到關注國際形勢的同時，根據市場價格的變化情況進行科學分析，最終制定合理的綜合性措施。應用現代技術對CPI進行預測在當前來說是很有意義的，國內很多專家學者在這方面都做了研究。以往學者對CPI的預測更多的是運用計量經濟學方法，而通過數據挖掘方法進行CPI預測的研究不多，值得我們進一步探討。
BP神經網絡是一種應用最廣泛的人工神經預測網絡，它獨有的容錯性和泛化能力能較好地進行預測。本文選用SPSS公司的Clementine來進行BP網絡模型的實現，Clementine中的工具箱使BP網絡的建立、訓練以及預測都變得非常簡單，而且訓練過程及效果非常直觀，使神經網絡應用于實際具有更大的可行性。
二、BP神經網絡概述
BP網絡是在1974年由Worbos提出，1986年Rumelhart和McCelland等人對具有非線性連續轉移函數的多層前饋網絡的誤差反向傳播（Error Back Proragation）算法進行了詳盡的分析，實現了Minsky關于多層前饋網絡的設想。
BP算法基本思想：學習過程由信號的正向傳播與誤差的逆向傳播兩個過程組成，正向傳播時，模式作用于輸入層，經隱層處理后，傳向輸出層。若輸出層未能得到期望的輸出，則轉入誤差的逆向傳播階段，將輸出誤差按某種形式通過隱層向輸入層逐層返回，并分攤給各層的所有單元，從而獲得各層單元的誤差信號，以作為修改各單元權值的依據，這種信號正向傳播與誤差逆向傳播的各層權矩陣的修改過程是周而復始地進行的。權值不斷修改的過程，也就是網絡的學習過程。此過程一直進行到網絡輸出的誤差逐漸減少到可接受的程度或達到設定的學習次數為止。BP神經網絡在進行設計時，主要考慮以下因素。
1.網絡層數。一般BP網絡由一個輸入層，一個輸出層，及若干隱含層構成。實際應用中，通常利用一個隱含層就基本上能滿足大部分應用問題的需求，因為兩層的神經網絡可以逼近任何非線性函數。而盲目地增加隱含層層數，往往會使學習速度變慢，同時增加了結構的復雜性。
2.輸入層節點數。輸入層節點數由影響輸出變量的變量個數來決定，一般來說有幾個變量對輸出變量的結果有影響就選擇幾個輸入層節點。輸入網絡的節點過少，會使得網絡不能很好地獲得輸入與輸出數據的非線性關系，如果過多，就會增加過度適應的危險和增大了訓練集的大小。
3.輸出層節點數。輸出層節點數取決于輸出數據類型和表示該類型所需的具體數據。
4.隱層節點數。一個具有無限隱層節點的兩層BP網絡可以逼近任何非線性函數，但對于輸入與輸出均為有限個的網絡，并不需要無限個隱層節點，這就涉及到如何選擇隱層節點數的問題，而這一問題的復雜性，使得至今為止，尚未找到一個很好的解析式，隱層節點數往往根據前人設計所得的經驗和自己進行試驗來確定，也可從1、2、3開始。一般認為，隱層節點數與數據、尋找的模式以及網絡的類型都有直接的關系。另外，隱層節點數太多會導致學習時間過長；而隱層節點數太少，容錯性差，識別未經學習的樣本能力低，所以必須綜合多方面的因素進行設計。
隱層節點數的初始值可由（1）式來確定：
式中：m、n分別為輸入層結點數與輸出層結點數，l為隱層節點數。
5.傳遞函數。BP神經網絡中的傳遞函數通常采用S（sigmoid）型函數，即
上式中x為前面組合函數的結果，一般取進入單元的輸入加權和。
三、BP網絡在CPI預測中的應用實例
我國的CPI由食品、煙酒及用品、衣著、家庭設備用品及服務、醫療保健及個人用品、交通和通信、娛樂教育文化用品及服務、居住等類構成。CPI具有較強的非線性特性，要對其進行較為準確的預測，就應該采用能捕捉非線性變化規律的方法。筆者將BP神經網絡引入到CPI預測中來，用歷史數據預測未來CPI相對增長率，彌補傳統預測方法的不足。顯然，CPI相對增長率與類別各自的增長率有關，在本文中正是從這類別對CPI的影響來進行模型的構建。
1.數據讀取
本實例選取國家統計局的統計數據進行研究，同時采用Access作為數據庫平臺，前八個字段為當月CPI構成的類別指數，第九個字段為下月CPI，取部分記錄顯示，見表1：
表1 居民消費價格指數表
2.數據預處理
數據預處理對于數據挖掘是一個重要的問題，因為現實中的數據多半是不完整的、有噪聲的和不一致的。數據預處理包括數據清理、數據集成、數據變換和數據歸約。數據清理可以去掉數據中的臟數據，糾正不一致，包括空值處理、規范化數據格式、拆分數據等。數據集成將數據由多個源合并成一致的數據存儲。數據歸約可以通過聚集、刪除冗余特性或聚類等方法來壓縮數據。本文中數據預處理主要是對各輸入指標進行歸一化處理，以便進行BP神經網絡模型構建。即將數值限定在［0，1］區間內，歸一化公式為：
該步驟在Clementine中通過Field Ops部分的Derive組件實現。
3.模型構建及應用分析
本研究采用只含一隱層的BP網絡，選取輸入層節點數為8（分別為某個月的8個類別各自的相對增長率）；輸出層節點數為1（為下個月的居民消費價格指數的相對增長率），同時根據前述經驗公式，選取隱層節點數為3，而傳遞函數則選取默認的S型函數。在本模型中，還需設置以下參數，動量因子0.8，初始學習速率0.4，最大訓練步數300。以上參數的選取以及模型的構建均在Clementine中實現，流程如圖1所示。
在本模型中，隨機抽取數據的70％作為訓練樣本，30％作為驗證樣本，來進行神經網絡模型的訓練，訓練過程見圖2。
圖1 模型流程圖
圖2 模型訓練過程
從圖2中可以看到該模型的準確度較高，誤差在允許的范圍內波動，故將該模型應用于CPI預測是切實可行的。緊接著，將上文構建出的神經網絡模型應用于2007年10月CPI預測中，因前半部分流程同圖1，故從居民消費指數節點開始截取，流程如圖3所示。
圖3 預測過程
表2 2007年10月CPI預測結果
通過模型應用，預測結果如表2所示。從表2的$N-下月居民消費價格指數歸一值字段中可以看到，2007年10月，居民消費價格指數歸一值為0.968，通過公式（3）逆推算出當月CPI原值為106.25。該值在一定程度上反應了近期宏觀政策制定的效果，從近期政策面及各方面反應來看，該預測結果基本符合該月的真實情況。總的來說，該模型的性能比較良好，可以達到對CPI進行預測的目的。
四、結論
通過上文我們能夠看到，BP神經網絡在CPI預測中具有較高的精度，在已知上月類別指數的情況下，通過該模型能夠很快地計算出較準確的當月CPI指數，這能夠給相關部門進行綜合性措施的制定提供較大的幫助，同時能夠提供較為科學的依據。本文初步嘗試采用CPI近幾年數據建立BP神經網絡模型，旨在提出一種進行CPI預測的新思路。但由于CPI指數近幾年來才按現行的標準進行統計，數據量有限，加上政策的制定對CPI的直接影響，所以在應用該模型進行預測時可能會出現一些大的誤差，但總體來說，該模型已基本能夠對CPI進行預測。當然，在應用該模型時，應隨著新數據的進一步加入調整模型的各項參數，以使模型訓練及預測能夠達到最理想的效果。
參考文獻：
［1］黃章樹，王前輝.基于數據挖掘的電信增值業務營銷策略研究［J］.福州大學學報（社科版），2005，（4）.
［2］黃章樹，王鳳英.基于決策樹技術的福州市居民出行特征分析［J］.重慶工商大學學報（自然科學版），2007，（3）.
【摘 要】為解決神經網絡在沉降預報應用中的局限性，結合灰色理論等維信息策略和BP神經網絡建模思想，利用數據序列本身構建訓練樣本，建立BP神經網絡預報模型，并利用數學工具MATLAB編程實現，進行模擬的變形預測，通過與灰色理論GM(1，1)模型的預報效果進行比較，表明該BP神經網絡模型具有更高的預報精度，可以達到更好的預報效果。
【關鍵詞】BP神經網絡；變形檢測；沉降預報最佳值為7；輸入層和隱層的傳遞函數(Tfi)用缺省的正切S形函數(tansig)，輸出層用線形函數(purelin)；網絡訓練函數(BTF)使用動量批梯度下降函數(traingdm)，它具有更快的收斂速度，而且引入了一個動量項mc，避免了局部最小問題的出現；網絡權值、閾值學習函數(BLF)和性能函數(PF)采用MATLAB缺省值；對輸入數據、目標數據、輸出數據的處理，使用MATLAB提供的歸一化函數(premnmx)和反歸一化函數(postmnmx)。運行程序時先用訓練樣本對網絡進行訓練，然后利用訓練好的網絡對預報樣本進行預報。灰色理論GM(1，1)模型同樣利用MATLAB編程實現。
2.3結果分析
首先用MATLAB編寫的灰色理論GM（1，1）模型和BP神經網絡模型分別處理訓練樣本，得到相應的擬合誤差。其中GM（1,1）相對模型擬合誤差主要為18.97、4.48、9.07、33.71、7.63、4.08、9.50等，等維BP網絡模型擬合誤差主要為6.66、0.97、0.29、6.16、2.06、4.44.并且通過之前得到的模擬數據可以得出BP神經網絡模型擬合的平均誤差以及GM(1，1)模型擬合的平均誤差為11.82%。BP神經網絡模型擬合的誤差小于GM(1，1)模型擬合的誤差為3.10%，其擬合精度高于灰色理論GM(1，1)模型。為了進一步檢測灰色理論GM(1，1)模型和BP神經網絡模型的預報精度，再分別用兩種模型對監測點的沉降數據的預報樣本進行預報，并可從中得出BP神經網絡模型的預報精度遠高于灰色GM(1，1)模型的結果。
三、結論
本文引入灰色理論中新陳代謝思想構造神經網絡的學習樣本，建立BP神經網絡預測模型，并用該模型進行了實際的沉降預測。工程模擬實例表明：用等維BP神經網絡模型進行沉降預測是可行的，預報精度遠高于灰色GM(1，1)模型。為了提高BP神經網絡模型的預測精度，一方面需要有足夠的觀測數據序列，以保證神經網絡學習所需的樣本數。另一方面需要恰當地確定輸入層神經元的個數，目前尚無據可依，只能通過根據試算確定。
參考文獻
[1] 趙全.地面沉降數學模擬及其應用的研究[D].天津： 天津大學，2011.
[2] 于先文，胡伍生，王繼剛.神經網絡在建筑物沉降分析中的應用[J].測繪工程，2010，13(4)：48-50.
【關鍵詞】BP神經網絡；PID控制；直流電機調速系統
1.引言
PID控制以其算法簡單，魯棒性好和可靠性高等優點，廣泛地應用于工業生產當中，成為衡量各行各業現代化水平的一個重要標志。隨著科學技術的發展，生產工藝的日益復雜化，生產系統具有非線性，時變不確定性，在實際生產中，常規PID控制器參數往往整定不良、性能欠佳，對運行工況的適應性很差[1]。
BP神經網絡具有良好的自學習、自適應能力和魯棒性，可以用來處理高維、非線性、強耦合和不確定性的復雜控制系統。本文結合BP神經網絡的優點和傳統PID控制的優勢，對PID控制器進行優化，使其具有很強的自適應性和魯棒性。通過對直流電機調速系統仿真，結果表明，這種方法是有效的。
2.PID控制原理
PID是工業生產中最常用的一種控制方式，PID調節器是一種線性調節器，它將給定值r（t）與實際輸出值c（t）的偏差的比例（P）、積分（I）、微（D）通過線性組合構成控制量，對控制對象進行控制。傳統的PID控制系統原理框圖如圖2.1所示，系統主要由PID控制器和被控對象組成。它根據給定值rin（t）與實際輸出值yout（t）構成控制偏差額e（t）：
圖2.1為PID控制系統原理框圖。
3.基于BP神經網絡的PID整定原理
PID控制要取得好的控制效果，就必須通過調整好比例、積分和微分三種控制作用在形成控制量中相互配合又相互制約的關系，這種關系不一定是簡單的“線性組合”，而是從變化無窮的非線性組合中找出最佳的關系[2]。BP神經網絡具有良好的自學習、自適應能力和魯棒性，將PID和BP神經網絡結合起來，建立參數自學習的PID控制器。其結構如圖3.1所示。
經典增量式數字PID的控制算式為：
式中，是與、、、u（k-1）、y（k）等有關的非線性函數，可以用BP神經網絡通過訓練和學習找到這樣一個最佳控制規律。
假設BP神經網絡NN是一個三層BP網絡，其結構如圖3.4所示，有M個輸入節點、Q個隱層節點、三個輸出節點。輸出節點分別對應控制器的三個可調參數，，。其激發函數為非負的Sigmoid函數。而隱含層的激發函數可取正負對稱的Sigmoid函數。
神經網絡的前向算法如下：設PID神經網絡有M個輸入，3個輸出（，，），上標（1）（2）（3）分別代表輸入層、隱含層和輸出層，該PID神經網絡在任意采樣時刻k的前向計算公式（3-3）如下所述：
基于BP神經網絡PID控制算法可以歸納為：①選定BPNN的結構，即選定輸入層節點數M和隱含層節點數Q，并給出各層加權系數的初值，選定學習速率和慣性系數；②采樣得到和，計算；③對進行歸一化處理，作為BPNN的輸入；④計算BPNN的各層神經元的輸入和輸出，輸出層的輸出即為PID控制器的3個參數，，；⑤計算PID控制器的輸出，參與控制和計算；⑥計算修正輸出層的加權系數；⑦計算修正隱含層的加權系數：⑧置，返回②[3]。
4.仿真實例
仿真試驗中所用的直流電機參數Pnom =10kw，nom=1000r/min，Unom=220V，I=55A，電樞電阻Ra=0.5Ω，V-M系統主電路總電阻R=1Ω，額定磁通下的電機電動勢轉速比=0.1925V.min/r，電樞回路電磁時間常數Ta=0.017s，系統運動部分飛輪距相應的機電時間常數Tm=0.075，整流觸發裝置的放大系數=44，三相橋平均失控時間Ts=0.00167s，拖動系統測速反饋系數=0.001178V.min/r，比例積分調節器的兩個系數T1=0.049s，T2=0.088s。BP神經網絡的結構采用4-5-3，學習速率和慣性系數，加權系數初始值取區間[-0.5，0.5]上的隨機數。利用simulink模塊建立模型如圖4.1所示。
從上面的仿真結果中，進行比較分析后，可以得出常規PID控制系統BP神經網絡PID控制系統兩者對于在零時刻加幅度為1的階躍信號，它們有著不同響應曲線。為了便于比較，可以將兩者的響應結果列表，見表4.1。
5.結論
由仿真結果可知，BP神經網絡控制系統的最大超調量和調整時間均比常規PID控制系統的最大超調量要小。這說明利用BP神經網絡對PID控制器進行優化具有有良好的自學習、自適應能力和魯棒性，在工業生產中，具有更高的價值。
參考文獻
[1]王敬志，任開春，胡斌.基于BP神經網絡整定的PID控制[J].工業控制計算機，2011（3）：72-75.
1BP神經網絡簡介
1986年，Rumelhart，Hinton和Williams完整而簡明地提出一種ANN的誤差反向傳播訓練算法（簡稱BP算法），系統地解決了多層網絡中隱含單元連接權的學習問題，由此算法構成的網絡我們稱為BP網絡。
1.1BP神經網絡的基本原理
BP網絡的基本思路是將訓練過程分為兩個階段，第一階段正向傳播，輸入信息從輸入層經隱含層單元處理后傳向輸出層，每一層神經元的狀態只影響下一層神經元狀態。倘若在輸出層得不到希望的輸出，則轉入第二階段反向傳播，將誤差信號沿原來的神經元連接通路返回。通過修改各層神經元的權值，逐次地向輸入層傳播進行計算。這樣，反復地運用這兩個過程，使得誤差信號最小，最后使得信號誤差達到允許的范圍之內。
1.2BP神經網絡的神經元模型
BP神經元的結構模式如圖1所示，基于以下幾點假定：其一，每一個神經元是一個多輸入單輸出的信息單元；其二，突觸分興奮性和抑制性兩種類型；其三，神經元輸出有閾值特性；其四，神經元輸入與輸出間有固定的時滯；其五，忽略時間的整合和不應期；其六，神經元本身是非時變的。BP神經元的三個重要功能：一是加權-可對每個輸入信號進行不同程度的加權；二是求和-確定全部輸入信號的組合效果；三是轉移-通過轉移函數f（.），確定其輸出。1.3BP神經網絡的結構BP神經網絡的主要功能決定于兩個方面：一是網絡的組成結構形式，也就是BP神經網絡的連接方式；二是網絡的學習和運行規則，及網絡中連接權值的調整規則。如圖2和圖3所示，BP神經網絡多層網絡有單層網絡級連而成，即網絡中下一層各神經元接受前一層各神經元的輸出。輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間各隱層神經元；每一個隱層是神經網絡的內部信息處理層，負責信息變換；最后一個隱層將信息傳遞到輸出層，輸出層將信息進一步處理后即向外界輸出信息處理結果，完成了一次從輸入到輸出的信息處理。由輸出層構成多層網絡時，各層間的轉移函數應是非線性的，否則多層網絡只相當于一個單層網絡，其映射和存儲能力絲毫不比單層強。
2BP神經網絡在鋼鐵工業中的應用
2.1BP神經網絡在鋼鐵冶煉中的應用
近年來，BP神經網絡以其并行運算及強大的非線性處理能力被廣泛應用于轉爐煉鋼控制中，隨后轉爐人工智能靜態控制模型被成功開發，使終點命中率有了很大提高。因此，國內外許多學者進行了大量的基于神經網絡的轉爐控制研究［8，9］。AmlanDatta等［10］報道了在轉爐煉鋼過程中開發BP神經網絡模型來預測鋼水中硫含量。模型經40個樣本學習后，現場應用的實際相關系數為0.87。水城鋼鐵（集團）有限責任公司煉鋼廠的張毅［11］采用3層BP神經網絡來預測煉鋼成品的C、Si、Mn成分，根據煉鋼的實際生產數據選取鐵水、廢鋼、供氧、吹氬、硅錳合金、增碳劑等28個因素作為輸入變量，對輸入參數進行歸一化處理，采取附加動量項和自適應學習步長的措施，解決了BP神經網絡局部收斂和學習時間過長的問題，提高了神經網絡預報的準確率。杭州電子科技大學的朱亞萍［12］針對轉爐煉鋼靜態模型終點命中率較低的問題，分析了影響轉爐煉鋼終點命中率的各種因素包括鐵水量、鐵水溫度、鐵水各項化學成分含量等共17個變量，確定了BP神經網絡（BPNN）的拓撲結構，并依此建立了轉爐煉鋼靜態模型，該研究提高了轉爐煉鋼靜態模型的終點C含量和溫度預測精度。寶鋼的楊志勇等［13］針對鐵水預處理粉劑模型，設計了BP人工神經元網絡數學模型，并給出了在系統中的應用方案，使脫硫效果提高8%，符合現場實際生產需求，由于模型精確度大幅提高，脫硫生產操作過程能夠得以穩定，極大地減輕了高爐和轉爐的脫硫負擔。
2.2BP神經網絡在鋼鐵軋制中的應用
AMukhopadhyay，AIqbal等［14］采用三層BP神經網絡預報了低碳熱軋板的極限強度、屈服強度和延伸率，并研究了不同網絡結構對預報準確率的影響，該模型采用121組數據進行驗證，驗證值與實測值吻合良好。該模型已在印度塔塔鋼鐵公司熱軋廠成功在線應用。山東萊蕪鋼鐵集團有限公司板帶廠的王洪彬［15］利用所建BP神經網絡卷取溫度預設模型提高了卷取溫度的控制精度，能夠給出不同厚度規格時的可靠的預設定值，從而減輕了反饋控制的負擔，提高了卷取溫度的控制質量。重慶鋼鐵集團公司的朱穎杰等人［16］利用BP神經網絡的方法預測SPCC冷軋帶鋼產品力學性能并以現場得到的化學成分（C、Si、Mn、P、S、Al）和工藝參數（退火溫度、軋制速度）正交試驗數據為基礎，采用離線學習的方法得出網絡的預報值，BP神經網絡具有良好的預報性能，實測值與預報值之間的偏差不超過8%。昆明理工大學的栗景樹等人［17］以昆鋼熱軋產品Q235為例，對熱軋板帶的質量預測進行研究。利用BP神經網絡理論建立以化學成分、軋制參數為輸入，以力學性能為輸出的質量預測模型-BP熱軋板帶質量模型，并利用訓練好的BP神經網絡質量模型，對產品的力學性能進行預測，98%的預測輸出與實際輸出誤差在5%以下。北京科技大學的吳晉斌等人［18］以0.33%C，0.40%Si，1.50%Mn，0.099%V的中碳含釩微合金鋼在應變速率為0.005～30s-1、溫度為750～1050℃條件下的單向熱壓縮變形實驗數據為樣本數據，用商用軟件matlab6.5構建BP人工神經網絡模型。適用于預測一定溫度與應變速率范圍內（0.1～0.9）應變處的熱變形流變應力，與常用的表征穩態或峰值應變處的流變應力與溫度和應變速率關系的Arrhenius方程相比，應用范圍更廣。東北大學的邱紅雷等人［19］為了提高中厚板軋機軋制力的預報精度，采用軋制力模型自適應與人工神經元網絡相結合的方法進行中厚板軋制力的在線預報。應用結果表明，采用本方法預報軋制力時精度優于傳統的數學模型，相對誤差可以控制在±3%以內。
2.3BP神經網絡在漏鋼預測中的應用
連續鑄鋼生產過程中漏鋼是最嚴重的事故之一，在20世紀70年代后期，為盡可能降低連鑄過程中發生漏鋼事故所造成的損失，研發了連鑄漏鋼預報技術［20，21］。20世紀90年代，神經網絡開始應用于漏鋼預報系統中［22-24］。目前，國內外工程中獲得實際應用的神經元模型大部分是BP網絡模型。田陸等人［25］提出了一種基于前饋反向傳播（BP算法）神經網絡的漏鋼預報系統。通過神經網絡分析漏鋼前一段時間結晶器的溫度特征曲線，提前診斷出漏鋼的可能性，做出及時的預報，防止漏鋼的發生。此系統得到了廣泛的應用。東北大學的厲英等人［26］建立了BP神經網絡漏鋼預測模型，增加了BP神經網絡參數，改變了傳統只考慮溫度因素的方式，將拉速和中間包鋼水溫度作為輸入參數，擴大了漏鋼因素的考慮范圍，提高了預報的準確性，對某鋼廠現場實際數據進行訓練和預測，實驗測試結果準確率為100%。2.4BP神經網絡在鋼材組織及性能中的應用鋼的力學性能與其化學成分和工藝參數間呈現高度的非線性關系，難以用數學模型精確描述，但人工神經網絡特別適合描述非線性關系，在鋼的力學性能的研究中有重要作用。近年人工神經網絡在鋼的性能預測方面得到了廣泛的應用，取得了令人滿意的結果。C觟l等人［27］采用廣義回歸神經網絡（GRNN）對一種APIX65微合金化鋼的韌性進行預測。網絡的輸入為化學成分（C、Nb、Ti、N），冶煉工藝參數（鋼液總量，硬硼酸鈣石、石灰、FeMn、FeSi、Al、CaSi加入量，吹Ar量，吹Ar時間），加工工藝參數（保溫溫度、保溫時間、出爐溫度、變形率、終軋厚度、終軋溫度、卷取溫度），網絡的輸出為沖擊功。預測結果表明GRNN能有效地預測沖擊功，相關系數為0.984，平均相對誤差為3.04%。XuLiujie等［28］采用BP網絡根據淬火溫度和回火溫度預測高釩高速鋼（HVH-SS）殘余奧氏體量、硬度、磨粒磨損強度；采用貝葉斯正則化與LevenbergMarquardt算法結合的改進的BP網絡，改進后的BP網絡能精確預測奧氏體量、硬度、磨粒磨損強度，并能用于研究熱處理工藝對性能的影響規律，從而確定最佳熱處理工藝。改變該鋼中V、C含量后采用與上述相同的BP網絡對磨損失重進行預測，該BP網絡能精確預測磨損失重并反映化學成分與磨損失重間的關系，從而確定了V、C的最優加入量［29］。FWMargrave等用超聲波探傷儀，對含有裂紋、線缺陷、穿孔、夾渣、氣孔等缺陷的試樣進行探傷，測得能表征缺陷的不同形狀、位置、尺寸、服役條件（應力）等情況的回波信號，再將這些信號處理后作為BP神經網絡的輸入，輸出端為上述5種缺陷和無缺陷共6個輸出變量。缺陷的識別準確率大于90%。
3BP神經網絡在鋼鐵工業中的局限及發展前景
BP神經網絡存在學習收斂速度慢、學習時間長和數據依賴性強等局限性，因此尋找合適的算法與BP神經網絡相結合，解決上述問題，是BP神經網絡發展的重要研究方向。多年來，圍繞BP神經網絡陷入局部極小值的問題，國內外的研究者做了大量的工作。解決這一問題，必須徹底擺脫依賴梯度信息來指導數值調整方向，引進其他算法與BP算法相互結合。因此，模擬退火法、單純形法、趨化性算法、隨機學習算法、動量算法以及遞推最小二乘（RLS）技術等方法應運而生。針對學習時間長這一問題，現在一般采用離線學習、在線預報作為變通手段。BP神經網絡的發展為冶金工作者提供了一個全新的知識獲取和處理手段。與其它傳統模型（如數學模型、回歸模型、時間序列模型及經驗分析模型）相比，它具有較強的抗噪聲和非線性問題處理能力。另外，它的實時性又使其能對過程實現在線響應。基于此，它被越來越多地收入到專家系統中，同時，其結構價值也在專家系統的功能應用中得到體現。
【關鍵詞】 BP神經網絡;動量梯度下降算法;免疫學數據
作者單位:116044大連醫科大學醫學影像學系(陳艷霞);
大連醫科大學檢驗醫學院(劉揮)
人工神經網絡理論以非線性大規模并行分布處理為特點,突破了傳統的線性處理模式,以其高度的并行性,良好的容錯性和自適應能力成為人們研究其賴以生存的非線性世界、探索和研究某些復雜大系統的有力工具,已應用于很多領域的信息處理工作。
BP算法的多層前饋網絡的人工神經網絡模型采用典型的有教師學習方式來進行預測和分類問題的處理。采用的傳遞函數通常是sigmoid型可微函數,可以實現輸入和輸出間的任意非線性映射。這使其在函數逼近、模式識別、數據壓縮領域有著更加廣泛的應用。該模型的特點是信號由輸入層單向傳遞到輸出層,同一層神經元之間互不傳遞信息,每個神經元與鄰近層所有神經元相連,各神經元的作用函數為Sigmoid函數,用樣本集合反復訓練網絡,并不斷修改權值,直到使實際輸出向量達到要求,訓練過程結束。應用BP網絡處理正常狀態與處于焦慮狀態的學生的血液中免疫學指標數據,取得了很好的效果[1]。
1 基于BP網絡的醫學數據分析
數據選自在某大學就讀的大學生,共計48例。在自愿、正常學習生活的情況下抽取他們的血液標本,然后再在考試前抽取他們的血液標本,分別進行五項免疫學指標檢驗,共獲得兩類、五項、480組數據。隨機把其中的20例學生的兩類、五項數據做為訓練集輸入矢量輸入,目標矢量為處于考前狀態的五項數據輸出為1,平時正常生活狀態的五項數據輸出為0。網絡訓練時調整神經元之間的連接權值,使網絡的輸出和實際的兩類情況盡可能相符。如果對所有的訓練樣本集網絡的輸出95%或更高能保證與實際結果一致,則訓練過程結束。網絡訓練好后,剩余的28例學生的5項數據作為神經網絡的輸入項,神經網絡的輸出值就是該學生是處于考前狀態1還是平時正常生活狀態0。主要設計程序如下:
%NEWFF-生成一個新的前向神經網絡;%TRAIN-對BP神經網絡進行訓練;%SIM-對BP神經網絡進行仿真;pause %敲任意鍵開始
clc
a1=[955 182 148222 1240]’;
a2=[1190 1911252421010]’;
a3=[1370291743461460]’;
a4=[1150 1962001511370]’;
a5=[821 109 82195 899]’;
a6=[1290246 112 299 1200]’;
a7=[876 132 139 166 952]’;
a8=[800 200 53.7214 873]’;
a9=[1210187 215 210 1370]’;
a10=[1090 131 68.5285 1380]’;
a11=[1240 433 154 224 1520]’;
a12=[1300 239 61.3289 1150]’;
a13=[1200 284 71.9119 1430]’;
a14=[1270 339 133 197 1210]’;
a15=[1210 248 151 125 1330]’;
a16=[1030 294 132 137 1040]’;
a17=[876151 126 194 1020]’;
a18=[1130 246 129 320 1470]’;
a19=[1020 196 157 225 1200]’;
a20=[1260 243 96.9143 1330]’;
b1=[910 188 127 216 1300]’;
b2=[1160177 136 268 1220]’;
b3=[1370287 101 321 1420]’;
b4=[947 159 170 111 1310]’;
b5=[911 116 66.2216 1140]’;
b6=[1320278 80.1305 1250]’;
b7=[804 147 150 177 987]’;
b8=[930 227 66.4245 962]’;
b9=[903 147 191 217 1380]’;
b10=[729121 59.2285 1330]’;
b11=[1180 436 144 220 1460]’;
b12=[949169 70.3240 972]’;
b13=[1150 273 65124 1520]’;
b14=[1150 172 118 179 1340]’;
b15=[1110 216 144 120 1320]’;
b16=[898260 112 197 1000]’;
b17=[866155 134 181 1050]’;
b18=[1060 235 158 149 1400]’;
b19=[887160 136 168 1450]’;
b20=[1320 286 92154 1410]’;
p=[a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13 a14 a15 a16 a17 a18 a19 a20 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12 b13 b14 b15 b16 b17 b18 b19 b20];%為輸入特征矢量!
t=[-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1];%為輸出目標矢量?
%創建一個新的前向神經網絡
net=newff(minmax(p),[12 1],{’tansig’,’purelin’},’trainlm’);
%==============設置網絡參數============================
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 10000;
net.trainParam.goal = 1e-1;
%=======================================================
[net,tr]=train(net,p,t); %對網絡進行訓練
echo off;
b=[1590 245 125 286 1330]’;
w=sim(net,b);
if w>0
disp(’0’);
else
disp(’1’);
end
表1
BP神經網絡處理免疫學數據結果
神經網絡
診斷結果訓練數據測試數據
正常狀態考前狀態正常狀態考前狀態
0 200243
10 20425
其中對于訓練集,正常狀態與考前狀態的正確檢出率為100%。對于測試集,正常狀態的正確檢出率為85.7%;考前狀態的正確檢出率為89.3%。平均為87.5%。
3 討論
3.1 本研究所采用的人工神經網絡檢驗免疫數據的結果較好地符合了已知數據,具有較高的準確性。
3.2 要想進一步提高該方法的準確性,應該注意收集更多更全面的檢驗數據。如果我們所使用的數據越多越全面,則其中所蘊含的事物本身的規律性就越強,利用人工神經網絡從中所抽取的函數關系就越具有普遍性,因而就更準確。
3.3 可能對亞健康的診斷具有指導意義。亞健康問題各國醫學界已作了一些研究,并取得了某些實際的成果。但是,由于亞健康的多種類型以及多種相關因素,使得現有的診斷在準確性和實用性方面都存在著相當的局限性,如建模復雜困難。由于對影響罹病與否的各種因子的作用機制了解得不是很清楚,如何建立診斷模型,以及如何確定新建立的模型在何種程度上與實際情況相吻合還是一個問題;容錯能力不強,適用范圍不廣;依賴于某些病例庫新建立起來的醫學模型往往具有很強的局限性,用于新的病例庫時誤差有時較大。另外,由于醫學方面的原因,我們收集到的數據有時不完整,而現有的研究方法所建立起的醫學模型由于容錯性差,對這些不完整的數據通常都難以處理。人工神經網絡理論突破了傳統的線性處理模式,以其高度的并行性,良好的容錯性和自適應能力成為人們研究其賴以生存的非線性世界,探索和研究某些復雜大系統的有力工具。對亞健康的診斷關鍵在于準確找到亞健康的判定函數,可能利用BP網絡的函數逼近功能來實現。這需要有更多的醫學數據來實踐檢驗。
參 考 文 獻
1．1采用計算機模擬技術建立模擬模型
對BP神經網絡模擬模型建立的基礎，人們是這樣認為的，因為影響工程造價的因素，大多數人們都是沒辦法確定的，所以我們不需要把這個值具體是多少確定下來，而是從另一個方面考慮，根據這個項目的基本情況，估計實際的造價落在某個范圍的機會會大一些，這個思想就是計算機模擬技術建立模擬模型的理論基礎。
1．2人工智能模型
工程造價估算專家系統，是通過人工智能，加上知識庫技術而建立起來的，可是這種人工智能模型主要靠專家的知識，來對工程造價進行估計計算的，但是估算的結果是被估算人員的主觀意識所影響的，不同專家的性格，知識面的寬窄，經驗豐富與否、都是不確定因素，幾乎可以會所不一樣的估算專家所得出的結果都不會一樣。這種方法很容易帶有個人偏見和片面性。受專家的主觀偏見性較強。
2BP神經網絡模型構造與算法
2．1人工神經網絡的基本原理
1985，D•E•Rumelhart等人組成的PDP小組提出的一種神經網絡模型，這就是我們今天所說的BP神經網絡，BP神經網絡結構是利用誤差反向傳播來消除誤差的，它有三個層次，有一個輸入層，第二個是隱層，最后一個當然就是輸出層。在訓練估算中，我們可以通過計算輸出值和我們預期的期望值，他們之間所產生的誤差，逆向思維，去求解輸出層單元的一般化誤差，然后再把誤差進行反向傳播，把隱含層單元的一般化誤差求解出來，并最終調整輸出層和隱含層，包括輸入層之間的連接權，還有連接權與隱含層和輸出層的閾值，最終目的就是讓系統誤差達到我們可以接受為止。當先前的系統誤差達到我們所需求的時候，權值和閾值就變成了固定不變的了，這樣我們再通過反向逆推，就可以測出我們這個項目的未知信息。這就是人工神經網絡的基本原理。
2．2BP神經網絡模型建立的步驟
(1)我們首先確定模型輸入層，隱含層還有輸出層的神經元個數。并且以此為依據，確定BP神經網絡模型的結構參數;(2)神經網絡只能處理－l～l之間的數據，所以在輸入網絡時，我們不僅需要對原始數據進行規范化處理，還要對隱含單元和各個單元輸入信息進行求和;通過反向逆推之后得到本單元的輸入信息。所以對原始數據，隱含單元輸入模塊規范化細致化是非常重要的;(3)隱含單元的輸出值可以根據神經網絡操作模型得出，只要我們把net信號經過一次激發函數的處理，可以得到這個隱含單元的輸出值;(4)對于輸出單元節點，我們只要對前一層的隱含層單元輸入信息，并且加權求和后，就能得到該單元的輸入信息。操作起來非常方便快捷;(5)對權矩陣的調整，因為人工神經網絡可以近似實現任意空間的數學映射。所以我們假設，如果神經網絡輸入單元數為M，輸出單元為N，則在m維歐式空間尺中會有一個有界子集A，存在著一個到n維歐式空間，那么R中一個有界子集F(A)的映射。
3基于BP神經網絡的工程造價估算模型
3．1定量化描述工程特征的因素
什么是工程特征，在BP神經網絡中所說工程特征，就是指不但能表示工程特點，而且還能反映工程的主要成本構成的重要因素。，我們可以通過參照歷史工程資料的統計和分析，進行工程特征的選取工作。選取完成之后，再根據專家的經驗來確定，這樣就可以萬無一失了。首先我們可以通過典型住宅工程的造價組成進行分析，然后對建筑結構參數的變化和別的工程做一下對比，通過以上兩點得出的結果，分析這些因素對造價的影響，依照以上的理論方法，我們進行了實踐性的研究，最終把礎類型，結構形式，建筑層數，門窗類型，外墻裝飾還有墻體材料以及平面組合等，這7種因素作為工程的主要特征。不同的建筑工程有著不同的類型，比如說結構，可以是磚混結構和框架結構等;磚條基和鋼筋砼條基礎等都可以作為基礎特征，對于這樣的特征選取的多樣性我們稱之為特征類目，通過工程特征不同類目的列舉，再跟據定額水平，工程特征對造價影響的相關性，這些對平方米造價的改變，對工程定量化的描述可以主觀的給出對應的量化數據。
3．2建立估價模型
工程造價估算的指標體系到該項目的單位造價的非線性映射，就可以統稱為是建設項目工程造價的估算問題。BP網絡可以根據人們的需求以任意的精度去逼近任意映射關系，究其原因就是上文說的BP網絡采用的是三層BP神經網絡結構，不同于其他的電腦估算網絡。不僅是因為該模型的輸入單元為7個，還有他們的項目樣本特征也不盡相同。神經網絡可以根據已經經過我們優選的模型特征，做為參考估算要素，然后再通過項目工程造價估算中，我們所提供的一定數量的已知樣本，采取對樣本的神經網絡訓練，最后根據以往的大的數據庫，提取類似的項目估算值，然后才能對其它特征的項目進行估算。這樣我們只需要輸入指標體系的各指標值，BP神經網絡就可以在該項目的單位造價的非線性映射中給出該項目的單位造價。
3．3檢測結果的分析
上面我們通過大量的實際實驗得知了這兩個固定不變的數字，然后我們可以用程序值被收斂后的網絡，對現在要進行求解的數據進行檢測，在測試后，如果發現總體誤差比率較小，那么就滿足我們初步設計的概算需求了，同時對工程可行性研究的投資估算需求也已經基本符合了，這些結果能有好的保證，全是依賴我們所選擇的模型的寬度夠用，模型在所有的因素中具有廣泛的代表性。所以估價模型的計算才較為成功。幾個工程估算的好壞也不能代表所有的項目都是完美的，也有個別工程造價估算誤差大，因為電腦畢竟是人在給其輸入程序，電腦的經驗，還有就是對一些特征的學習不夠用，本身的知識儲備還是有局限性的。因為對樣本數量的學習始終是有限，不可能面面俱到，而且挑選的樣本也不可能針對這個工程而言都是符合這個項目的特性。雖然說BP神經網絡模型有這樣無法控制的缺點，但是和其他的造價估算模型相比，BP神經網絡模型的優點還是可圈可點的，其優點和其他的造價模型相比較優點還是非常明顯的。在以后的估算中，隨著樣本的不斷充實，數據的不斷積累，經驗的不但豐富，其估算的誤差也將不斷縮小，這些方面的補充，在以后的估算中，必定會取得非常完美的成績。
4總結
關鍵詞BP神經網絡；汽車故障率；神經元；梯度下降
中圖分類號U2 文獻標識碼A 文章編號2095―6363（2017）03―0063―02
隨著互聯網、數據庫、云計算、移動通信技術的快速發展和進步，促進了其在多領域得到廣泛普及，開發電子政務、電子商務、在線學習、物流倉儲、智能家居、金融證券等領域得到廣泛普及和使用，已經積累了海量的應用數據資源，并且持續呈現幾何級數增長。汽車是信息化普及和使用的一個重要方向，汽車生產制造、保養修復、運行監控等都開發了先進的智能管理系統，這些系統運行也積累了海量數據，可以采用分類算法挖掘潛在有價值信息，形成一個個的數據類別，這些數據類別內部具有高度相似性，類別之間高度相異，因此就可以根據用戶輸入的信息主體劃分數據資源，提供一個合理的知識解釋和決策信息。
1 BP神經網絡理論
目前，汽車故障數據分析主要包括2個類別，一是有監督學習方法，比如BP神經網絡、支持向量機、貝葉斯理論；一種是無監督學習方法，比如譜聚類、密度聚類、K均值、信息等方法。有監督大數據分析方法需要利用人們的經驗，預先構建一個分析模型，然后盡可能提高這個學習模型的準確性，從而保證類別分析的精確度；無監督學習方法卻不需要任何先驗知識，系統自動的將數據按照不同的關注角度進行分類。
BP神經網絡能夠按照統計學規則，實現誤差逆傳播，是一種多層次的前饋神經網絡，目前已經在多個機器學習和模式識別領域得到廣泛普及。BP神經網絡可以學習和存儲海量的數據信息，并且經過自學習形成一個強大的支持網絡結構，并且利用當前最為流行的梯度下降方法，不斷調整網絡的結構、權值和閾值，降低網絡的誤差平方和，準確提取相關的數據隱含模式信息。汽車運行數據處理過程中，輸入層可以接收所有數據，并且將這些數據傳輸給中間層的神經元，神經元可以負責數據信息處理、變換，并且能夠根據信息變化能力的需求，改變和整合中間層結構汽車運行數據流經過識別和處理之后，就可以從中間層分發到輸出層，這樣就可以完成一次學習過程，將BP神經網絡訓練成為一個準確度非常高的模型，還可以通過誤差梯度下降等修正各個層次的權值，向隱藏層逐級反饋，實現反向傳播和修正，提高汽車運行數據識別精確度。
2汽車故障率預測模型設計
汽車故障是指企業部分組件或全部組件喪失工作能力，也即是零部件機器相互配合的狀態發生了異常變化，汽車故障廣泛地發生于生產制造、運行使用、修理維護等全過程，因此每一個環節都需要非常小心和注意，尤其是在汽車使用故障發生時，一定要及時發現故障類型，及時排除故障內容，才能夠保證汽車使用中盡量降低事故發生率。目前，汽車故障形成具有很多原因，具體原因如下所述。
1）汽車組成部件自身質量差異。汽車及其自身組件由于生產廠家、生產批次均不同，因此不可避免的存在許多質量差異，原廠配件在使用過程中將會出現很多問題，協作廠和不合格的配件裝配到汽車上之后將會出現很多問題，對于不同批次、規格相同的部件來講，可以將其劃分為好中差3個層次，權值因子設置為0.95、0.8和0.6。
2）汽車消耗品質量差異。汽車運行中，消耗品包括燃油、油等，這些消耗品的自身質量將會影響汽車運行性能和使用壽命，非常容易的導致企業發生故障。目前汽車常用的燃油包括90#、95#和97#。
3）汽車使用環境影響。汽車使用環境復雜，路面易發生各類型事故，同時山區、城市、丘陵等地帶由于地勢不同，耗費的動力也是不同，汽車使用環境復雜多變，容易誘發汽車故障，將使用環境劃分為3個方面，分別是好良中，權值因子設置為I/0.8和0.5。
4）汽車故障診斷和維修的影響。汽車運行中，需要定期對其進行保養，以便能夠準確診斷故障，才能夠將這些內容修復完畢。汽車運行維護、故障診斷、維修服務中需要較高的技術，因此為了提高這些技術產品的應用性，可以將汽車定期維護程度劃分為多個時間長短的內容，分別是0-3/4-6/7-9三個階段。
5）汽車的自然損耗。汽車各個組件會隨著運行公里的增加逐漸衰弱，汽車自燃損耗越多，產生故障的概率就越大，因此汽車的自然損耗也是一個關鍵因素。
基于BP神經網絡的汽車故障率預測模式可以利用管理系統、傳感器等采集上述5個方面的數據信息，將這些信息輸入到BP網絡的輸入層，輸入層接收道數據之后，將其按照權值因子進行整合，輸入到隱藏層網絡，隱藏藏網絡利用梯度下降、多層反饋等關鍵技術，對BP神經網絡進行訓練和學習，通過對此類標簽對比，不斷擬合調整網絡權值，形成一個強大的故障率預測網絡結構，這樣就可以準確預測網絡結構，將其輸出到顯示器上，具體的BP神經網絡運行如圖1所示。
人工神經網絡（Artificial Neural Networks，ANN），是基于人類大腦的生物活動所提出的，是一個數學模型。它由眾多節點通過一定的方式互聯組成，是一個規模巨大、自適應的系統。其中有一種學習算法是誤差傳遞學習算法即BP算法。BP算法是人工智能最常用到的學習方法，從一定意義上來講，BP算法的提出，終結了多層網絡在學習訓練算法上的空白史，是在實際應用中最有效的網絡訓練方法，對ANN的應用和發展起到了決定性的作用。
BP算法是使用從輸出層得到的誤差來估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進行，就會獲得其他所有各層的估算誤差。這樣就實現了將從輸出層的得到誤差沿著與輸入信號傳送相反的方向逐級向網絡的輸入端傳遞的過程[1]。但是，BP算法也存在著不可忽視的缺陷。基于此，該文總結介紹了BP的改進方法。
2 BP算法的基本思想
2.1 BP算法的基本原理
BP算法是有監督指導的算法，它的學習訓練過程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號正向傳遞，基本思想是樣本值從輸入層輸入，經輸入層傳入隱藏層，最后通過輸出層輸出，中間層對樣本數據進行處理操作，利用各層的權值和激活函數對數據進行操作然后在輸出層獲得輸出[2]；接下來就是反向傳遞，算法得到的實際輸出值與期望目標輸出之間必然會有誤差，根據誤差的大小來決定下一步的工作。如果誤差值較小滿足訓練的精度要求，則認為在輸出層得到的值滿足要求，停止訓練；反之，則將該誤差傳遞給隱藏層進行訓練，按照梯度下降的方式，對權值和閾值進行調整，接著進行循環，直到誤差值滿足精度要求停止訓練[3]。
3 BP算法的缺陷
盡管BP算法有著顯著的優點，但是在實際應用過程中，BP算法會出現很多問題。尤其是下面的問題，對BP神經網絡更好的發展有很大影響。有的甚至會導致算法崩潰。
3.1 收斂速度的問題
BP算法在進行訓練學習時，收斂速度慢，特別是在網絡訓練達到一定的精度時，BP算法就會出現一個長時間的誤差“平原”，算法的收斂速度會下降到極慢[4]。如果盲目的加快收斂速度，則會使算法產生震蕩現象。
3.2 局部極小點問題
在一些初始權值的條件下，BP算法在訓練過程中會陷入局部極值。這是由于BP網絡采用最速下降法，誤差曲面非常復雜且分布著許多局部極值點，一旦陷入，BP算法就很難逃脫，進而會使BP網絡的訓練停止。算法可以在某處得到一個收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會使網絡難以達到事先規定的誤差精度[5]。
3.3 網絡癱瘓問題
在算法的學習訓練過程中，網絡的權值會變得很大，從而使得節點的輸入變大，這就會導致其激活函數的導函數在改點取得的值很小，接著會導致算法的訓練速度變得極低，最終會導致BP網絡停止收斂，網絡癱瘓。
3.4 步長問題
BP的收斂是建立在無窮小權修改量的基礎上，而這就意味著網絡所需要的訓練時間是無窮的，這顯然是不可取的。因此，要限定權值修改量的值。這主要是因為，如果步長太小，那么網絡的收斂速度就會下降，如果步長太大，就會使BP神經網絡產生癱瘓和振蕩。學者們經過研究提出一個較好的方法，就是用自適應的步長代替原來的定值步長，以使權值修改量隨著BP網絡的訓練而不斷變化[6]。
4 改進BP算法的方法
BP算法應用廣泛，但它又存在很多缺陷，針對BP算法的問題，國內外許多學者提出各種改進方法，主要的改進方法分為兩類：一是啟發式改進，如附加動量法和自適應學習率等；二是結合新理論的改進。這些方法在不同程度上提高了網絡的收斂速度，避免了局部最小問題。
4.1 啟發式改進方法
啟發式改進方法是建立在BP網絡梯度下降規則的基礎上，通過對BP神經網絡的權值和學習率的改進，從而解決BP網絡在學習訓練過程中遇到的問題。它的核心思想是：使權重的調整量最大限度的適應誤差下降的要求。該文主要介紹了附加動量法。
傳統的BP算法實際上是運用最速下降規則來搜索最優點的算法，該規則是順著梯度的反方向進行權值的修正，并不將前一階段積累的經驗考慮進來。因此會在訓練過程中發生震蕩，導致收斂速度緩慢。但是將動量項引入到BP網絡中后，當輸入樣本依照順序輸入時，則可以將權值的修正公式看作為以t為變量的時間序列，那么權值的修改公式就改變為如下所示：
加入動量項以后若本次。
4.2 BP網絡結構的優化
在BP算法中，輸入和輸出節點的個數由實際問題確定，網絡結構的優化主要是針對隱藏層的節點數和層數。許多研究表明，一個隱藏層就可以解決各種分類問題。那么對于隱藏層節點的個數的確定，有的學者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節點數，[NI]表示輸入層節點數，[NO]表示輸出層節點數），但是公式缺乏一定的理論支持，所以目前最好的方法是通過經驗和在學習訓練過程中不斷的調整隱藏層節點數，最后得到一個合適的網絡結構。
4.3 基于新理論的算法改進
隨著對BP網絡結構知識的研究，能夠更加深刻的理解BP算法誤差傳遞的本質。出現了許多基于新興理論的BP算法的改進，這種改進方式是結合了其它領域比較成功的優化算法和理論，比如將遺傳算法與BP算法相結合，將遺傳算法高效的全局尋優能力引入進來，利用GA算法來優化BP算法的權值和閾值，解決BP神經網絡存在容易陷入局部極值和收斂速度慢的問題，兩種算法的結合實現了各自優勢的互補，取得了良好的效果[8]；將粒子群優化算法用于BP神經網絡的學習訓練，使算法更容易找到全局最優解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數學理論、小波理論、混沌算法等相結合。這些改進使得BP神經網絡得到更進一步的應用。
5 小結
BP算法是目前在神經網絡學習算法中得到最廣泛應用的。該文總結了BP算法的原理，針對BP算法中出現的問題，雖然給出了BP算法的改進方法，但還是有很多不足之處。隨著科學日新月異的發展，各種新的優化算法 不斷的提出，BP算法也會得到更廣泛的發展。
參考文獻：
[1] 胡彩萍.基于BP神經網絡的排序評價算法研究及應用[D].南昌：江西師范大學碩士學位論文，2009.
[2] 劉翔.BP算法的改進及其應用[D].太原：太原理工大學碩士學位論文，2012.
[3] 張璐璐.基于遺傳神經網絡的人民幣識別方法研究[D].長春：吉林大學碩士學位論文，2009.
[4] 張波.DRP決策支持系統及小波網絡在其中的應用[D].成都：四川大學碩士學位論文，2006.
[5]付海兵，曾黃麟.BP神經網絡的算法及改進[J].中國西部科技，2012，11（8）：1671-6396.
[6] 周羽.紅外圖像人臉識別研究[D].大連：大連理工大學碩士學位論文，2007.
關鍵詞：圖像標注；BP神經網絡；Normalized Cuts；圖像低層特征
中圖分類號：TP391文獻標識碼：A文章編號：1009-3044(2011)14-3399-02
Image Semantic Annotation Based on BP Neural Network Algorithm
WU Yu-hua
(Department of information Technology, Hengyang Technician College, Hengyang 421008, China)
Abstract: Because of the "Semantic gab" problem in the traditional CBIR(content-based image retrieval ) systems, they are not fit in some special areas. The appearance of Image-Semantic-Annotation can effectively resolve this problem. This paper represents a method that first uses the Normalized Cuts to cut the image into several areas and then extract the low-level features, last use BP neural network algorithm to learn the relations between the areas and the annotation words. The experiment's results proved this method is valid and efficient.
Key words: image annotation; BP neural network; normalized cuts; low-level feature
基于內容的圖像檢索近10年來得到了研究者的關注,一系列的基于內容的圖像檢索方法和檢索系統被提出來。然而由于計算機對圖像信息的理解和人對圖像信息的理解存在著客觀區別, 檢索系統中就難免存在計算機認為的“視覺相似”和人們所理解的“語義相似”之間的“語義鴻溝( Semantic gap )”。如何解決“語義鴻溝”問題是目前CBIR系統亟待解決的技術難題。圖像標注這個直觀的想法能有效地彌補語義的缺失,它可以利用已標注的圖像集自動學習語義概念空間與視覺特征空間的關系模型,并用此模型標注未知語義的圖像,即它試圖在高層語義特征和底層視覺特征之間建立一座橋梁。因此,它可以一定程度解決大多基于內容圖像檢索方法存在的語義鴻溝問題。如果能實現自動圖像標注,那么現有的圖像檢索問題實際上就可以轉化成技術已經相當成熟的文本檢索問題。它的潛在應用領域包括生物醫學、商業、軍事、教育、數字圖書館和互聯網檢索等。
1 相關研究工作
圖像自動標注技術可以利用已標注的圖像集自動學習語義概念空間與視覺特征空間的關系模型,并用此模型標注未知語義的圖像,即它試圖在高層語義特征和底層視覺特征之間建立一座橋梁。近年來圖像自動標注技術正成為國際上圖像檢索領域的一個研究熱點。許多機器學習方法由于能很好地獲取圖像特征和文本描述之間的對應關系,因而被引入這一領域，并且已經出了一些成果，例如同現模型(Co-occurrence Model)[1],基于機器翻譯的對象識別模型[2]，跨媒體相關模型(Cross-Media Relevance, CMR)[3]等等。
本文中我們提出了先使用Normalized Cuts[4]方法對圖像進行分割并提取出每個區域的低層特征，再利用BP神經網絡算法來學習圖像區域特征和標注字的對應關系模型并用此模型來對未知語義圖像進行自動標注的方法，實驗證明該方法能夠取得很好的效果。
2 Normalized Cuts及圖像區域特征選擇
因為Normalized Cuts在圖像分割這塊有強的優勢，所以本文中我們選擇其作為圖像的分割方法。先對圖像進行Normalized Cuts區域分割，然后提取圖像的各個區域特征，在這里我們采用的圖像低層視覺特征是顏色、紋理特征的結合。
2.1 Normalized Cuts區域分割
我們使用Timothee Cour等人開發的Multiscale Normalized Cuts Segmentation Toolbox對每個圖像（160*160）進行區域分割（nsegs = 8），分割的效果如圖1所示。
2.2 低層特征提取
由于圖像的顏色分布信息主要集中在低階矩中，因此我們采用顏色的一階矩、二階矩和三階矩來表示圖像的顏色分布。一階中心矩、二階中心矩和三階中心矩分別表示圖像或子區域圖像的平均顏色、標準方差和三次根非對稱性，公式分別為以下式1、2和3：
(1)
(2)
(3)
對于每幅圖像每一個分割區域我們可以得到3個顏色分布特征。
我們采用的紋理特征是Gabor紋理特征（Gabor濾波變換后求取圖像區域的均值和方差）。Gabor濾波后的部份圖像效果圖如圖2所示。
我們對每幅圖像從4個尺度(0,1,2,3)和8個角度（0℃，45℃，90℃,135℃,180℃,225℃,270℃,315℃）組合進行濾波后再提取每個區域的均值和方差作為紋理特征,這樣每個區域就可得到32個紋理特征。
通過上面的低層特征提取，每幅圖像的每個區域我們可以得到共有35個低層特征，即顏色特征3個，紋理特征32個。
3 BP(Back Propagation)神經網絡
3.1 BP神經網絡典型結構
圖3為BP網絡結構圖。
3.2 BP學習算法[5]
BP(Back Propagation)算法為誤差反向傳播算法，主要分為兩個階段：一個前向傳播階段（計算誤差），另一個誤差反向傳播階段（修改權值）。
BP具體算法：
①創建nin個輸入單元，nhidden個隱藏單元，nout個輸出單元的網絡；
② 初始化所有的網絡權值為小的隨機值（-0.05~0.05）；
③ 在遇到終止條件前（達到迭代次數或者訓練精度），對于每個訓練樣例做以下計算：
1）輸入沿網絡前向傳播：把實例輸入網絡,并計算網絡中每個單元u的輸出ou。
2）誤差沿網絡反向傳播：
對于網絡的每個輸出單元k,計算它的誤差項dk， ；
對于網絡的每個隱藏單元h,計算它的誤差項δh: 。
3）更新每個網絡權值wji，
3.3 圖像標注基本原理
圖像標注基本原理如圖4所示，主要分為兩個階段：模型訓練階段和標注階段，我們采用BP神經網絡模型來學習圖像區域特征和標注字之間的對應關系。
訓練階段主要是對已標注的圖像集進行處理，包括：1、圖像的區域分割，2、區域特征的提取，3、區域對應的標注字的提取（也即對應的標記，例如在程序中，我們使用1代表森林，2代表草地，3代表動物，4代表天空等），4、BP神經網絡模型訓練幾個步驟，訓練后得到的權值，我們保存在weight.txt文件中。
標注階段是對待標注的圖像集進行處理，包括：1、圖像的區域分割，2、區域特征的提取，3、從weight.txt文件中讀取各層的權值到BP模型中，使用訓練好的BP模型來對待標注的圖像進行標注。
4 實驗結果
我們使用的實驗數據為微軟亞洲研究院視覺計算組的圖像集。我們從中挑選了300幅包含動物、草地、森林和天空等對象的圖像作為訓練集，先使用NormalizedCuts方法進行區域分割，得到8個區域并抽取其36維特征向量，在程序中我們采用三層BP模型，36個輸入單元（對應36個低層特征），15個隱藏單元和4個輸出單元（對應4個對象，動物、草地、森林和天空），學習因子為0.3，訓練后得到權值保存在weight.txt文件中。另外我們選取了50幅圖像作為測試集，在PIV 2.0G 256M 硬件環境和XP系統，vs2005 + OpenCV_1.0的軟件環境下進行實驗，使用本文提出的方法來進行圖像語義的標注，準確率達到78.23%，初期實驗結果樣例如圖5所示。
5 結束語
使用BP神經網絡算法能夠很好學習區域特征和標注字的對應關系，因此圖像的區域分割和低層視覺特征選擇很重要，搞好了就能很好地進行圖像語義自動標注，對稍微簡單點的圖像標注準確率比較高，對復雜圖像的標注準確率下降很多，也就是BP神經網絡存在無法學習圖像的上下文信息的缺點。因此如果能夠融合圖像的上下文信息的話，標注的效果會更好。而CRF（條件概率隨機場）[6]在融合上下文信息這方面功能很強大，因此，未來的工作重點主是結合BP和CRF對圖像進行語義的自動標注。
參考文獻：
[1] Mori Y, Takahashi H, Oka R.Image-to-word transformation based on dividing and vector quantizing images with words[J].In Proc. of MISRM,1999.
[2] Duygulu P, Barnard K, de Freitas J F G, et al, Object Recognition as Machine Translation: Learning a Lexicon for a Fixed Image Vocabulary[J].Proceedings of the 7th European Conference on Computer Vision-Part IV,2002:97-112.
[3] Jeon J, Lavrenko V , Manmatha R. Automatic image annotation and retrieval using cross - media relevance models[C].New York: ACM Press, 2003:119 - 126.
[4] Shi J, Malik J.Normalized cuts and image segmentation[J].In Proc. IEEE Conf. Computer Vision and Pattern Recognition,731-737,1997.
關鍵詞： 電網負荷預測； BP神經網絡； 模擬退火優化算法； 預測誤差
中圖分類號： TN926?34； TM715 文獻標識碼： A 文章編號： 1004?373X（2016）20?0064?03
Abstract： Since the forecasting accuracy of the traditional linear load forecasting method cannot meet the requirements of the modern power grid management system， the nonlinear BP neural network algorithm suitable for the power grid load prediction task is used in this paper to build forecasting model. Because the conventional BP neural network is easy to fall into the local optimal solution and has low convergence efficiency， simulated annealing algorithm is used in this paper to optimize the BP neural network weight training algorithm to improve the convergence efficiency and self?learning ability of the prediction model. The prediction model studied in this paper is analyzed with an example. The results show that the training times and training time of the improved BP neural network are less than those of the conventional neural network， and it has higher convergence accuracy， in addition， the prediction error of the improved BP neural network prediction model is obviously reduced.
Keywords： power grid load forecasting； BP neural network； simulated annealing optimization algorithm； prediction error
0 引 言
對電網負荷進行預測對于確保電力系統正常穩定運行具有重要意義，對電網的短期負荷進行精確預測能夠降低電力電網系統的運行和維護成本，負荷預測系統已經成為電力電網管理系統中的重要組成部分之一，同時也是電力科研工作者的主要研究重點內容之一[1?5]。
傳統的電網負荷預測方法主要是基于線性的時間序列分析法、回歸分析模型等，然而實際的電力負荷模型是非線性的，電網的負荷會受到溫度、濕度等各種影響因素干擾，使得傳統線性預測模型的預測精度無法滿足現代電力電網管理系統的精度要求[6?7]。
BP神經網絡預測模型是一種非線性的預測模型，其具有自學習能力、預測精度較高以及強大的非線性函數關系擬合能力等優點，特別適用于電力電網負荷的預測任務，但是常規的BP神經網絡存在容易陷入局部最優解以及收斂效率低等問題[8?9]。因此本文使用模擬退火算法對BP神經網絡權值訓練算法進行優化，提高預測模型的收斂效率和自學習能力。
1 改進型BP神經網絡預測模型
常規的BP神經網絡存在容易陷入局部最優解以及收斂效率低等問題，因此本文使用模擬退火算法對BP神經網絡的權值參數的訓練進行優化。模擬退火算法模擬金屬材料退火過程，在固定時段內以一定的概率算法求解較大搜索空間內的全局最優解[10]。
使用模擬退火算法對BP神經網絡優化過程為[12]：
步驟1：對參數進行初始化，初始生成一個較大的溫度[T0]，隨機生產BP神經網絡的初始權值，并由初始權值組成初始的狀態解[ωij0]。
步驟2：根據隨機擾動模型由第k步的解[ωijk]得到第k+1步的解[ωijk+1]。
步驟3：將新的狀態解[ωijk+1]賦值到BP神經網絡模型中，使用訓練數據對新生成的BP神經網絡進行訓練，使用目標優化函數計算該BP神經網絡預測值與期望值之差。
步驟4：判別系統能否接收新的狀態解[ωijk+1]。
步驟5：如果內循環次數達到設定最大值，則進入下一步，否則跳回步驟2。
步驟6：若滿足調節[Tk+1
步驟7：若SA算法完成對各個訓練樣本的優化任務后，并且溫度達到設置的終止溫度，則結束優化過程，SA算法的最優解則作為BP神經網絡的最優連接權值。
2 實例分析
通過實例對本文研究的改進型BP神經網絡電網負荷預測模型進行分析。調取了某市2009―2010年的電網負荷數據以及天氣數據等，并針對某一天的電網負荷進行預測，與真實數據進行對比[13]。
使用常規BP神經網絡與改進型BP神經網絡進行對比實驗，兩種模型的輸入神經元個數均為65，輸出為24個，即對某一天24個小時負荷量的預測[14?15]。使用訓練樣本對兩種預測模型進行訓練，得到了訓練結果性能如表1所示。
由表1可以看出，在精度要求一致時，本文研究的改進型BP神經網絡的訓練次數和訓練耗時均低于常規神經網絡，說明改進后的BP神經網絡具有更快的收斂效率，同時改進后的BP神經網絡的相對誤差平均值降低了2.44%，相對誤差最大值降低了4.22%，說明改進后的BP神經網絡具有更高的收斂精度。
使用上述訓練后得到的預測模型，對該市2009年10月13日的24 h電網負荷進行預測，得到的預測結果如表2所示。
表2 電網負荷預測結果
通過計算可得常規BP神經網絡預測模型的預測均方誤差為3.29%，平均相對誤差為2.78%，使用改進型BP神經網絡預測模型的預測均方誤差為1.52%，平均相對誤差為1.18%，預測誤差明顯降低。兩種預測模型的預測值與真實值比較如圖1所示。由圖1可以看出使用改進后的BP神經網絡預測模型的預測準確度平均值達到了99.2%以上。
3 結 語
電網負荷預測對于確保電力系統正常穩定運行具有重要意義，是電力科研工作者的主要研究重點內容之一。本文使用BP神經網絡建立電網負荷預測模型，并使用模擬退火算法對BP神經網絡權值訓練算法進行優化，提高預測模型的收斂效率和自學習能力。最后通過某市2009―2010年的電網負荷數據以及天氣數據等對本文研究的改進型BP神經網絡電網負荷預測模型進行分析，結果表明，本文研究的改進型BP神經網絡預測誤差明顯降低，具有較好的應用價值。
參考文獻
[1] 王大鵬.灰色預測模型及中長期電力負荷預測應用研究[D].武漢：華中科技大學，2013.
[2] 任麗娜.基于Elman神經網絡的中期電力負荷預測模型研究[D].蘭州：蘭州理工大學，2007.
[3] 程其云.基于數據挖掘的電力短期負荷預測模型及方法的研究[D].重慶：重慶大學，2004.
[4] 張華.基于優化BP神經網絡的微博輿情預測模型研究[D].武漢：華中師范大學，2014.
[5] 馬洪松.基于改進灰色模型的電力負荷預測方法研究及應用[D].北京：華北電力大學，2013.
[6] 朱曉明.BP?灰度模型的電力負荷預測模型研究[J].科技通報，2013（8）：50?52.
[7] 周建中，張亞超，李清清，等.基于動態自適應徑向基函數網絡的概率性短期負荷預測[J].電網技術，2010（3）：37?41.
[8] 陳偉淳.基于多神經網絡的智能電網短期負荷預測研究[D].廣州：華南理工大學，2012.
[9] 熊偉.基于粒子群模糊徑向基網絡的電力系統短期負荷預測[D].長沙：長沙理工大學，2009.
[10] 尤麗華，吳靜靜，王瑤，等.基于模擬退火優化BP神經網絡的pH值預測[J].傳感技術學報，2014（12）：1643?1648.
[11] 王惠琳.模擬退火遺傳算法優化的BP網絡在翹曲量預測中的應用[D].杭州：浙江大學，2011.
[12] 王惠琳，胡樹根，王耘.基于模擬退火遺傳算法優化的BP網絡在質量預測中的應用[J].輕工機械，2011（4）：26?31.
[13] 師彪，李郁俠，于新花，等.改進粒子群?BP神經網絡模型的短期電力負荷預測[J].計算機應用，2009（4）：1036?1039.
