前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經網絡的正則化方法范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。

神經網絡的正則化方法范文第1篇

關鍵詞：BP網絡 結構損傷檢測 損傷信號指標1 引言

基于BP網絡的高層框架結構損傷檢測是近年來的一個熱門研究課題，它是隨著科技的進步、經濟的發展和人們認識的提高而發展起來的。傳統的建筑結構可靠性是通過結構設計來保障的，但實際上，結構設計很難完全保障建筑結構在使用階段的可靠性。這是因為在使用階段建筑結構除承受設計荷載的作用外，隨著使用時間的增加，不可避免地發生老化或者受到各種突發性的外界因素（如爆炸、地震、撞擊、火災等）的影響而引起結構的損傷，這些損傷隨時間積累，達到一定程度就會影響結構的安全性、適用性和耐久性，甚至發生突發性的失效，嚴重威脅著人類的生命財產安全。例如，1994年美國的加州大地震，1995年的日本神戶大地震和1999年的臺灣大地震都使無數的房屋損壞和倒塌，造成人民生命財產的巨大損失。建筑結構損傷的及時檢測和修復對于減少人民的生命財產損失具有極其重要的作用。同時，盡早發現結構損傷，可以從很大程度上降低維護維修費用。因此，應建立合理的檢測系統以便及時探測到建筑結構損傷出現的位置和程度，及時采取有效措施消除隱患，確保人民的生命財產安全。

人工神經網絡廣泛涉及土木工程的各個領域，在結構損傷檢測中發揮著巨大作用。但神經網絡應用在不同結構的理論還不成熟，因此為了將神經網絡更好地應用于結構損傷檢測中，本文把振動分析方法與人工神經網絡結合在一起，解決高層對稱框架結構的損傷檢測問題。

2 基于BP網絡的結構損傷四步檢測法

在對高層建筑這樣復雜的大型結構體系進行損傷檢測時，如果僅僅作為一個力學反問題來考慮，將導致條件的復雜性和解的不唯一性。行之有效的方法是盡量避免直接解力學反問題，基于此本文提出了基于BP網絡的結構損傷四步檢測法，即損傷的發生、類型、位置和程度分開檢測。

第一步：損傷的發生

在這一步，神經網絡就像一個報警系統而不是損傷的檢測系統。當結構發生損傷時，神經網絡就會發出警報。而且不需要結構的模態信息就可以構建、訓練和測試神經網絡。

在目前的研究中，通過測量系統獲得的未損結構的模態參數，即未損結構的前N階固有頻率 作為輸入輸出向量來訓練網絡，而不需要其它的結構模態。但是，未損結構的固有頻率需要多次測量，而且全部用于網絡的訓練，這些數據可以通過結構的長期在線監測系統獲得。

第二步：損傷類型

建筑結構損傷檢測有多種類型，如構件寬度變小、構件高度變小和構件材料的彈性模量變小。前兩種類型可以看作是構件有效工作面積的減小，這三種類型都可以看作是構件剛度變小。在該階段神經網絡被用作分類器，獲得的基于模態的損傷結構模態用于神經網絡的訓練。

第三步：損傷位置

對于一些損傷的位置分布，需要建立一個神經網絡來精確地確定損傷的具置。在這個網絡中，第 個節點的輸出值為1或0，它表示該節點是否發生損傷。由于僅僅使用固有頻率無法檢測對稱位置發生的同程度損傷，就選擇由損傷信號指標和其它一些參數所組成的組合損傷向量。這個輸入向量需要滿足兩個條件：（a）輸入向量的多數參數與損傷程度無關，只與損傷位置有關；（b）輸入向量的模態參數都能夠從固有頻率和第一階模態的少數幾個模態矢量值算出。因為在這一步的目標是確定損傷的位置，所以訓練時只需要在所有可能的損傷位置的一種損傷程度的損傷樣本，這樣就大大地減少了訓練樣本的數量。

第四步：損傷程度

一般的基于神經網絡的結構損傷檢測方法，損傷位置和損傷程度通過一步損傷檢測法就可以同時檢測出來。但是當存在大量的可能損傷位置時，一步損傷檢測法需要太多的損傷樣本，因為網絡在損傷程度的檢測時需要在不同的損傷水平下對網絡進行訓練。本文提出的結構損傷四步檢測法就成功解決了這一問題，整個過程使用同樣的神經網絡模型。在上一步已經檢測出損傷的位置，我們只需要在這些損傷的位置上增加一些不同程度的損傷樣本，重新學習訓練網絡即可。

3 神經網絡輸入參數的選擇

研究表明神經網絡輸入參數的選擇及其表達形式會直接影響結構損傷檢測的結果。下面分別介紹三種輸入參數：僅與損傷位置有關的輸入參數，僅與損傷程度有關的輸入參數及與損傷位置和程度都有關的輸入參數。

3.1 僅與損傷位置有關的輸入參數

在已有的結構損傷檢測方法中，首先要用神經網絡檢測損傷的位置，然后再檢測損傷的程度。因此必須合理地選擇一個僅與損傷位置有關的網絡輸入參數。

Cawley和Adams [1]證明了兩階頻率的變化率僅僅與損傷位置有關而與損傷程度無關。Minski [2]證明了正則化的頻率變化率也是一個只與損傷位置有關的輸入參數。其中頻率的變化率 可以表示為：

正則化的頻率變化率 可以表示為：

上面方程中： 和 分別為第i階固有頻率變化比和第i階正則化的頻率變化率，m為實測固有頻率的階數，fui和fdi分別為結構在未損和損傷狀態下的模態頻率。

Lam [3]等人提出了一個損傷信號指標并且證明了這種指標只與損傷位置有關而與損傷程度無關。這種損傷信號指標被定義為模態振型的變化率與固有頻率的變化比，用公式表示為：

而正則化的損傷信號指標可表示為：

上面方程中：fui和fdi的意義同公式（2）；{Φui}和{Φdi}分別為結構在未損和損傷狀態下的第i階模態矢量值；DSIi（k）和NDSIi（k）分別為第i階模態的損傷信號指標和第i階模態的正則化的損傷信號指標， n為實測模態的階數；為了方便，一般取n=1、k為實測模態矢量的位置。

上面涉及的模態的選擇取決于兩個因素：模態數據測量的準確性和該模態對于損傷的敏感性。某一模態對于損傷的敏感性事先并不知道。但是通常認為一階模態所測量的固有頻率最準確。所以采用一階模態所對應的模態矢量值。然而，如果一階固有頻率的變化太小，就要選擇其它振型的模態矢量值。因為一階固有頻率的變化太小，將出現一個很小的分母，而導致計算的損傷信號指標不收斂。在計算固有頻率變化之前，必須保證這兩套方法所測量的模態矢量值具有同樣的標準化形式。當然，計算神經網絡的輸入向量，不需要完整的模態數據，只需要選擇幾個點的模態分量就足夠了，這樣就克服了僅僅用頻率的缺陷。

3.2 僅與損傷程度有關的輸入參數

姜紹飛[4]給出了僅與損傷程度有關的輸入參數：

上式中NFSRi為第i階固有頻率平方的變化比，fui和fdi分別為結構在未損和損傷狀態下的模態頻率。

3.3 與損傷位置和程度都有關的輸入參數

頻率的變化率FFCi是與損傷位置和損傷程度都有關的參數。

4 神經網絡輸入向量的選擇

基于以上輸入參數的分析，神經網絡的輸入向量可以設計成組合損傷向量。損傷位置和損傷程度可以用不同的網絡結構分別檢測。考慮到本文主要解決的是對稱結構損傷檢測問題，所以在輸入向量中一定要包含能夠檢測對稱位置損傷的損傷信號指標。因此，我們可以把損傷信號指標分別與僅與損傷位置有關、僅與損傷程度有關及與損傷位置和程度均有關的輸入參數相組合，形成新的能夠檢測對稱損傷的組合損傷向量。本文給出以下幾種常用的組合損傷向量。

4.1 檢測損傷位置的組合損傷向量

上述組合損傷向量具有以下性質：（a）該輸入向量的參數只與損傷的位置有關，而與損傷程度無關；（b）這些輸入參數可以通過少數幾個模態矢量值，即使是只能獲得第一階的模態矢量值，也是可以的。如果m （n≤m）階固有頻率和n階模態矢量值在K個測量的自由度 （K=1，2，…，k）可以通過試驗獲得的話，那么網絡的輸入節點的數目為（m +nK），網絡的輸出向量為：

這里， q為所有可能發生的損傷數目；Li∈[0，1]，如果Li為零則表示在i點沒有損傷，否則，就表示在i點有損傷發生。

4.2 檢測損傷程度的組合損傷向量

上述組合損傷向量是把損傷信號指標和僅與損傷程度有關的輸入參數組合得到的。網絡的輸入節點的數目為（2m +nK）。網絡的輸出向量為：

發生在i點的損傷的程度。

4.3檢測損傷位置和程度的組合損傷向量

上述組合損傷向量是把損傷信號指標和與損傷位置和損傷程度均有關的輸入參數組合得到的。對該組合損傷向量來說，網絡的輸入節點的數目為（2m +nK）。網絡的輸出向量為：

這里， 發生在i點的損傷的程度。

若損傷位置和損傷程度都采用相同的網絡結構，輸入向量采用（10）式，而輸出向量采用下面的公式：

這里， 的意義與公式（7）相同，而E則表示在損傷位置的損傷程度。但是這樣求得的損傷程度只是一個粗略的估計，要想知道更準確的損傷程度，就要重新學習訓練網絡。

5 結束語

本文提出了框架結構損傷檢測的新方法―基于BP網絡的結構損傷四步檢測法。

由于本文只是針對對稱框架做了部分工作，對于剪力墻、板等構件可以等效為若干桿件組成的桿件模型進行損傷檢測，但是其效果如何還有待于試驗驗證。同時也有必要加強輸入參數的研究并積極尋求精度和敏感性更好的新的神經網絡輸入參數。

參考文獻

[1] P. Cawley and R.D. Adams， The location of deficits in structures from measurements of natural frequencies， Journal of Strain Analysis 14 （1979） 49-57.

[2] P.C. Kaminski， The approximate location of damage through the analysis of natural frequencies with artificial neural networks， Journal of Process Mechanical Engineering 209 （1995） 117-123.

[3] H.F. Lam， J.M. Ko and C.W. Wong， Localization of damaged structural connections based on experiental modal and sensitivity analysis， Journal of Sound and Vibration 210 （1998） 91-115.

神經網絡的正則化方法范文第2篇

關鍵詞：物聯網；LS-SVM；數據模型

中圖分類號：TP393

文獻標識碼：A

文章編號：1009-3044（2017）10-0145-02

1.引言

前神經網絡（feedforwardneuralnetwork），簡稱前饋網絡，是人工神經網絡的一種。

2.概念相關概述

2.1前饋人工神經網絡現實基礎模型

首先，生物神經元模型。人的大腦中有眾多神經元，而神經元之間需要神經突觸連接，進而構成了復雜有序的神經網絡。而神經元主要由樹突、軸突和細胞體組成。一個神經元有一個細胞體和軸突，但是卻有很多樹突。樹突是神經元的輸入端，用于接受信息，并向細胞體財團對信息。而細胞體是神經元的信息處理中心，能夠對信號進行處理。軸突相當于信息輸出端口，負責向下一個神經元傳遞信息；其次，人工神經元。人工神經元的信息處理能力十分有限，但是，由眾多人工神經元構成的神經網絡系統龐大，具有巨大的潛力，能夠解決復雜問題。人工神經網絡與生物神經網絡具有相似之處，人工神經網絡能夠從環境中獲取知識，并存儲信息。前饋人工神經網絡主要包括隱含層、輸入層和輸出層。在前饋人工神經網絡中，神經元將信號進行非線性轉換之后，將信號傳遞給下一層，信息傳播是單向的。并且，前饋人工神經網絡是人們應用最多的網絡模型，常見的有BP神經網絡、單層感知器、RBF神經網絡等模型。

2.2 LS-SVM相關概述

支撐向量機是一種基于統計學習理論的機器學習方法，能夠根據樣本信息進行非現象映射，解回歸問題的高度非現象問題。并且，支撐向量機在解決非線性、局部極小點方問題上有很大的優勢。LS-SVM也叫最小二乘支撐向量機，是支撐向量機的一種，遵循支撐向量機算法的結構風險最小化的原則，能夠將支撐向量機算法中的不等式約束改為等式約束，進而將二次問題轉換為線性方程問題，大大降低了計算的復雜性。并且，LS-SVM在運算速度上遠遠高于支持向量機。但是，LS-SVM也存在一定的缺點，在計算的過程中，LS-SVM的忽視了全局最優，只能實現局部最優。并且，LS-SVM在處理噪聲污染嚴重的樣本時，會將所有的干擾信息都擬合到模型系統中，導致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進。

2.3物聯網下人工神經網絡前饋LS-SVM研究的意義

物聯網是互聯網技術的發展趨勢，為前饋人工神經網絡的發展與LS-SVM研究提供了技術保障，在物聯網背景下，研究人工神經網絡前饋LS-SVM不僅能夠創新人工神經網絡的計算方法，完善人工神經網絡在現實生活中的應用，而且對人們生活的自動化和智能化發展有著重要意義。另外，物聯網為人們對LS-SVM的研究提供了條件，在物聯網環境下，人們能夠運用信息技術深化最小二乘支撐向量機研究，不斷提高LS-SVM回歸模型的魯棒性，改進LS-SVM的特征提取方法和在線建模算法，完善計算機學習方法，提升計算機的運算速度。3基于LS―SVM的丟包數據模型

在選擇的參數的基礎上，運用IS-SVM方法，建立評估模型。本文選用LS-SVM回歸方法的原因，SVM優于神經網絡的方法主要是以下幾點：

首先，了解數據挖掘，數據挖掘前景廣闊，SVM是數據挖掘中的新方法。其次，選擇合適的數據分析方法根據數據集的大小和特征。小樣本訓練適合SVM，樣本大情況的訓練適宜神經網絡，這里用SVM。

然后，就是文獻使用SVM和PCA建立跨層的評估QOE，實驗結果表明主觀MOS評分和此評價結果具有很好的一致性。

最后，本文采用SVM基礎上的進一步拔高，LS-SVM，比SVM運行快，精確度高。srcl3_hrcl_525.yuv實驗素材的特征是具有高清性質。525序列60HZ，幀大小為1440x486字節/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時域復雜度的模型如下，視頻的時域復雜度σ；編碼量化參數是Q；編碼速率為R；待定模型的參數為a和b。σ=Q（aR+b）。通過大量的實驗和理論分析，得到模型的參數：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數是根據實驗的具體情況確定的。計算σ的值如下所示：當量化參數為31時，σ=19998720.1，當量化參數為10時，σ=6451200.03，當量化參數為5時，σ=3225600.02，當量化參數為62時，σ=39997440.2，當量化參數為100時，σ=64512000.3，當量化參數為200時，σ=129024001，當量化參數為255時，σ=164505601。

對于srcl3網絡環境建立考慮網絡丟包的視頻質量無參評估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時域復雜度。等權的參數。

LS-SVM要求調用的參數只有兩個gam和sig2并且他們是LS-SVM的參數，其中決定適應誤差的最小化和平滑程度的正則化參數是gam，RBF函數的參數是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數回歸的。

4.機器學習和物聯網的結合

物聯網中也用到人工智能，人工智能中有機器學習，機器學習中有神經網絡。機器學習是人工智能研究的核心問題之一，也是當前人工智能研究的一個熱門方向。

神經網絡的正則化方法范文第3篇

【關鍵詞】股指期貨；股指期貨預測；人工神經網絡；支持向量機

k提出了支持向量機（Support Vector Machine簡稱SVM）的概念。它以統計學習理論為基礎，是一種建立在VC維和結構風險最小化原則基礎上的一種新的機器學習方法。以其完善的理論基礎、學習性能和預測性能得到了廣泛的關注和應用。

1.支持向量機介紹

支持向量機（SVM）是近幾年來一種新的學習方法，與一般神經網絡相比，支持向量機算法將轉化為一個二次型尋優問題，從理論上講得到的是全局最優點，可以解決在神經網絡中無法避免的局部極小值所出現的問題。支持向量機的拓撲結構由支持向量決定，避免了傳統神經網絡拓撲結構需要經驗試湊的方法，而且SVM的最優求解基于結構風險最小化思想，因此具有比其他非線性函數逼近方法具有更強的泛化能力。

2.原理分析

給定一個數據集作為訓練樣本，其中是輸入變量，是期望值，是數據點的總數。通過訓練學習尋求一模式使得樣本集不但滿足，而且對于樣本以外的通過能找出對應的。估計函數為式中：是從輸入空間到高維特征空間的非線性映射，為偏置量。根據結構風險最小化原理函數估計問題就是尋找使下面風險函數最小：

=

式中：反映了回歸函數的泛化能力，是正則化部分；為懲罰因子；是經驗風險（即樣本損失函數的累積）。

常用的樣本損失函數有二次函數、Huber函數、Laplace函數和不敏感函數等，由于不敏感函數能夠忽略范圍內的回歸誤差所以樣本損失常由不敏感函數來度量引進不靈敏損失函數，可得到回歸支持向量機模型：

常用的核函數是徑向基函

式中為核參數。

3.影響期貨合約價格因素的分析

在考慮對支持向量機模型進行訓練之前，首先要考慮輸入因素和輸出因素的選取。對于影響股指期貨合約價格的變動，從宏觀經濟條件方面考慮，主要受以下幾個因素的影響：宏觀經濟運行狀況、宏觀經濟政策變化、與標的指數成份股相關的各種信息、國際金融市場走勢、股指期貨合約到期日、投資者心理的變化等。如果從數據指標方面來看，主要是滬深300股指期貨合約的每日基本數據信息，包括：（1）最高價數據；（2）最低價數據；（3）開盤價數據；（4）收盤價數據；（5）總持倉量數據；（6）期貨合約成交金額總量；（7）平均價格。本文希望得到的是用訓練模型預測期貨合約第二天的收盤價。在支持向量機訓練學習中，如果訓練樣本容量過小，將不利于預測精度的控制，就很有可能造成泛化性較差的狀況出現。因而本文采用模擬仿真交易歷史數據中一年的滬深3OO股指期貨第一季月IFSC3合約相關數據，數據區間為2008年12月11日至2009年12月18日，共238個交易數據。

4.數據的預處理與誤差分析

由于獲取的樣本數據的單位不同，如成交金額的單位是萬元，開盤價的單位是點，持倉總數的單位是手，這三者的數據屬性都是不同的，為了將從滬深3OO指數期貨市場獲得的數據轉化為讓模型接受的輸入形式，本文對選取的數據進行預處理，采用對同類別組的數據歸一化的方法，其過程是用同組類別的每一個值分別減去該組中的最小值，再除以該組最大值與最小值之差，使之歸一化。例如設同組數據為。

則歸一化函數為：

其中：

5.結論分析

通過不斷訓練，最后我們得到了高精度的支持向量機模型。最后我們對以上思路進行Matlab編程，利用Matlab7.0軟件對樣本數據進行實證研究。將訓練樣本數據的6個變量輸入到我們訓練好的模型中，會得到一個預測值，將第二天的期貨收盤價格預測值對比真實的第二天的期貨結算價格，可以觀察其問的誤差大小。其結果如圖3所示。

通過訓練得到支持向量機的預測模型，對通過2009年11月19日的開盤價，最高價，最低價，平均價，成交量，持倉量，收盤價對11月20日的收盤價進行預測，通過分析得到3969.6，而真實值為3999，相對誤差僅僅為0.74%。

參考文獻

[1]胡瑩.基于支持向量機的證券投資風險管理研究[D].西安電子科技大學,2010,1.

神經網絡的正則化方法范文第4篇

過去10年，人們對機器學習的興趣激增。幾乎每天，你都可以在各種各樣的計算機科學課程、行業會議、華爾街日報等等看到有關機器學習的討論。在所有關于機器學習的討論中，許多人把機器學習能做的事情和他們希望機器學習做的事情混為一談。從根本上講，機器學習是使用算法從原始數據中提取信息，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數據。

神經網絡是機器學習的一種模型，它們至少有50年歷史了。神經網絡的基本單元是節點(node)，基本上是受哺乳動物大腦中的生物神經元啟發。神經元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發展的方式是為“訓練”。

在20世紀80年代中期和90年代初期，許多重要的架構進步都是在神經網絡進行的。然而，為了得到好的結果需要大量時間和數據，這阻礙了神經網絡的采用，因而人們的興趣也減少了。在21世紀初，計算能力呈指數級增長，計算技術出現了“寒武紀大爆發”。在這個10年的爆炸式的計算增長中，深度學習成為這個領域的重要的競爭者，贏得了許多重要的機器學習競賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機器學習，就不得不提深度學習。

作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學習的動機，以及從TensorFlow的復雜和/或大規模的數據集中學習的智能系統的設計。在課程項目中，我使用并開發了用于圖像識別的卷積神經網絡，用于自然語言處理的嵌入式神經網絡，以及使用循環神經網絡/長短期記憶的字符級文本生成。

本文中，作者總結了10個強大的深度學習方法，這是AI工程師可以應用于他們的機器學習問題的。首先，下面這張圖直觀地說明了人工智能、機器學習和深度學習三者之間的關系。

人工智能的領域很廣泛，深度學習是機器學習領域的一個子集，機器學習又是人工智能的一個子領域。將深度學習網絡與“經典的”前饋式多層網絡區分開來的因素如下:

比以前的網絡有更多的神經元更復雜的連接層的方法用于訓練網絡的計算機能力的“寒武紀大爆炸”自動特征提取

這里說的“更多的神經元”時，是指神經元的數量在逐年增加，以表達更復雜的模型。層(layers)也從多層網絡中的每一層都完全連接，到在卷積神經網絡中層之間連接局部的神經元，再到在循環神經網絡中與同一神經元的循環連接(recurrent connections)。

深度學習可以被定義為具有大量參數和層的神經網絡，包括以下四種基本網絡結構：

無監督預訓練網絡卷積神經網絡循環神經網絡遞歸神經網絡

在本文中，主要介紹后三種架構。基本上，卷積神經網絡(CNN)是一個標準的神經網絡，通過共享的權重在空間中擴展。CNN設計用于通過內部的卷積來識別圖像，它可以看到圖像中待識別的物體的邊緣。循環神經網絡(RNN)被設計用于識別序列，例如語音信號或文本。它的內部有循環，這意味著網絡上有短的記憶。遞歸神經網絡更像是一個層級網絡，在這個網絡中，輸入必須以一種樹的方式進行分層處理。下面的10種方法可以應用于所有這些架構。

1.反向傳播

反向傳播(Back-prop)是一種計算函數偏導數(或梯度)的方法，具有函數構成的形式(就像神經網絡中)。當使用基于梯度的方法(梯度下降只是方法之一)解決優化問題時，你需要在每次迭代中計算函數梯度。

對于神經網絡，目標函數具有組合的形式。如何計算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經知道函數的形式，只需要用鏈式法則(基本微積分)來計算導數。(ii)利用有限差分進行近似微分。這種方法在計算上很昂貴，因為函數值的數量是O(N)，N指代參數的數量。不過，有限差分通常用于在調試時驗證back-prop實現。

2.隨機梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標正是河流努力達到的目標——即，到達最底端(山腳)。

現在，如果山的地形是這樣的，在到達最終目的地之前，河流不會完全停下來(這是山腳的最低點，那么這就是我們想要的理想情況。)在機器學習中，相當從初始點(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因為地形的性質迫使河流的路徑出現幾個坑，這可能迫使河流陷入困境。在機器學習術語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個問題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(用ML的術語來說是函數的性質)。但是，當你有一種特殊的地形時(形狀像一個碗，用ML的術語來說，叫做凸函數)，算法總是保證能找到最優解。凸函數對ML的優化來說總是好事，取決于函數的初始值，你可能會以不同的路徑結束。同樣地，取決于河流的速度(即，梯度下降算法的學習速率或步長)，你可能以不同的方式到達最終目的地。這兩個標準都會影響到你是否陷入坑里(局部極小值)。

3.學習率衰減

根據隨機梯度下降的優化過程調整學習率(learning rate)可以提高性能并減少訓練時間。有時這被稱為學習率退火(learning rate annealing)或自適應學習率(adaptive learning rates)。訓練過程中最簡單，也是最常用的學習率適應是隨著時間的推移而降低學習度。在訓練過程開始時使用較大學習率具有進行大的改變的好處，然后降低學習率，使得后續對權重的訓練更新更小。這具有早期快速學習好權重，后面進行微調的效果。

兩種常用且易于使用的學習率衰減方法如下：

逐步降低學習率。在特定的時間點較大地降低學習率。

4?. Dropout

具有大量參數的深度神經網絡是非常強大的機器學習系統。然而，過擬合在這樣的網絡中是一個嚴重的問題。大型網絡的使用也很緩慢，這使得在測試時將許多不同的大型神經網絡的預測結合起來變得困難。Dropout是解決這個問題的一種方法。

Dropout的關鍵想法是在訓練過程中隨機地從神經網絡中把一些units(以及它們的連接)從神經網絡中刪除。這樣可以防止單元過度適應。在訓練過程中，從一個指數級的不同的“稀疏”網絡中刪除一些樣本。在測試時，通過簡單地使用一個具有較小權重的單一網絡，可以很容易地估計所有這些“變瘦”了的網絡的平均預測效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進。研究表明，在視覺、語音識別、文檔分類和計算生物學等監督學習任務中，神經網絡的表現有所提高，在許多基準數據集上獲得了state-of-the-art的結果。

5. Max Pooling

最大池化(Max pooling)是一個基于樣本的離散化過程。目標是對輸入表示(圖像，隱藏層輸出矩陣等)進行下采樣，降低其維度，并允許對包含在分區域中的特征進行假設。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時，它通過減少學習的參數數量，并為內部表示提供基本的平移不變性(translation invariance)，從而減少計算成本。最大池化是通過將一個最大過濾器應用于通常不重疊的初始表示的子區域來完成的。

6.批量歸一化

當然，包括深度網絡在內的神經網絡需要仔細調整權重初始化和學習參數。而批量標準化有助于實現這一點。

權重問題：無論權重的初始化如何，是隨機的也好是經驗性的選擇也罷，都距離學習到的權重很遙遠。考慮一個小批量(mini batch)，在最初時，在所需的特征激活方面將會有許多異常值。

深度神經網絡本身是有缺陷的，初始層中一個微小的擾動，就會導致后面層巨大的變化。在反向傳播過程中，這些現象會導致對梯度的分散，這意味著在學習權重以產生所需輸出之前，梯度必須補償異常值，而這將導致需要額外的時間才能收斂。

批量歸一化將梯度從分散規范化到正常值，并在小批量范圍內向共同目標(通過歸一化)流動。

學習率問題：一般來說，學習率保持較低，只有一小部分的梯度校正權重，原因是異常激活的梯度不應影響學習的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學習率來加速學習過程。

7.長短時記憶

LSTM網絡在以下三個方面與RNN的神經元不同：

能夠決定何時讓輸入進入神經元；能夠決定何時記住上一個時間步中計算的內容；能夠決定何時讓輸出傳遞到下一個時間步長。

LSTM的優點在于它根據當前的輸入本身來決定所有這些。所以，你看下面的圖表：

當前時間標記處的輸入信號x(t)決定所有上述3點。輸入門從點1接收決策，遺忘門從點2接收決策，輸出門在點3接收決策，單獨的輸入能夠完成所有這三個決定。這受到我們的大腦如何工作的啟發，并且可以基于輸入來處理突然的上下文/場景切換。

8. Skip-gram

詞嵌入模型的目標是為每個詞匯項學習一個高維密集表示，其中嵌入向量之間的相似性顯示了相應詞之間的語義或句法相似性。Skip-gram是學習單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個詞匯項(vocabulary term)共享的上下文相似，那么這兩個詞匯項就相似。

換句話說，假設你有一個句子，比如“貓是哺乳動物”。如果你用“狗”去替換“貓”，這個句子仍然是一個有意義的句子。因此在這個例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動物”)。

基于上述假設，你可以考慮一個上下文窗口(context window，一個包含k個連續項的窗口)，然后你跳過其中一個單詞，試著去學習一個能夠得到除跳過項外所有項的神經網絡，并預測跳過的項是什么。如果兩個詞在一個大語料庫中反復共享相似的語境，則這些詞的嵌入向量將具有相近的向量。

9.連續詞袋(Continuous Bag Of Words)

在自然語言處理問題中，我們希望學習將文檔中的每個單詞表示為一個數字向量，使得出現在相似的上下文中的單詞具有彼此接近的向量。在連續的單詞模型中，我們的目標是能夠使用圍繞特定單詞的上下文并預測特定單詞。

我們通過在一個龐大的語料庫中抽取大量的句子來做到這一點，每當我們看到一個單詞時，我們就會提取它周圍的單詞。然后，我們將上下文單詞輸入到一個神經網絡，并預測位于這個上下文中心的單詞。

當我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個神經網絡數據集的實例。訓練神經網絡，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當我們對大量的句子進行訓練時也能發現，類似語境中的單詞得到的是相似的向量。

10.遷移學習

神經網絡的正則化方法范文第5篇

關鍵詞:最小二乘支持向量機;模糊核聚類;集成學習;短期負荷預測

中圖分類號: TP273

文獻標志碼:A

Support vector machine ensemble model based on KFCM and its application

ZHANG Na1,2,ZHANG Yongping1

1.College of Computer,China University of Mining and Technology,Xuzhou Jiangsu 221116,China;

2.College of Computer,Suqian Higher Normal School,Suqian Jiangsu 223800,China

)

Abstract: To further enhance the regression prediction accuracy of support vector machine, a Least Squares Support Vector Machine (LSSVM) ensemble model based on Kernel Fuzzy CMeans clustering (KFCM) was proposed. The KFCM algorithm was used to classify LSSVMs trained independently by its output on validate samples, the generalization errors of LSSVMs in each category to the validate set were calculated of the LSSVM whose error was minimum would be selected as the representative of its category, and then the final prediction was obtained by simple average of the predictions of the component LSSVM. The experiments in shortterm load forecasting show the proposed approach has higher accuracy.

Key words: Least Squares Support Vector Machine (LSSVM);Kernel Fuzzy CMeans clustering (KFCM);ensemble learning;shortterm load forecasting

0 引言

支持向量機( Support Vector Machine, SVM) [1]以統計學習理論為基礎, 采用結構風險最小化準則和VC維理論, 根據有限數據信息在模型的復雜度和學習能力之間尋找最佳折中, 從而獲得最好的推廣能力, 能夠較好地解決小樣本、非線性、高維數和局部極小點等問題。最小二乘支持向量機[2] (Least Squares Support Vector Machine, LSSVM)對傳統支持向量機進行改進,提高了求解問題的速度和收斂精度。但在實際應用中,最小二乘支持向量機的訓練和泛化性能受到正則化參數Е錨Ш禿絲磯泉Е要取值的影響。集成學習可以通過簡單地訓練多個學習機(如神經網絡、支持向量機等)并將其結果進行結合,從而有效地提高學習系統的泛化能力[3]。現有理論研究表明[4-5],對集成的個體進行必要的選擇能夠有效地降低神經網絡集成的泛化誤差。為了更好地解決SVM的模型選擇問題,本文提出了一種模糊核聚類最小二乘支持向量機集成模型,并將其應用于短期電力負荷預測中。實驗結果表明,該方法可以有效地提高短期電力負荷預測的精確度,具有更好的泛化性能。

1 最小二乘支持向量機的原理

LSSVM[2,6]是對SVM的一種改進,它將傳統SVM中的不等式約束改為等式約束,且將誤差平方和損失函數作為訓練集的經驗損失,這樣就把解二次規劃問題轉化為求解線性方程組問題,從而提高了求解問題的速度和收斂精度。

設給定訓練樣本集{xk,yk}(k=1,…,N),xkRn,ykR,利用非線性映射φ(•)將輸入空間映射為高維特征空間,再進行最優線性回歸,對未知函數進行回歸估計可表達為:

y(x)=wTφ(x)+b (1)

式中權向量wRn,偏置量bR。這樣構造的函數y(x)可使得對于樣本集之外的輸入x,也能精確地估計出相應的輸出y。LSSVM定義優化問題為:

И┆minw,b,e J(w,e)=wTw/2+γ∑Nk=1e2k/2; γ>0 (2)

s.t.yk=wTφ(xk)+b+ek,k=1,2,…,Nお

式中:в嘔目標函數J的第1、2項分別控制模型的復雜度和誤差的范圍;γ為正則化參數(處罰因子);ek為不敏感損失函數的松弛因子。

引入Lagrange函數L求解式(2)的優化問題,即:オ

L(w,b,e,a)=J(w,e)-∑Nk=1ak[wTφ(xk)+b+ek-yk] (3)

式中ak為Lagrange乘子。根據KKT最優條件,可得到此優化問題的解析解為:

ba=01Tお1TΩ+γ-1I-10y (4)

其中,y=[y1, y2,…, yN]T;1=[1,…,1]┆T;a=[a1, a2,…, aN]T;I為N×N的單位矩陣;Ω為方陣,其第k列l行的元素為Ωkl =φ(xk)Tφ(xl) = K(xk, xl),K(•,•)為核函數,它為滿足Mercer條件的任意對稱函數。這樣,不需要知道非線性變換的具體形式,就可用核函數來實現算法的線性化。本文采用高斯徑向基函數(Radical Basis Function,RBF)為核函數,其表達式為:

K(xk,xl)=exp(-|xk-xl|2/(2σ2)) (5)

式中Е要為核寬度,反映了邊界封閉包含的半徑。

式(4)的線性系統可用最小二乘算法求解出b和a,再由式(3)進一步求出w,Т傭得到訓練數據集的非線性逼近為:

y(x)=∑Nk=1akK(x,xk)+b (6)

從式(6)可知,SVM回歸可用3層的網絡結構來表示,其中輸入層、б層和輸出層的節點數分別為n、N和1,而輸入層與隱層之間、隱層與輸出層之間的連接權值分別為1和ak。

在實際應用中,最小二乘支持向量機的訓練和泛化性能受到正則化參數Е錨Ш禿絲磯泉Е要取值的影響,迫切需要一種切實可行的方法來進一步提高LSSVM預測的精確度和穩定性。

┑1期 拍鵲:模糊核聚類支持向量機集成模型及應用

┆撲慊應用 ┑30卷

2 基于KFCM的LSSVM集成

2.1 模糊核聚類算法(KFCM)

KFCM算法的基本思想是利用非線性映射Е(*)把輸入模式向量空間變換到一個高維特征空間,然后在該特征空間采用模糊c均值算法,Ф員浠緩蟮奶卣饗蛄喀(xi)進行模糊聚類分析[7-8]。它能夠突出不同類別樣本特征的差異,使得原來線性不可分的樣本點在核空間中變得線性可分,從而實現更為準確的聚類。オ

假設輸入空間的樣本X={x1, x2,…, xn},X Rp,通過一個非線性映射Е:χFЫ輸入空間Е直浠恢糧呶特征空間F,c為預定的類別數目,vi (i=1,2,…,c)為第i個聚類的中心,uik(i=1,2,…,c; k=1,2,…,n)是第k個樣本對第i類的隸屬度函數,且0≤uik≤1Ъ藹0

Jm(U,v)=∑ci=1∑nk=1umikΦ(xk)-Φ(vi)2 (7)

式中,U={uik},v={v1, v2,…, vc},m>1為加權指數,其約束為:オ

Аci=1uik=1; k=1,2,…,n (8)

Фㄒ搴撕數K(x, y),滿足K(x, y)=Φ(x)TΦ(y),KFCM聚類的準則是求目標函數的極小值。根據Lagrange乘子尋優法,式(7)所示目標函數的最小值可由式(9)、(10)求得:

uik=(1/(K(xk,xk)+K(vi,vi)-2K(xk,vi)))1m-1∑cj=1(1/(K(xk,xk)+K(vj,vj)-2K(xk,vj)))1m-1 (9)

vi=∑nk=1umikK(xk,vi)xk∑nk=1umikK(xk,vi)(10)

綜上所述,KFCM算法的步驟如下:

步驟1 設定聚類數目c和參數m;

步驟2 С跏薊各個聚類中心vi;

步驟3 重復下面的運算,直到各個樣本的隸屬度值穩定:1)用當前的聚類中心根據式(9)更新隸屬度;2)用當前的聚類中心和隸屬度根據式(10)更新各個聚類中心。本文中選擇高斯徑向基核函數。

2.2 LSSVM模糊核聚類集成

選擇性集成的方法能夠取得比用全部個體集成更好的泛化性能[4],本文采用模糊核聚類集成[9]的方法來解決集成中個體LSSVM的選取問題。

首先用KFCM算法對相互獨立訓練出的mЦLSSVM個體進行分類,然后計算所有類別中每個個體LSSVM在獨立驗證集上的泛化誤差,最后分別選取每個類別中平均泛化誤差最小的LSSVM個體作為這一類的代表進行簡均法集成。具體實現步驟如下:

步驟1 Ыm個LSSVM個體對每個獨立驗證樣本的輸出按照相同的順序以列向量的形式存放到輸出矩陣O中;

步驟2 а窬劾嗍目c并設定加權指數m,ФLSSVM的輸出矩陣O進行模糊核聚類分析并可以得到隸屬度矩陣U;オ

步驟3 Ц據隸屬度矩陣U,Э傻妹扛LSSVM對所有c個類別的隸屬度的最大值,然后將相應的LSSVM歸入具有隸屬度最大值的類別;

步驟4 計算每一類中的所有LSSVM個體在驗證集上的平均泛化誤差,將每一類中平均泛化誤差最小的LSSVM個體選擇出來;

步驟5 給定閾值Е,г諉扛隼啾鷸械淖羆迅鎏LSSVM中選擇平均泛化誤差小于Е霜У母鎏騫鉤勺鈧盞募成個體;

步驟6 將最終選擇出的個體LSSVM對測試樣本的輸出經簡均法得到集成的最終輸出。

該方法既能夠保證最終集成中的個體LSSVM具有較高的精確度,而且也同時保證了個體之間具有較大的差異度,相關的理論研究表明[4, 9],這種集成方法可以進一步地提高集成學習的泛化能力。

3 短期負荷預測實例分析

短期負荷預測對制定發電調度計劃、確定燃料供應計劃及合理安排機組檢修計劃等均有重要指導作用,其預測的精確性極大地影響著供電部門的經濟效益。本文采用我國南方某電網2006年7月5日到8月10日的整點有功負荷值,在負荷預測日的前一天中,每隔2小時對電力負荷進行一次測量,這樣一來,一天共測得12組負荷數據。由于負荷值曲線相鄰的點之間不會發生突變,因此后一時刻的值必然和前一時刻的值有關,除非出現重大事故等特殊情況。所以這里將前一天的實時負荷數據作為LSSVM的樣本數據。此外,由于電力負荷還與環境因素有關,因此,還需要通過天氣預報等手段獲得預測日的最高氣溫、最低氣溫和天氣特征值,其中0表示晴天,0.5表示陰天和1表示雨天。這里將電力負荷預測日當天的氣象特征數據也作為LSSVM的輸入變量。因此,輸入變量就是一個15維的向量。目標向量就是預測日當天的12個負荷值,這樣輸出變量就是一個12維的向量。獲得輸入和輸出變量后,要對其進行歸一化處理,將數據處理為區間為[0, 1]的數據,歸一化方法有很多種形式,本文采取如下方法:

=x-x┆minx┆max-x┆min(11)

LSSVM中的正則化參數Е錨Х直鶉100、300、500、700和900,而核寬度Е要Х直鶉0.25、0.5、0.75和1,這樣組合起來就有20個參數不同的LSSVM進行學習。然后用7月5日到8月3日共30天的負荷及天氣數據對這20個LSSVM進行訓練;再用訓練好的LSSVM對8月4日到8月9日這6天的負荷數據進行驗證,并根據輸出的預測結果對LSSVM進行聚類分析,在KFCM算法中,Ь劾嗍目c取5,參數m取為2,算法停止的條件為相鄰迭代步數間的隸屬度值的差的絕對值小于0.001,初始聚類中心取為0到1間的隨機數,其中核函數選用高斯核函數,并取Е要=32;最后,將最佳的5個LSSVM對8月10日的預測輸出經簡均法得到集成的最終輸出。運行結果如圖1所示。可以看出,本文方法取得了很好的預測效果,最終的預測均方誤差為7.651B7e-004,而KFCM算法中所選擇的5個最佳LSSVM的預測均方誤差分別為7.690B6e-004、7.717B3e-004、7.689B5e-004、7.705B1e-004和7.662B2e-004。圖2所示為預測誤差曲線。

圖片

圖1 實際負荷和LSSVM集成預測負荷

圖片

圖2 LSSVM集成預測誤差曲線

將LSSVM的參數采用隨機選取的方法,即正則化參數Е錨У娜≈搗段為[0, 1B000],核寬度Е要У娜≈搗段為[0, 1],在上述范圍內隨機選取20個LSSVM進行訓練,仍然采用本文方法進行預測,多組實驗結果表明,其最終的預測均方誤差也不超過7.85e-004。表1所示為幾種方法進行比較的結果。

表格(有表名)

表1 三種方法平均預測誤差的比較