前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇數學建模窮舉法范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
關鍵字:漢字手寫識別;英文手寫識別;聯機識別;連筆識別;手寫識別
中圖分類號:TP391 文獻標識碼:A DOI:10.3969/j.issn.1003-6970.2013.08.005
本文著錄格式:[1]黃弋石,梁艷.手寫識別建模數學方法研究[J].軟件,2013,34(8):13-15
0 引言
我們成功的解決了漢字與英文手寫識別的建模。[1-7]本文,將最有特色得到數學算法加以公布。在國內一定是首創,在國內外還沒有查到類似報道。
識別算法,在常見的網格背景中運算。點陣大小為WIDTH×HEIGTH = 80×80。因為網格的精度很低,手寫筆的觸點精度與之對應,因此,不存在筆畫細化的難題。所以我們不使用高分辨率的圖形處理慣例,而只用低分辨率對應的數學算法。
網格背景使得漢字可以依照二值數字點陣來描述,其中,“1”表示筆畫,“0”表示空白背景。這個方法極其巧妙,甚至不需要高深的數學才能與復雜的數學公式,就可以輕松的解決手寫筆算法問題。從工作量上計算,也是極其少量的。
1 中英文字的基本定義
這里從我們對中英文手寫識別研究中挑出,一組有代表性的基本定義,[1][2]來演示本文算法。我們的算法,只要能區分這一組定義,就可以理解,它也能適用于其它文字中的類似的基本定義??梢酝评淼玫?,它是有效的適合任何手寫識別的基本算法,比如藏文等中國少數民族文字。
(1) 豎、橫與斜。手寫的豎與橫,都有一定的搖擺幅度。斜介于豎橫之間。
(2) 角與圓角。接近與V與U,在手寫特征下的區別是有拐點與無拐點。
(3) 圈與近圈。也就是,封閉的圓與接近封閉的圓。這個定義在楷書中用不上,只適用行書、草書以及下文所提的連筆識別。
(4) 短劃與點。與豎與橫的區別是方向性不強,在方格中,通過邊比特征可以區分。
(5) 交叉與連續。交叉,是指基本定義的筆畫相交叉,分T型交叉,和X型交叉,也可簡化為一種交叉。連續,是指,基本定義的筆畫從起點到終點(或筆畫的兩端)是連續的且無分叉,可平滑,也可轉折。
(6) 相對位置與方向?;径x的字元之間的關系,有上、下、左、右、上左、上右、下左、下右。比如一個斜線可以分為,左斜、右斜、下斜、上斜、(左上斜、左下斜、右上斜、右下斜)。
2 算法的定義
使用窮舉法,在九方格中列出一個點與周圍點的二十七種拓撲邏輯關系,算法見圖1到圖7。然后使用這二十七種拓撲關系,去描述并識別上面的那組基本定義,就可以輕松識別手寫漢字。
3 算法應用例舉
我們從研究挑出楷書系列拆解分類,字就是由該組單位構成。如圖8。[1][2]這樣,可以來對算法做一演示。我們成功的用本文算法區分筆畫。顯然,用來區分筆畫時使用的數學方法非常簡單,沒有任何復雜的公式。
4 算法的廣泛使用性
我們,通過研究,歸納得到32到87個特異結構,來描述行書。這些特異結構都互為獨立。[1][2]這里列出其中的部分筆畫,見圖9。我們利用本文算法,同樣能夠解決問題。草書的定義與分類類似于英文在線連筆識別的方法,也可以順利解決。
5 結論
我們成功的解決了中英手寫識別,可以預見,這一套理論可以輕易的移植到別的任何一個文字。本法繞開了傳統數學中的線條的常規概念。使用最簡單的拓撲幾何學方法,系統化的建模應用,解決了復雜的二維計算機圖形學的難題。這套建模方法的意義,是,對所有種類的手寫文字可以機動靈活的移植,將復雜的手寫識別,簡化到使用最簡單的數學語言描述。希望廣大同仁,廣泛應用于各種民族的手寫文字識別之中。
參考文獻
[1] 黃弋石,梁艷.英文手寫聯機識別的基礎模型[J]. 軟件,2012,33(7):141-145.
[2] 黃弋石,梁艷,陸崢嶸.漢字聯機手寫建模方法[J]. 軟件,2013,34(5):67-70.
[3] 梁艷, 黃弋石. 英文連筆手寫圖形輸入方法研究[J]. 科學研究月刊,2005,1(5):18,26.
[4] 黃弋石, 梁艷. 手寫文字識別的體分類模糊數學模型[OL]. 中國科技論文在線(http://), 2005年6月.
[5] Huang Yishi, Liang Yan. A Modeling Project of Chinese's Handwriting Character Online Recognition [OL]. 中國科技論文在線(http://), 2013年7月.
關鍵詞:運籌學;應急物流;選址―定位
中圖分類號:F250 文獻標識碼:A
Abstract: Because the efficient of emergency logistics can reduce the harms caused by emergency, it has caused wide public concerns among theorists. This paper provides an overview of Chinese emergency logistics study from many aspects: basic theory, the construction of system and the related models on the base reviewing the liberations in recent years, also it indicated that the modeling sense in operation research plays a decisive role in the research of emergency logistics.
Key words: operation research; emergency logistics; location-routing
近年來,我國各地突發事件頻發,其中自然災害的發生的占比非常高,如2010年8月甘肅舟曲發生特大山洪泥石流、2014年7月云南發生洪澇泥石流災害、2013年3月墨竹工卡縣發生山體滑坡災害、2013年7月甘肅岷縣漳縣發生6.6級地震災害、2014年新疆于田發生7.3級地震災害、2015年9月江西福建等地發生洪澇風雹災害、2015年8月陜西山陽發生滑坡災害等。這些自然災害的發生嚴重威脅人類的生命和財產安全,以及社會的經濟發展甚至會影響和諧社會的構建,在突發事件發生后,如何盡快地將賑災物資送至災區以減少災害損失是應急物流問題研究的主要內容,即應急物流LRP問題的研究。應急救援部門必須以最小的成本、最快的時間、合理地選擇物資存儲點將存儲物資科學地安排車輛對受災點進行物資的配送服務以減少傷亡,提高受災地區民眾的抗災信心。
當前國內外學者對一般LRP問題的研究比較具體深入,比如Min等[1](1998)、Nagy等[2](2007)、陳久梅等[3](2014)都做過一般LRP問題的優化研究,當前應急物流的優化問題已經引起了眾多學者的關注,但是對于應急物流的LRP研究(定位―路徑)還相對較少?,F有文獻主要有兩種研究范式:一種是單獨研究其中一個問題,即單獨研究應急物流中心選址問題或單獨研究應急資源調度問題;另外一種是將這兩個問題集成起來進行研究。然而應急物流中物流中心點的選擇和運輸路徑安排是直接影響應急物流系統效率的兩個關鍵問題,兩者之間相互依賴和影響,有必要結合應急物流的突發性、不確定性、緊急性等特點,從整體系統優化的角度,將這兩方面結合起來進行研究,故近年來,大部分對于應急物流問題的研究均是對選址―配送這兩個問題集成起來進行研究。根據現有的研究,應急物流LRP問題基本可以按照信息是否確定分為以下兩類:確定信息下的應急救援問題研究和不確定信息下的應急救援問題研究。
1 確定信息下的應急物流LRP研究
確定性的應急物流LRP問題,通常考慮的問題中信息基本都是確定的,即不存在任何風險因素,并且受災點的需求是確定的。針對確定性的應急物流LRP問題的研究,張玲[4](2008)考慮到由于災區范圍比較廣泛進而災區存在不同的級別,針對該實際情況,通過對災區進行分組,并運用場景分析的發放,考慮其資源的布局和選址問題,引入多類0-1變量來表述該優化問題,構建了基于多級別的資源布局多目標規劃模型。黃向榮等[5](2009)在考慮食品物流的相關特點和突發事件的突發性、緊急性以及弱經濟性等特性的基礎上,構建了食品的應急物資分發中心選址決策的評價體系,并且結合蟻群算法(ACA)和徑向基神經網絡(RBFNN)構建了應急物流物資分發點選址決策模型。曾敏剛等[6](2009)針對應急服務應急物資分發點定位以及物資配送路徑這兩個子問題,引入多個0-1決策變量去表述該優化問題,建立了以最小化總成本為目標的選址―定位模型。葛春景等[7](2011)研究了應急設施選址中的多重覆蓋問題,并以在滿足需求點的多次覆蓋需求和多需求點同時需求的條件下覆蓋的人口期望最大為目標,建立了確定性的應急物流優化模型,通過改進的遺傳算法對該模型進行求解。鄭斌、馬祖軍等[8](2013)針對兩級應急物流系統中的中轉站選址和上下級進行聯運調度的集成優化問題,建立雙層規劃模型,并根據該模型的特點設計了一種混合遺傳算法。
通過以上文獻梳理可知,在運用運籌學建立應急物流LRP模型過程中,通常引入0-1決策變量去解決應急物資分發點選址問題和車輛物資配送問題,引入三類決策變量,第一類0-1決策變量是表示應急物資分發點是否開設,通常1表示該應急物資分發點開設,0則表示不開設,當該決策變量為1時,才分配運輸車輛從該應急物資分發點出發進行物資配送服務,并且從同一個應急點出發車輛的物資運輸量需小于應急點的物資存儲量;第二類0-1決策變量是用來表示某運輸車輛服務哪個受災點的問題,1表示運輸車輛服務該受災點,0則表示運輸車輛不服務該受災點;第三類決策變量則表示某運輸車輛是否從該應急物資分發點出發,1表示這運輸車輛從該應急物資分發點出發,0則表示這個運輸車輛不從該應急物資分發點出發。這三類0-1變量的引入合理地表述了應急物流系統的優化問題,目標函數通常為應急物流系統總成本最小以及運輸車輛到達所有受災點的總時間最小,建立的模型均為0-1線性規劃模型。運籌學中0-1規劃主要用于求解互斥的計劃問題、約束條件互斥問題、固定費用問題和分派問題等方面,而應急物流的優化問題從運籌學的角度就是一種分派問題,因此運籌學能夠在應急物流優化問題中大放光彩。目前,0-1應急物流規劃問題通常有三種解法,即窮舉法、變換法和隱枚舉法。解0-1型整數規劃最容易想到的方法,和一般整數線性規劃的情形一樣,就是窮舉法,即檢查變量取值為0或1的每一種決策組合,比較目標函數值的大小,從而選出目標值最小的那一組決策組合就是應急物流優化問題的最優解。然而由于應急物流優化問題中涉及的變量較多,所有決策組合就非常多,可能解集將成指數劇增加,此時用這種方法效率就比較低下,因此通常運用隱枚舉法進行求解,“隱”的含義是指在檢驗可能解的可行性和非劣性過程中,根據目標函數的特性增加一個以前一非劣解目標值的附加約束的過濾條件,以此達到減少問題求解過程的運算次數的目的。方法的核心思想均為檢查變量取值為0或1的策略組合,通過目標函數值比較從而得出最優解。
2 不確定信息下的應急物流LRP研究
針對不確定性的應急物流LRP研究,通??紤]的問題中信息基本都是不確定的,并且在救災期間存在一定的風險,比如應急設施點失靈風險、路徑中斷風險、路徑復雜度等,同時往往受災點的需求是不確定的。
何珊珊等[9](2013)針對在突發事件發生的緊急救援期,受災點的需求很難確定,基于此建立了受災點配送總時間最短和系統總成本最小的選址―路徑問題的數學模型,并通過算例驗證了多目標魯棒優化模型能夠體現受災點對各類物資需求不確定條件下選址―配送方案的最優性與魯棒性的均衡。孫華麗等[10](2013)針對需求隨機變化的應急物流定位―路徑問題,將救援過程劃分為兩個階段,將受災點的物資需求表示為一個區間數,以物資送達時間最短和系統總成本最小為目標,構建了多物資、多運輸車輛、多目標的定位―路徑模型。張玲等[11](2014)也將救災過程分為了兩個階段,考慮到突發災害初期災情相關參數概率分布信息很難精確獲得,建立了基于情景的最小最大后悔值準則的魯棒優化模型,求解模型時,利用有限情景集表示第二階段的不確定數據,并將模型化為與其等價的混合整數模型,利用情景松弛的迭代算法進行求解。商麗媛等[12](2013)考慮不同情景下應急物流需求的不確定性,將不確定需求用區間灰數表示,構建了多情景下不確定需求的應急物流配送中心選址模型,并設計了免疫量子粒子群算法進行求解。針對由于自然災害帶來的路網風險的應急物流LRP問題,閻俊愛、郭藝源[13](2016)考慮到路網情況實時變化的復雜性下,構建了應急物流LRP動態模型,以車輛配送時間最小為目標,并通過設計的遺傳算法實現了基于動態路網實時調整的問題求解。陳鋼鐵、黎青松等[14](2016)考慮到路網存在災后受損的風險,故引入多種運輸方式,基于此構建了震后多式聯運的應急物資配送路徑優化模型,并設計了啟發式算法對該應急物流模型進行了求解。
以上不確定信息下的應急物流LRP優化問題研究中,均運用了運籌學不確定規劃的思想建立了應急物流LRP模型,在應急物資分發點選址問題以及路徑配送與否方面,同樣引入三類0-1決策變量來表示應急物資分發點建立與否,車輛是否從某個應急物資分發點出發以及車輛是否服務某個受災點。除此以外,引入兩類整數決策變量,一類為運輸車輛配送至某個受災點的物資量,一類為某個受災點的物資未滿足量,在約束中,這兩個量的和大于該受災點的物資需求量,同時針對未滿足量盡量最小化的目標,將在目標函數中賦予未滿足量一個很大的懲罰數。在模型求解中,運用了隨機規劃的思想去處理一些風險因素,在處理受災點物資需求的不確定方面,則運用三角模糊數的理論或魯棒優化的思想去處理不確定性,在模型求解過程中,最終均通過一定的方法把不確定模型轉化為確定的混合整數模型去進行求解。
運籌學的核心思想即為從現實生活場合抽出本質的要素來構造數學模型,探索求解的結構,從可行方案中尋求系統的最優解作為決策者最好的選擇。通過以上文獻的梳理,可以看出運籌學在應急物流系統定位―路徑優化問題中已經成為核心工具之一,而應急物流系統定位―路徑優化問題作為當前的熱點問題之一,它的研究仍然處于初步階段,許多領域還缺乏系統性和深入性的研究,需要進一步加強研究。
參考文獻:
[1] Min H, Jayaraman V, Srivastava R. Combined location-routing problems: a synthesis and future research directions[J]. European Journal of Operational Research, 1998,
108(1):1-15.
[2] Nagy G, Salhi S. Location-routing: issues, models and methods[J]. European Journal of Operational Research, 2007,177(2):649-672.
[3] 陳久梅,邱晗光. 兩級定位―路徑問題模型及變鄰域粒子群算法[J]. 運籌與管理,2014(6):38-44.
[4] 張玲,黃鈞,朱建明. 應對大規模突發事件的資源布局模型與算法[J]. 系統工程,2008,26(9):26-31.
[5] 黃向榮,謝如鶴. 基于蟻群算法與RBF神經網絡模型的突發應急配送決策[J]. 決策參考,2009(15):56-58.
[6] 曾敏剛,崔增收,余高輝. 基于應急物流的減災系統LRP研究[J]. 中國管理科學,2010,18(2):75-80.
[7] 葛春景,王霞,關賢軍. 重大突發事件應急設施多重覆蓋選址模型及算法[J]. 運籌與管理,2011,20(5):50-56.
[8] 鄭斌,馬祖軍,李雙琳. 基于雙層規劃的應急物流系統選址―聯運問題[J]. 系統科學與數學,2013,33(9):1046
-1060.
[9] 何珊珊,朱文海,任晴晴. 不確定需求下應急物流系統多目標魯棒優化模型[J]. 遼寧工程技術大學學報,2013,32(7):998-1003.
[10] 孫華麗,周戰杰,薛耀鋒. 考慮路徑風險的不確定需求應急物流定位―路徑問題[J]. 上海交通大學學報,2013(6):962-966.
[11] 張玲,陳濤,黃鈞. 基于最小最大后悔值的應急救災網絡構建魯棒優化模型與算法[J]. 中國管理科學,2014(7):131-139.
[12] 商麗媛,譚清美. 不確定應急物流中心選址模型及算法研究[J]. 計算機應用研究,2013,30(12):3603-3605.
【關鍵詞】故障預測 準確度 智能預測算法 支持向量機
1 引言
故障預測是比故障診斷更高級的維修保障形式,它以當前設備為起點,對設備將來可能出現的故障狀態或故障時間進行預測并預先消除故障,這對于減少工作量和維護費用具有重要的意義。而如何提高故障預測準確度就成為故障預測技術向前發展的關鍵問題。
提高故障預測準確的方法有很多,從故障預測整個流程來說,就可以從數據的準確度、數據的預處理、故障特征提取方法的改進以及智能預測算法的選擇這四個方面來進行提高。這四個方面中,預測方法的優劣對故障預測效果的提升具有重要的作用。因此,本文主要從智能預測算法方面進行分析和研究,介紹了一些常見的智能預測算法及其應用情況,并重點介紹了比較有前景的支持向量機算法的一些基本問題和改進的方向。
2 常見的智能預測算法及其應用
2.1 專家系統及其應用
專家系統主要用于那些沒有精確數學模型或很難建立數學模型的復雜系統,特別在菲線性領域被認為是一種很有前景的方法。李茂林、張晶等在充分分析某自行火炮的電氣系統的失效模式與故障機理的基礎上,開發了電氣系統故障綜合診斷專家系統,提高了保障人員解決復雜電氣系統問題的能力。但專家系統的開發需要大量原始積累,其標準沒有一個統一的規范,這可能導致在綜合各個專家知識時存在偏差和失誤。專家系統的應用較早,在近幾年這方面的成果不多。
2.2 神經網絡及其應用
神經網絡主要以兩種方式實現預測功能:一是以神經網絡作為函數逼近器,對設備工況及其參數進行擬合預測;二是考慮輸入輸出間的動態關系,用帶饋連接的動態神經網絡對國產或工況參數建立動態模型進行故障預測。神經網絡具有較強的非線性映射能力,能逼近任意非線性函數。在故障預測方面得到了廣泛的應用,利用遞歸神經網絡對半導體蝕刻設備進行了故障預測,預測結果的準確度達到了90%。利用RBF的非線性建模能力,在某魚雷保障設備的關鍵點建立網絡預測模型,得到了較好的預測效果。但神經網絡同樣也有一些缺點,如網絡結構大多需要靠經驗確定;容易出現過學習和易限于局部最小點;訓練樣本需求量大等。
2.3 支持向量機及其應用
支持向量機(SVM)是根據統計學理論提出的一種機器學習算法。它具有強小樣本學習能力和強泛化能力,可以很好的克服局部極小點、維數災難等過學習問題?,F在的設備越來越復雜,導致樣本的獲取變得更加困難,和神經網絡相比,支持向量機的小樣本學習能力就顯得更加突出。由于支持向量機具有上述的優點,其相應的算法和改進的算法得到了廣泛的應用。田干等將支持向量機和最小二乘支持向量機都運用到液體火箭發動機參數預測問題,預測精度都很高,通過對比兩種方法的預測結果,發現前者的預測結果好于后者,但后者的訓練時間遠遠小于前者。利用支持向量回歸機分為兩個步驟對軸承的剩余壽命(URL)進行預測,預測結果和軸承的實際剩余壽命基本一致,具有很好的預測效果。
3 支持向量機預測算法基本問題及改進方向
3.1 支持向量機預測的主要問題
支持向量機在使用的過程中主要,對其性能有重要影響的參數包括懲罰參數C,核函數及核參數的選取。C用于控制模型復雜度和逼近誤差的折中,C越大則對數據的擬合程度越高,學習機器的復雜度就越高,容易出現“過學習”的現象。而C取值過小,則對經驗誤差的懲罰小,學習機器的復雜度低,就會出現“欠學習”的現象。當C的取值大到一定程度時,SVM模型的復雜度將超過空間復雜度的最大范圍,那么當C繼續增大時將幾乎不在對SVM的性能產生影響。針對上面支持向量機預測的主要問題,很多學者也進行了深入細致的研究,很多模型參數選取的方法被提出,并應用到實例中,并且都提高了預測的準確度。主要有窮舉法、交叉驗證法、梯度下降法、網格搜索法、遺傳算法優化、粒子群算法優化(PSO)。上述方法中,窮舉法、交叉驗證法因其操作簡單被廣泛應用,但是對于參數較多的情況來說,它們都有著計算量大,速度慢,效果不好等缺點。梯度下降法比前兩種方法在速度上有了很大改善,對其初始點要求較高,而且是一種線性搜索法,因此極易陷入局部最優。網格算法的優點在于可以并行處理,而其缺點為計算量巨大。遺傳算法具有魯棒性強不容易陷入局部最優,但是其操作比較復雜。粒子群算法則存在易于陷入局部最優導致的收斂精度低和不易收斂等缺點。
3.2 支持向量機預測方法的改進
前面也提到了支持向量機預測精度提高面臨的主要問題,針對這些問題本身,可以得到其改進的一些方向。主要可以分為四個方面:一是對現有模型參數選擇方法的改進;二是針對現有模型參數選擇方法的缺點,將其進行組合;是針對具體問題建立新的核函數或者將現有的核函數進行組合;三四是制定一套通用性比較好的標準化的模型參數確定方法。
現有模型參數的選擇方法中,都有相應的缺點,克服其缺點,提出相應的改進方法。這對于提高模型的預測準確度定會有所幫助。由于參數的選擇范圍較大,在多個參數中進行盲目搜索最優參數的時間代價較大,且很難得到最優參數。為此,田海雷等提出一種基于改進人工魚群算法(AFSA)的支持向量機(SVM)預測算法。對AFSA進行改進,并使用改進算法優化 SVM。實驗結果表明,與遺傳算法、粒子群優化算法和基本 AFSA 優化的支持向量機相比,預測精度得到了很大的提高;李文元等將粒子群算法和最小二乘支持向量機算法相結合,采用PSO算法優化LS-SVM的參數,克服了人為參數選擇的盲目性,在全局優化與收斂速度方面具有較大優勢。經PSO算法優化后的LS-SVM應用到通信設備的故障預測中,預測精度和運算速度都得到了提高,具有較好的有效性和可行性。
組合模型參數選擇方法,充分發揮每種方法的優點,克服其不足。這對提高模型的預測準確度肯定也會有很大的提高。如AFS-ABC算法,用于組合優化LS-SVM的參數。該算法將魚群算法AFS簡化模型中人工魚的尋優更新方法引入到蜂群算法中,以互補優勢、互克不足,以某航空電子系統電源模塊的故障預測為例驗證了AFS-ABC算法較好地改善了LS-SVM的預測精度。
針對不同問題,選擇不同的核函數對于預測結果肯定會有所不同,可以根據實際的需求,建立新的滿足核函數要求的核函數。通過查閱數據庫,組合核函數或建立新的核函數進行設備故障預測的相關文獻很少,但在故障診斷方面已經得到了相關的應用。從故障診斷到故障預測是一個連續的過程,在故障診斷方面的應用也預示著在故障預測方面也會有所突破。
4 結束語
本文主要介紹了幾種常見的智能預測算法及其應用情況,重點介紹了支持向量機預測算法的一些基本問題,針對其預測算法的基本問題,提出了一些改進的方向。支持向量機作為智能預測算法中的一種,具有明顯的優勢,因此,對其理論上進行分析,應用上加以拓展,這對于提高設備的預測準確度具有重要的作用??偟膩碚f,在提高預測準確度方面,支持向量機是一種比較有前景的智能預測算法。
參考文獻
[1]Liu C S,Hu S S,Intelligent Nonlinear Fault Diagnosis based on State Estimator[J].Control and Decision,2005,20(05):557-561.
能力是指主體能勝任某項任務的主觀條件。在數學學習中,學生的數學能力與他們的知識基礎和心理特征有關。技能是指依據一定的規則和程序去完成專門任務(解決特定的問題)的能力。顯然,技能和能力都與知識密不可分;但學生在任務(問題)面前如何對知識和運用這些知識的途徑進行選擇,使得完成任務(解決問題)達到多快好省,則是一項超越知識本身的心理活動。因此,把知識、技能和能力三者并列起來是合理的;但也應看清楚,這三者的順序是由低到高,在教育、教學的意義下是后者更重于前者。
一、歷史的回顧
我國的中學數學教學大綱,對于數學思想和數學方法的重要性的認識也有一個從低到高的過程。
由國家教育委員會基礎教育司編訂、1996年5月第1版的《全日制普通高級中學數學教學大綱(供試驗用)》,在第2頁“教學目的”中也規定:“高中數學的基礎知識是指:高中數學中的概念、性質、法則、公式、公理、定理以及由其內容反映出來的數學思想和方法。”在界定“思維能力”一詞的四個主要層面時,指出第三層面是“會合乎邏輯地、準確地闡述自己的思想和觀點”;第四層面是“能運用數學概念、思想和方法,辨明數學關系,形成良好的思維品質”。這份大綱維持了數學的“內容、思想、方法和語言已成為現代文化的重要組成部分”的提法(第1頁);并指出數學規律“包括公理、性質、法則、公式、定理及其聯系,數學思想、方法和語言”(第24頁);堅持在對解題進行指導時,應該“對解題的思想方法作必要的概括”(第25頁)。這是建國以來對數學思想和數學方法關注最多的一份中學數學教學大綱,充分體現了數學教育工作者對于數學課程發展的一些共識。
二、數學思想方法
(一)思想、科學思想和數學思想
思想是客觀存在反映在人的意識中經過思維活動而產生的結果。它是從大量的思維活動中獲得的產物,經過反復提煉和實踐,如果一再被證明為正確,就可以反復被應用到新的思維活動中,并產生出新的結果。本文所指的思想,都是那些顛撲不破、屢試不爽的思維產物。因此,對于學習者來說,思想就成為他們進行思維活動的細胞和基礎;思想和下面述及的方法都是他們的思維活動的載體。每門科學都逐漸形成了它自己的思想,而科學法則概括出各門科學共同遵循和運用的一些科學思想。
所謂數學思想,是指現實世界的空間形式和數量關系反映到人的意識之中,經過思維活動而產生的結果,它是對數學事實與數學理論的本質認識。首先,數學思想比一般說的數學概念具有更高的抽象和概括水平,后者比前者更具體、更豐富,而前者比后者更本質、更深刻。其次,數學思想、數學觀點、數學方法三者密不可分:如果人們站在某個位置、從某個角度并運用數學去觀察和思考問題,那么數學思想也就成了一種觀點。而對于數學方法來說,思想是其相應的方法的精神實質和理論基礎,方法則是實施有關思想的技術手段。中學數學中出現的數學觀點(例如方程觀點、函數觀點、統計觀點、向量觀點、幾何變換觀點等)和各種數學方法,都體現著一定的數學思想。
數學思想是一類科學思想,但科學思想未必就單單是數學思想。例如,分類思想是各門科學都要運用的思想(比方語文分為文學、語言和寫作,外語分為聽、說、讀、寫和譯,物理學分為力學、熱學、聲學、電學、光學和原子核物理學,化學分為無機化學和有機化學,生物學分為植物學、動物學和人類學等;中學生見到的最漂亮的分類應該是在學習哺乳綱動物時所出現的門(亞門)、綱(亞綱)、目(亞目)、屬、科、種的分類表,它不是單由數學給予的。只有將分類思想應用于空間形式和數量關系時,才能成為數學思想。如果用一個詞語“邏輯劃分”作為標準,那么,當該邏輯劃分與數理有關時(可稱之為“數理邏輯劃分”),可以說是運用數學思想;當該邏輯劃分與數理無直接關系時(例如把社會中的各行各業分為工、農、兵、學、商等),不應該說是運用數學思想。同樣地,當且僅當哲學思想(例如一分為二的思想、量質互變的思想和肯定否定的思想)在數學中予以大量運用并且被“數學化”了時,它們也可以稱之為數學思想。
(二)數學思想中的基本數學思想
在數學思想中,有一類思想是體現或應該體現于基礎數學中的具有奠基性和總結性的思維成果,這些思想可以稱之為基本數學思想?;緮祵W思想含有傳統數學思想的精華和近現代數學思想的基本特征,并且也是歷史地形成和發展著的。
中學數學教科書中處處滲透著基本數學思想。如果能使它落實到學生學習和運用數學的思維活動上,它就能在發展學生的數學能力方面發揮出一種方法論的功能。
(三)思路、思緒和思考
我們在中學數學教育、教學中,還經常使用著“思路”和“思緒”這兩個詞語。一般說來,“思路”是指思維活動的線索,可視為以串聯、并聯或網絡形狀出現的思想和方法的載體,而“思緒”是指思想的頭緒?!八悸贰焙汀八季w”實際上是同義詞,并且它們都是名詞。
那么,另一個詞語“思考”又是什么意思呢?“思考”就是進行比較深刻、周到的思維活動。作為動詞,它反映了主體把思想、方法、串聯、并聯或用網絡組織起來以解決問題的思維過程。由此可見,“思考”所產生的有效途徑就是“思路”或“思緒”;“思路”或“思緒”是“思考”的結果,是思想、方法的某種選擇和組織,且明顯帶有程序性。對思路及其所含思想、方法的選擇和組織的水平,反映了學習者能力的差異。
(四)方法和數學方法
所謂方法,是指人們為了達到某種目的而采取的手段、途徑和行為方式中所包含的可操作的規則或模式。人們通過長期的實踐,發現了許多運用數學思想的手段、門路或程序。同一手段、門路或程序被重復運用了多次,并且都達到了預期的目的,便成為數學方法。數學方法是以數學為工具進行科學研究的方法,即用數學語言表達事物的狀態、關系和過程,經過推導、運算和分析,以形成解釋、判斷和預言的方法。
數學方法具有以下三個基本特征:一是高度的抽象性和概括性;二是精確性,即邏輯的嚴密性及結論的確定性;三是應用的普遍性和可操作性。
數學方法在科學技術研究中具有舉足輕重的地位和作用:一是提供簡潔精確的形式化語言,二是提供數量分析及計算的方法,三是提供邏輯推理的工具?,F代科學技術特別是電腦的發展,與數學方法的地位和作用的強化正好是相輔相成。
宏觀的數學方法包括:模型方法,變換方法,對稱方法,無窮小方法,公理化方法,結構方法,實驗方法。微觀的且在中學數學中常用的基本數學方法大致可以分為以下三類:
(1)邏輯學中的方法。例如分析法(包括逆證法)、綜合法、反證法、歸納法、窮舉法(要求分類討論)等。這些方法既要遵從邏輯學中的基本規律和法則,又因運用于數學之中而具有數學的特色。
(2)數學中的一般方法。例如建模法、消元法、降次法、代入法、圖象法(也稱坐標法。代數中常用圖象法,解析幾何中常用坐標法)、向量法、比較法(數學中主要是指比較大小,這與邏輯學中的多方位比較不同)、放縮法、同一法、數學歸納法(這與邏輯學中的不完全歸納法不同)等。這些方法極為重要,應用也很廣泛。
(3)數學中的特殊方法。例如配方法、待定系數法、加減法、公式法、換元法(也稱之為中間變量法)、拆項補項法(含有添加輔助元素實現化歸的數學思想)、因式分解諸方法,以及平行移動法、翻折法等。這些方法在解決某些數學問題時起著重要作用,不可等閑視之。
(五)方法和招術
如上所述,方法是解決思想、行為等問題的門路和程序,是思想的產物,是包含或體現著思想的一套程序,它既可操作又可仿效。在選擇并實施方法的前期過程中,反映了學習者的能力和技能的高低;而在后期過程中,只反映了學習者的技能的差異。
支持向量機(SVM)可以很好地用來解決分類問題,參數優化尤其重要。混合核函數的引入,使得SVM又多了一個可調參數。針對該參數用人工或經驗的方法獲取具有局限性,采用動量粒子群(MPSO)對SVM基本參數、混合可調核參數進行綜合尋優,來尋找最佳參數組合。通過UCI數據仿真,對比結果表明:所提優化方法能夠快速有效地提取最佳參數組合,所得SVM性能明顯提高,分類效果更好。
ス丶詞:
混合核;動量粒子群優化;參數優化;分類
ブ型擠擲嗪牛 TP181
文獻標志碼:A
英文標題
Parameter optimization of mixed kernel SVM based onmomentum particle swarm optimization
び⑽淖髡咼
WANG Jia, XU Weihong
び⑽牡刂(
School of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha Hunan 410114, China
英文摘要
)
Abstract:
Support Vector Machine (SVM) can be used to solve classification problems, and it is very important to optimize its parameters. With the introduction of mixed kernels, SVM has one more adjustable parameter. Because it is hard to obtain the parameter by manual or experience, Momentum Particle Swarm Optimization (MPSO) was used to find the best combination of the basic parameters and mixed adjustable nuclear parameter of SVM. Finally, the simulations of UCI data show that the proposed algorithm provides an effective way to search the best parameters combination, and makes SVM have higher performance and better classification accuracy.
英文關鍵詞
Key words:
mixed kernel; Momentum Particle Swarm Optimization (MPSO); parameter optimization; classification
0 引言
支持向量機[1](Support Vector Machine, SVM)在解決小樣本、非線性及高維模式識別問題中表現出了許多特有的優勢,因而得到極大重視。目前已廣泛應用于模式識別、信號處理和生物發酵軟測量等眾多領域[2-5]。
支持向量機的核心在于核函數,核函數的構造對于支持向量機的性能起著至關重要的作用?;旌虾撕瘮担?-7]是其中的一種構造方法,一般由一個局部性核函數和一個全局性核函數線性組合而成,權系數的確定對混合核函數性起關鍵作用。目前,關于混合核SVM參數優化的方法都是針對懲罰系數和核參數,而對于混合核函數中可調參數如何選取的文獻卻很少,一般均采用經驗值,這無疑使得SVM的參數優化只能達到局部最優,而無法達到全局最優。
本文采用一種改進的粒子群算法,即動量粒子群(Momentum Particle Swarm Optimization, MPSO)算法對3個參數進行綜合尋優,該算法不但保持了基本PSO算法的簡單、易實現等優點,而且能有效提高算法的收斂速度,在尋優的過程中能在較少的進化代數內達到較好的尋優效果,并能部分避免算法的后期振蕩,以取得最佳的參數組合,為混合核SVM參數優化提供了一種新方法。
1 SVM的理論基礎[8]及參數分析
SVM就是通過核函數把低維的線性不可分問題映射到高維空間,從而轉化為線性可分問題。圖1假設是已經映射好的高維空間,空心的方格和圓圈各代表一類。
圖片
圖1 svm的高維映射
此時有一個新的樣本需要添加,結果其映射到高維空間后成為圖1中的實心方格,這樣的點無疑給分類問題帶來了一定的偏差,稱這樣的點為離群點,此時就要放低對一些點到分類平面的距離不滿足最初的分類要求,最初的優化問題是:
Иmin12ω2オ
Иs.t. yi[(ωxi)+b]≥1
i=1,2,…,l;l是樣本數オ
Аω2是目標函數,希望它越小越好。但由于離群點的出現,務必會使其變大,造成一定的損失。此時的優化問題就轉化為:
Иmin12ω2+C∑li=1ζiИ
Иs.t.yi[(ωxi)+b]≥1-ζi
i=1,2,…,l;l是樣本數オ
用Аli=1ζiЮ幢硎舅鶚В將其加入目標函數時,就需要一個懲罰因子CВ此參數就是SVM中提到的需要優化的參數。懲罰因子CЬ齠了重視離群點帶來損失的程度。當Аli=1ζiб歡ㄊ保定的Cг醬螅對目標函數的損失也就越大,此時就暗示著對離群點重視的程度比較大,最極端的情況就是把CФㄎ無限大,這樣只要稍有一個點離群,目標函數值就會變成無限大,使問題無解。因此在對參數組合進行尋優時,當有幾組組合都可以取得相同的識別率時,一般會取Cе到閑〉哪親??梢杂行П苊釹VM的過學習現象,即訓練集分類準確率很高而測試集分類準確率很低(分類器的泛化能力降低)。
一般SVM默認核函數為RBF核,該核中核參數Е錨В9]是眾多參考文獻中SVM需要優化的另一個重要參數,它反應了支持向量之間的相關程度。Е錨太小,支持向量間的聯系就比較松弛;Е錨太大,支持向量間的影響就會過強,模型精度難以滿足要求。當Е錨Ш芐∈保懲罰因子CЭ梢韻嚶θ⌒∫壞悖以保證模型的推廣能力。
┑2期
王佳等:基于動量粒子群的混合核SVM參數優化方法
┆撲慊應用 ┑31卷
2 MPSO優化混合核SVM參數
2.1 混合核函數
鑒于局部性核函數學習能力強、泛化性能弱,而全局性核函數泛化性能強、學習能力弱,為了得到學習能力與泛化能力都較強的核函數,將這兩類核函數混合起來。RBF核函數是一個典型的局部性核函數,使用比較普遍,而多項式核函數是一個典型的全局性核函數,因此選擇將二者線性組合,構造混合核函數[10]如式(1)所示。
K┆mix=λK┆poly+(1-λ)K┆rbf (1)
其中:λ∈(0,1)
K┆poly=[(x?xi)+1]q
K┆rbf=(-γx-xi2)オ
此混合核函數滿足Mercer條件,核函數的混合使需要優化的SVM參數增一。實驗得到的Е霜У鬧狄話閽0.50~0.99,因此可以在此范圍內對其尋優。
2.2 MPSO算法
PSO算法[11]采用的是速度―位置搜索模型,在每一次迭代中,粒子通過跟蹤2個極值(全局極值gbestв敫鎏寮值pbestВ┖頹耙皇笨痰淖刺,來不斷地更新自己當前在解空間中的位置,從而找到問題的最優解。其迭代公式如式(2)、(3)所示。
vi(k+1)=ω?vi(k)+c1?rand1(k)?(p┆ibest-xi(k))+c2?rand2(k)?(g┆best-xi(k))(2)オ
xi(k+1)=xi(k)+vi(k+1)В3)
其中:v(k),v(k+1),x(k),x(k+1)Х直鶚橇W擁鼻笆笨獺⑾亂皇笨痰乃俁燃八處位置;rand1(k),rand2(k)是介于0和1之間的隨機數;c1,c2是學習因子,一般取為2;Е鬲是慣性權重。
但基本的PSO算法存在收斂緩慢、后期振蕩等缺陷,因此在基本PSO的基礎上,引入動量項[12],構造MPSO算法,從而有效提高算法的收斂速度,同時起到部分避免算法后期振蕩的作用。其改進主要是在速度更新公式中的改進,令ИΔvi(k)=c1?rand1(k)?(p┆ibest-xi(k))+c2?rand2(k)?(g┆best-xi(k))В則更新后的速度公式如式(4)所示。
vi(k+1)=ω?vi(k)+Δvi(k)+αΔvi(k-1)В4)
此時粒子速度的修正量由兩項組成,第一項是基本粒子群算法的速度修正量;第二項為動量項,其與微粒的歷史修正量線性相關,Е聯為動量因子常數,0≤|α|
2.3 基于MPSO優化混合核SVM算法流程
2.3.1 SVM性能指標的選取
交叉驗證(Cross Validation,CV)是用來驗證分類器性能的一種統計分析方法。常見的CV方法有HoldOutMethod、kfold Cross Validation(KCV)、LeaveOneOut Cross Validation。
鑒于HoldOutMethod只是將原始數據分為兩組,最終驗證集分類準確率太依賴于原始數據的分組,而LeaveOneOut Cross Validation計算成本太高,樣本數量較多時,實際操作很困難。因此,本文采用KCV的方法,即將原始數據分為k組,將每個子集數據分別做一次驗證集,其余的K-1組子集作為訓練集,這樣得到K個模型,用這K個模型最終的驗證集的分類準確率的平均值作為此KCV下分類器的性能指標。
2.3.2 算法流程
MPSO的適應度函數為KCV下的分類準確率。
輸入:粒子的維數,粒子的個數。
輸出:最優的SVM參數(c,γ,λВ楹?。?/p>
流程按如下步驟進行:
1)初始化MPSO中的各個參數,并確定SVM各個參數的解空間,如c1=1.5,c2=1.7,Е鬲=0.9等。
2)在解空間中隨機初始化(c,γ,λВ┑奈恢茫在限定范圍內隨機初始化粒子的初始速度,并計算初始的適應度。
程序前
for i=1:pso_option.maxgen
程序后
3)程序前
for j=1:pso_option.sizepop
程序后
根據式(4)進行速度更新,式(3)進行種群更新:
4)程序前
cmd=[′-v′,num2str(pso_option.v),
′-c′,num2str(pop(j,1)),′-g′,num2str(pop(j,2)),′-a′,
num2str(pop(j,3)) ];
fitness(j) = svmtrain(train_label, train, cmd);
//計算適應度值
程序后
5)程序前
//更新每個粒子的新局部最優位置
if fitness(j) > local_fitness(j)
local_x(j,:) = pop(j,:);
local_fitness(j) = fitness(j);
end
程序后
6)
程序前
//更新群體最優位置:
if fitness(j) > global_fitness
global_x = pop(j,:);
global_fitness = fitness(j);
end
end
程序后
7)程序前
//確定最優解:
fit_gen(i) = global_fitness;
當使得取最優解的//參數組合不止一組時,選取C值最小的那組
程序后
8)程序前
//輸出最優解組合(c,γ,λВ
end
程序后
此算法需要在faruto編寫的Libsvmmat加強工具箱[13]的輔助下實現,由于此工具箱默認核函數為RBF類型,因此,在4)中使用的混合核函數需要在工具箱中按式(1)進行修改或添加,文中采用的是在RBF核的基礎上進行修改,由return exp(-gamma*(x_square[i]+x_square[j]-2*dot(x[i],x[j])))修改為return (exp(-gamma*(x_square[i]+x_square[j]-2*dot(x[i],x[j])))*(1-a)+ powi(dot(x[i],x[j])+1,1)*a),其中的aТ表可調參數Е霜А*
3 實驗與仿真
該實驗采用的是UCI中的數據[14],在Matlab 7.9.0的環境下編程實現。實驗中的參數設置如下:MPSO中,c1=1.5,c2=1.7,最大進化代數設置為200,種群數量為20,Е鬲=0.9,m=0.30,SVM中C的范圍為В0.1,100]ВЕ錨У姆段為В酈0.01,1B000]ВЕ霜У姆段為В0.50,0.99],對于K勃CV中的K值,У筆據量較小時取值為5,數據量較大時取值為9,默認值為5。表1給出了針對UCI中wine、iris、machine數據,網格搜索算法與MPSO算法測試所得到的最優參數組合及CV下訓練集的準確率及采用優化后參數組合進行實際測試的準確率,注意在實驗中選用相同的訓練集與測試集,k取5。
表格(有表名)
分區
表1 網格搜索算法與MPSO優化參數組合及分類數據相關信息對比
數據集網格搜索算法
(C,γ)A網/A網′
MPSO(C,γ,λ)AM/AM′
wine(2.30,4)0.988/0.988(2.75,1.90,0.65)0.978/0.994
iris(12.13,2.29)1.000/0.962(14.32,2.07,0.88)1.000/0.981
machine(5.66,2)0.918/0.806(4.31,1.00,0.632)0.901/0.852
表1中,A網АA網′Х直鶇表網格搜索算法下得到的CV下的訓練集準確率、實際測試集準確率;AMАAM′Х直鶇表MPSO算法下得到的CV下的訓練集準確率、實際測試集準確率。
網格搜索算法實質上是一種窮舉法,常用來在小范圍內尋找最佳SVM參數組合。通過表1可知,本文提出的算法在最優參數組合上與網格搜索算法相當,并且在訓練準確率相同或稍低于網格搜索算法的情況下,在實際測試中仍能得到比其更好的識別率,由此可知,所得的SVM泛化能力有所提高。
啟發式算法不必遍歷所有參數點,也能找到全局最優解,因而得以廣泛應用。表2為本文的MPSO與基本PSO尋優參數組合及進化代數對比情況,此時取C∈[0.1,1B000]?。?~3分別給出了balancescale數據在基本PSO、MPSO算法下訓練的適應度曲線Accuracy圖,圖4為不同分類算法下的分類準確率對比圖。
表格(有表名)
表2 基本PSO與MPSO下的最優參數組合及進化代數對比
數據集基本PSO
(C,γ)進化代數
MPSO(C,γ,λ)進化代數
wine(12.25,4.350)59(7.16,1.790,0.586)15
balance勃scale(29.90,2.620)120(25.50,1.160,0.780)80
sonar(19.30,0.362)70(15.86,0.769,0.980)46
vehicle(75.50,1.180)158(15.60,1.040,0.622)97
diabetes(47.87,0.625)162(10.90,1.070,0.820)62
在第1章的SVM參數分析時,知道過高的CЩ岬賈鹿學習狀態的發生。由表2知,MPSO算法能找到優于PSO算法的最優參數組合,且進化速度明顯快于PSO。由圖2~3對比得知,MPSO算法能夠部分緩解PSO存在的后期振蕩現象。由圖4可知MPSO算法下優化參數后得到SVM的分類準確率明顯高于PSO下得到的SVM分類準確率,且高于最近鄰算法(1NN)、C4.5等其他常見分類算法的準確率。
圖片
圖2 balancescale數據在基本PSO下訓練的適應度曲線Accuracy圖
圖片
圖3 balancescale數據在MPSO下訓練的適應度曲線Accuracy圖
圖片
圖4 測試數據不同分類算法下的識別率對比圖
4 結語
SVM的最優參數組合選取問題一直是影響SVM性能的關鍵問題,目前關于其選取仍沒有統一的方法。本文給出的帶有動量項的粒子群算法,對具有混合核的SVM進行參數尋優,通過UCI數據進行測試,得出該算法能快速有效地提取出最優參數組合,所得的SVM泛化能力上優于RBF核的網格搜索算法,進化速度快于PSO,測試所得分類準確率優于其他常見分類算法,為選取最優SVM參數組合提供了一種新方法。
げ慰嘉南:
[1]
邊肇祺,張學工.模式識別[M].2版.北京:清華大學出版社, 2000: 296-304.
[2]
劉松.基于SVM信息融合的圖像識別與并行實現[J].計算機工程與應用, 2009, 45(33): 168-182.
[3]
MELGANI F, BAZI Y. Classigication of electrocardiogram signals with support vector machines and particle swarm optimization[J]. Information Technology in Biomedicine, 2008, 12(5): 667-677.
[4]
LATRY CH,PANEM C,DEJEAN P.Cloud detection with SVM technique[C]// 2007 IEEE Iternational Geoscience and Remote Sensing Symposium. Washington, DC: IEEE Computer Society, 2007: 448-451.
[5]
常玉清,王福利,王小剛,等.基于支持向量機的生物發酵過程軟測量建模[J].東北大學學報:自然科學版, 2005, 26(11): 1025-1028.
[6]
張擁華,曾凡仔.基于混合核支持向量機的金融時間序列分析[J].計算機工程與應用, 2008, 44(19): 220-222.
[7]
業巧林,業寧,張訓華.基于極分解下的混合核函數及改進[J].模式識別與人工智能, 2009(3): 366-373.
[8]
鄧乃揚,田英杰.支持向量機:理論、算法與拓展[M].北京:科學出版社, 2009: 81-111.
[9]
陳林,潘豐.基于量子PSO的SVM參數選擇及其應用[J].自動化與儀表, 2009, 24(1): 5-8.
[10]
張芬,陶亮,孫艷.基于混合核函數的SVM及其應用[J].計算機技術與發展, 2006, 16(2): 176-178.
[11]
SALLEH S M,TOKHI M O,JULAI S,et al. PSObased parametric modelling of a thin plate structure[C]// Proceedings of the 2009 Third UKSim European Symposium on Computer Modeling and Simulation. Washington, DC: IEEE Computer Society, 2009: 43-48.
[12]
黃福員.一種改進的動量粒子群算法及實驗分析[J].計算機應用與軟件, 2009, 26(10): 57-59.
[13]
faruto編寫的Libsvm加強工具箱[EB/OL]. [2010-02-02]. /viewthread.php?tid=65333&extra=&page=1.