統計學機器學習中,集成學習(英語:Ensemble learning)方法通過組合多種學習算法來獲得比單獨使用任何一種算法更好的預測性能。[1][2][3]與統計力學中通常是無限的系綜不同,機器學習中的集成學習由有限的一組模型組成,但這些模型之間通常允許存在更靈活的結構。

概述

編輯

監督學習算法通常被描述為在假設空間中搜索,以找到一個能夠對特定問題做出良好預測的假設。即使假設空間包含非常適合特定問題的假設,找到一個好的假設也可能很困難。集成學習結合多個假設,形成一個(希望)更好的假設。術語集成通常保留用於使用相同基礎學習器生成多個假設的方法。多分類器系統的更廣泛術語還包括由非相同基礎學習器得到的假設的結合。這種方法和現象也被另一個術語「群智」所描述,該術語來自多個DREAM生物醫學數據科學挑戰。

評估集成學習的預測通常需要比評估單個模型的預測花費更多的計算,因此集成可以被認為是通過執行大量額外計算來補償偏差的學習算法的方式。諸如決策樹之類的快速算法通常用於集合方法(如隨機森林),儘管較慢的算法也可以從集成方法中受益。

通過類比,集成技術也已用於無監督學習場景中,如共識聚類或異常檢測

集成理論

編輯

集成學習本身是一種監督學習算法,因為它可以被訓練然後用於進行預測。因此,訓練後的集成模型代表了一個假設,但這個假設不一定被包含在構建它的模型的假設空間內。因此,可以證明集成學習在它們可以表示的功能方面具有更大的靈活性。理論上,這種靈活性使他們能夠比單一模型更多地過擬合訓練數據,但在實踐中,一些集成算法(如Bagging算法)傾向於減少對訓練數據過擬合相關的問題。

根據經驗,當模型之間存在顯著差異時,集成往往會產生更好的結果。[4][5]因此,許多集成方法試圖促進它們組合的模型之間的多樣性。[6][7]儘管可能不是直觀的,更隨機的算法(如隨機決策樹)可用於產生比非常有意識的算法(如熵減少決策樹)更強大的集成模型。[8]然而,使用各種強大的學習算法已被證明是比使用試圖愚弄模型以促進多樣性的技術更有效。[9]

集成模型大小

編輯

雖然集成中的組成分類器的數量對預測的準確性具有很大影響,但是解決該問題的研究數量有限。先驗地確定集成模型的大小以及大數據流的體積和速度使得這對於在線集成分類器來說更加重要,其中大多數統計測試被用於確定適當數量的組件。最近,理論框架表明對於集成模型存在理想數量的分類器,具有多於或少於該數量的分類器將使精度變差,這被稱為「集成構建效果遞減規律」。理論框架表明,使用與類標籤數相同的獨立分類器可以達到最高的準確度。[10] [11]

常見的集成類型

編輯

貝式最佳分類器

編輯

貝式最佳分類器是一種分類技術,它是假設空間中所有假設的集合。平均而言,沒有其他集成模型可以超越它。[12]樸素貝式最佳分類器假定數據在類上有條件地獨立並使計算更可行,如果該假設為真,則對每個假設進行投票,該投票與從系統採樣訓練數據集的可能性成比例。為了促進有限大小的訓練數據,每個假設的投票也乘以該假設的先驗概率。貝式最佳分類器可以用以下等式表示:

 

其中  是預測標籤,  是所有可能類的集合,  是假設空間,  概率 是訓練數據。 作為集成,貝式最佳分類器表示不一定在 中的假設。然而,由貝式最佳分類器表示的假設是集合空間中的最佳假設(所有可能的集合的空間僅由 中的假設組成)。

這個公式可以用貝式定理重新表述,貝式定理表明後驗與先驗的可能性成正比:

 

因此,

 

Bootstrap聚合(Bagging)

編輯

Bootstrap聚合(Bootstrap Aggregating,Bagging)使集成模型中的每個模型在投票時具有相同的權重。為了降低不穩定過程如樹的方差,Bagging對B個(比如說,B使用與類標籤數相同的數量)bootstrap datasets上的模型求平均,從而降低其方差並導致預測性能的改善。例如,隨機森林算法將隨機決策樹與Bagging相結合,以實現更高的分類準確度。[13]

Boosting

編輯

Boosting通過在訓練新模型實例時更注重先前模型錯誤分類的實例來增量構建集成模型。在某些情況下,Boosting已被證明比Bagging可以得到更好的準確率,不過它也更傾向於對訓練數據過擬合。目前比較常見的增強實現有AdaBoost等算法。

貝式參數平均

編輯

貝式參數平均(Bayesian Parameter Averaging,BPA)是一種集成方法,它試圖通過對假設空間中的假設進行抽樣來近似貝式最佳分類器,並使用貝式定律將它們組合起來。[14]與貝式最佳分類器不同,貝式模型平均(Bayesian Model Averaging,BMA)可以實際實現。通常使用諸如MCMC蒙特卡羅方法對假設進行採樣。例如,可以使用吉布斯採樣來繪製代表分佈 的假設。已經證明,在某些情況下,當以這種方式繪製假設並根據貝式定律求平均時,該算法具有預期誤差,該誤差被限制為貝式最佳分類器的預期誤差的兩倍。[15]儘管這種技術理論正確,但早期工作中的實驗結果表明,與簡單的集成方法如Bagging相比,該方法促進了過擬合併且表現更差;[16] however, these conclusions appear to be based on a misunderstanding of the purpose of Bayesian model averaging vs. model combination.[17]然而,這些結論似乎是基於對目的的誤解貝式模型平均與模型組合。[18]此外,BMA的理論和實踐取得了相當大的進展,最近的嚴格證明證明了BMA在高維設置中變量選擇和估計的準確性,[19]並提供了實驗證據,強調了BMA中的稀疏執行先驗在緩解過擬合方面的作用。[20]

貝式模型組合

編輯

貝式模型組合(BMC)是對貝式模型平均(BMA)的算法校正。 它不是單獨對整體中的每個模型進行採樣,而是從可能的集合空間中進行採樣(模型權重從具有均勻參數的Dirichlet分佈中隨機抽取) 這種修改克服了BMA趨向於將所有權重賦予單個模型的趨勢 儘管BMC在計算上比BMA更昂貴,但它往往會產生顯着更好的結果 BMC的結果顯示平均值優於(具有統計顯着性)BMA和Bagging。[21]

使用貝式定律來計算模型權重需要計算給定每個模型的數據的概率,通常集成中的模型都不是生成訓練數據的分佈,因此對於該項,它們都正確地接收到接近於零的值。如果集成足夠大以對整個模型空間進行採樣,這將很有效,但這種情況很少發生。因此,訓練數據中的每個模式將使集成權重朝向最接近訓練數據分佈的集合中的模型移動,這實質上減少了用於進行模型選擇的不必要的複雜方法。

集成的可能權重可以看作是躺在單面上,在單形的每個頂點處,所有權重都被賦予集成中的單個模型。BMA會聚到最接近訓練數據分佈的頂點。相比之下,BMC匯聚到這種分佈投射到單純形態的點上。換句話說,它不是選擇最接近生成分佈的一個模型,而是尋找最接近生成分佈的模型的組合。

BMA的結果通常可以通過使用交叉驗證從一系列模型中選擇最佳模型來近似。同樣地,可以通過使用交叉驗證來近似來自BMC的結果,以從可能的權重的隨機採樣中選擇最佳的集成組合。

桶模型

編輯

「桶模型」(英語:bucket of models)是一種使用模型選擇算法為每個問題選擇最佳模型的集成方法。當僅使用一個問題進行測試時,一組模型不會產生比集成中的最佳模型更好的結果,但是當針對許多問題進行評估時,它通常會產生比集成中的任何模型更好的結果。

最常見的方法用於模型的選擇是交叉驗證。它用以下偽代碼描述:

For each model m in the bucket:
  Do c times: (where 'c' is some constant)
    Randomly divide the training dataset into two datasets: A, and B.
    Train m with A
    Test m with B
Select the model that obtains the highest average score

交叉驗證選擇可以概括為:「使用訓練集嘗試所有選擇,並選擇最有效的方法」。[22]

門控是交叉驗證選擇的一般化。它涉及訓練另一種學習模型,以確定桶中哪些模型最適合解決問題。通常,感知器被應用於門控模型。它可用於選擇「最佳」模型,或者可用於為桶中每個模型的預測提供線性權重。

當使用具有大量問題的桶模型時,可能希望避免需要花費很長時間訓練的一些模型。地標學習是一種尋求解決這一問題的元學習方法,它涉及僅訓練桶中的快速(但不精確)算法,然後使用這些算法的性能來幫助確定哪種慢(但準確)算法最有可能做得最好。[23]

Stacking

編輯

堆疊(英語:Stacking)(有時稱為堆疊泛化)涉及訓練學習算法以組合其他幾種學習算法的預測。首先,使用可用數據訓練所有其他算法,然後訓練組合器算法以使用其他算法的所有預測作為附加輸入進行最終預測。如果使用任意組合器算法,那麼堆疊理論上可以表示本文中描述的任何集合技術,但實際上,通常用邏輯斯諦迴歸模型作為組合器。

Stacking通常比任何一個經過訓練的模型都能產生更好的性能,[24]它已成功用於監督學習任務(如回歸、[25] 分類和距離學習 [26])和無監督學習(如密度估計)。[27] Stacking也被用於評估Bagging的錯誤率。[3][28] 據報道,它的表現超過了貝式模型的平均值。[29]在Netflix競賽中兩個表現最好的人使用混合方法(英語:Blending),這可以被認為是一種Stacking形式。[30]

實現庫

編輯
  • R:至少有三個軟件包提供貝式模型平均工具,[31]包括BMS(貝式模型選擇)包、[32]BAS(貝式自適應採樣的首字母縮寫)包、[33]和BMA包。[34]H2O包提供了許多機器學習模型,包括一個集成模型,也可以使用Spark進行訓練。
  • PythonScikit-learn,一個用於Python機器學習的軟件包,提供用於集成學習的軟件包,包括用於Bagging和平均方法的軟件包。
  • MATLAB:分類集成在統計和機器學習工具箱中實現。[35]

集成學習應用

編輯

近年來,由於計算能力不斷提高,允許在合理的時間範圍內訓練大型集成模型,其應用數量也越來越多。[36]集成分類器的一些應用包括:

遙測

編輯

土地覆蓋測繪

編輯

土地覆蓋測繪是地球觀測衛星傳感器的主要應用之一,利用遙測和地理空間數據識別位於目標區域表面的材料和物體。一般來說,目標材料的類別包括道路、建築物、河流、湖泊和植被。[37]基於人工神經網絡[38]核主成分分析(KPCA)[39]Boosting[40]決策樹、隨機森林[37]和自動設計多分類器系統[41]等不同的集成學習方法可以有效識別土地覆蓋物。

變化的檢測

編輯

變化檢測是一種圖像分析問題,識別土地覆蓋隨時間變化的地方。變化檢測廣泛應用於城市發展、森林和植被動態、土地利用和災害監測等領域。[42]集成分類器在變化檢測中的最早應用是通過多數投票、貝式平均和最大後驗概率設計的。[43]

計算機安全

編輯

分佈式拒絕服務

編輯

分佈式拒絕服務攻擊是互聯網服務提供商可能遭受的最具威脅性的網絡攻擊之一。[36]通過組合單個分類器的輸出,集成分類器減少了檢測和區分此類攻擊與Slashdot效應的總誤差。[44]

惡意軟件檢測

編輯

使用機器學習技術對計算機病毒計算機蠕蟲特洛伊木馬勒索軟件間諜軟件惡意軟件代碼進行分類,其靈感來自文本分類問題[45] 集成學習系統在這方面已經顯示出適當的功效。[46][47]

入侵檢測

編輯

入侵檢測系統監控計算機網絡計算機系統,以識別入侵者代碼,如異常檢測過程。集成學習成功地幫助這種監控系統減少了它們的總誤差。[48][49]

人臉識別

編輯

人臉識別最近已經成為最受歡迎的模式識別研究領域之一,它通過他/她的數字圖像來處理人的識別或驗證。[50]

基於Gabor Fisher分類器和獨立分量分析預處理技術的分層集成是該領域中最早使用的一些集成方法。[51][52][53]

情感識別

編輯

語音識別主要基於深度學習,因為谷歌、微軟和IBM這一領域的大多數業內人士都表示,他們的語音識別的核心技術是基於這種方法。基於語音與集成學習的情感識別也可以有令人滿意的表現。[54][55]

它也被成功用於面部情緒識別。[56][57][58]

欺詐檢測

編輯

欺詐檢測涉及銀行欺詐的識別,例如洗錢、信用卡欺詐和電信欺詐,它們具有廣泛的機器學習研究和應用領域。由於集成學習提高了正常行為建模的穩健性,因此有人提出將其作為檢測銀行和信用卡系統中此類欺詐案件和活動的有效技術。[59][60]

金融決策

編輯

預測業務失敗的準確性是財務決策中非常關鍵的問題。因此,不同的集成分類器被提出用於預測金融危機和財務困境。[61]此外,在基於交易的操縱問題中,交易者試圖通過買賣活動來操縱股票價格,集成分類器需要分析股票市場數據的變化並檢測股票價格操縱的可疑症狀。[61]

=== 醫學生 集成分類器已成功應用於腦-機接口蛋白質組學醫學診斷,例如基於MRI數據集的神經認知障礙(即阿茲海默症或肌強直性營養不良)檢測。[62][63][64]


參考文獻

編輯
  1. ^ Opitz, D.; Maclin, R. Popular ensemble methods: An empirical study. Journal of Artificial Intelligence Research. 1999, 11: 169–198. doi:10.1613/jair.614. 
  2. ^ Polikar, R. Ensemble based systems in decision making. IEEE Circuits and Systems Magazine. 2006, 6 (3): 21–45. doi:10.1109/MCAS.2006.1688199. 
  3. ^ 3.0 3.1 Rokach, L. Ensemble-based classifiers. Artificial Intelligence Review. 2010, 33 (1-2): 1–39. doi:10.1007/s10462-009-9124-7. 
  4. ^
    Kuncheva,L.和Whitaker,C.,措施的多樣性中的分類器的合奏, 學習機,51,pp.181-207,2003年
  5. ^
    Sollich,P.和克羅,A., 學習合唱團:如何過擬合可能是有用的,先進的神經信息處理系統,第8卷,pp.190-196之,1996年。
  6. ^
    Brown,G.和Wyatt,J.和Harris,R.和Yao,X.、多樣化創作方法:調查和分類., 信息的融合,6個(1),第5-20,2005年。
  7. ^
    準確性和多樣性樂團的文Categorisers頁面存檔備份,存於互聯網檔案館的。 J.J.García Adeva,Ulises Cerviño,R.Calvo,CLEI Journal,Vol. 8,No.2,pp.1-12月,2005年。
  8. ^
    嗬,T.,隨機決定的森林, 訴訟程序的第三次國際會議文件的分析和認識,pp.278-282,1995年。
  9. ^
    Gashler,M.和吉羅的載體,C.和Martinez,T., 決定樹團:小型異構是更好的比較大的均勻頁面存檔備份,存於互聯網檔案館,第七次國際會議上學習機和應用程式,2008年,pp.900-905., DOI10.1109/ICMLA的。2008年。154
  10. ^ R. Bonab, Hamed; Can, Fazli. A Theoretical Framework on the Ideal Number of Classifiers for Online Ensembles in Data Streams. CIKM. USA: ACM: 2053. 2016 [2019-01-01]. (原始內容存檔於2018-12-01). 
  11. ^ R. Bonab, Hamed; Can, Fazli. Less Is More: A Comprehensive Framework for the Number of Components of Ensemble Classifiers (PDF). TNNLS. USA: IEEE. 2017 [2019-01-01]. (原始內容存檔 (PDF)於2019-06-09). 
  12. ^
    湯姆M.Mitchell, 機學習,1997年,第175
  13. ^
    Breiman,L.,裝袋預測, 學習機,24(2),pp.123-140,1996年。
  14. ^ Hoeting, J. A.; Madigan, D.; Raftery, A. E.; Volinsky, C. T. Bayesian Model Averaging: A Tutorial. Statistical Science. 1999, 14 (4): 382–401. JSTOR 2676803. doi:10.2307/2676803. 
  15. ^
    大衛Haussler,米高*柯恩斯和羅伯特*E Schapire的。 邊界在這樣複雜的貝學習使用信息理論和VC尺寸的。 學習機,14:83-113,1994年
  16. ^ Domingos, Pedro. Bayesian averaging of classifiers and the overfitting problem (PDF). Proceedings of the 17th International Conference on Machine Learning (ICML): 223––230. 2000 [2019-01-01]. (原始內容存檔 (PDF)於2012-03-02). 
  17. ^ Minka, Thomas, Bayesian model averaging is not model combination (PDF), 2002 [2019-01-01], (原始內容存檔 (PDF)於2016-07-02) 
  18. ^ Minka, Thomas, Bayesian model averaging is not model combination (PDF), 2002 [2019-01-01], (原始內容存檔 (PDF)於2016-07-02) 
  19. ^ Castillo, I.; Schmidt-Hieber, J.; van der Vaart, A. Bayesian linear regression with sparse priors. Annals of Statistics. 2015, 43 (5): 1986–2018. arXiv:1403.0735 . doi:10.1214/15-AOS1334. 
  20. ^ Hernández-Lobato, D.; Hernández-Lobato, J. M.; Dupont, P. Generalized Spike-and-Slab Priors for Bayesian Group Feature Selection Using Expectation Propagation (PDF). Journal of Machine Learning Research. 2013, 14: 1891–1945 [2019-01-01]. (原始內容存檔 (PDF)於2019-07-28). 
  21. ^ Monteith, Kristine; Carroll, James; Seppi, Kevin; Martinez, Tony. Turning Bayesian Model Averaging into Bayesian Model Combination (PDF). Proceedings of the International Joint Conference on Neural Networks IJCNN'11: 2657–2663. 2011 [2019-01-01]. (原始內容存檔 (PDF)於2014-07-05). 
  22. ^
    肯定Dzeroski,伯納德善光,可 是相結合的分類更好於選擇最好的一個頁面存檔備份,存於互聯網檔案館機學,2004,pp.255--273
  23. ^
    Bensusan,Hilan和吉羅載Christophe G.,發現任務區通過里程碑式的學習表演,PKDD'00:訴訟程序的第4次歐洲會議關於原則的數據挖掘和知識發現,Springer-Verlag,2000年,第325頁--330
  24. ^
    沃伯特,D., 堆疊的概括。的, 神經網絡,5(2),pp.241-259., 1992年
  25. ^ Breiman, L., Stacked Regression, Machine Learning, 24, 1996 doi:10.1007/BF00117832
  26. ^ Ozay, M.; Yarman Vural, F. T. A New Fuzzy Stacked Generalization Technique and Analysis of its Performance. 2013. Bibcode:2012arXiv1204.0171O. arXiv:1204.0171 . 
  27. ^
    史密斯,P.和沃伯特,D.H 的直線相結合的密度估計通過疊,機器 學習的期刊,36,59-83,1999年
  28. ^
    沃伯特,D.,和麥克瑞德,W.G., 一個有效的方法來估計裝袋的概括錯誤、學習機雜誌,35,41-55來,1999年
  29. ^
    克拉克,B., Bayes模型平均和堆疊當的模式近似的錯誤不可忽視,Journal of機學習的研究,pp683-712,2003年
  30. ^ Sill, J.; Takacs, G.; Mackey, L.; Lin, D. Feature-Weighted Linear Stacking. 2009. Bibcode:2009arXiv0911.0460S. arXiv:0911.0460 . 
  31. ^ Amini, Shahram M.; Parmeter, Christopher F. Bayesian model averaging in R (PDF). Journal of Economic and Social Measurement. 2011, 36 (4): 253–287 [2019-01-01]. (原始內容存檔 (PDF)於2017-12-03). 
  32. ^ BMS: Bayesian Model Averaging Library. The Comprehensive R Archive Network. [September 9, 2016]. (原始內容存檔於2020-11-28). 
  33. ^ BAS: Bayesian Model Averaging using Bayesian Adaptive Sampling. The Comprehensive R Archive Network. [September 9, 2016]. (原始內容存檔於2020-10-07). 
  34. ^ BMA: Bayesian Model Averaging. The Comprehensive R Archive Network. [September 9, 2016]. (原始內容存檔於2021-05-07). 
  35. ^ Classification Ensembles. MATLAB & Simulink. [June 8, 2017]. (原始內容存檔於2020-12-01). 
  36. ^ 36.0 36.1 Woźniak, Michał; Graña, Manuel; Corchado, Emilio. A survey of multiple classifier systems as hybrid systems. Information Fusion. March 2014, 16: 3–17. doi:10.1016/j.inffus.2013.04.006. 
  37. ^ 37.0 37.1 Rodriguez-Galiano, V.F.; Ghimire, B.; Rogan, J.; Chica-Olmo, M.; Rigol-Sanchez, J.P. An assessment of the effectiveness of a random forest classifier for land-cover classification. ISPRS Journal of Photogrammetry and Remote Sensing. January 2012, 67: 93–104. Bibcode:2012JPRS...67...93R. doi:10.1016/j.isprsjprs.2011.11.002. 
  38. ^ Giacinto, Giorgio; Roli, Fabio. Design of effective neural network ensembles for image classification purposes. Image and Vision Computing. August 2001, 19 (9-10): 699–707. doi:10.1016/S0262-8856(01)00045-2. 
  39. ^ Xia, Junshi; Yokoya, Naoto; Iwasaki, Yakira. A novel ensemble classifier of hyperspectral and LiDAR data using morphological features. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). March 2017: 6185–6189. doi:10.1109/ICASSP.2017.7953345. 
  40. ^ Mochizuki, S.; Murakami, T. Accuracy comparison of land cover mapping using the object-oriented image classification with machine learning algorithms. 33rd Asian Conference on Remote Sensing 2012, ACRS 2012. November 2012, 1: 126–133. 
  41. ^ Giacinto, G.; Roli, F.; Fumera, G. Design of effective multiple classifier systems by clustering of classifiers. Proceedings 15th International Conference on Pattern Recognition. ICPR-2000. September 2000: 160-163. doi:10.1109/ICPR.2000.906039. 
  42. ^ Du, Peijun; Liu, Sicong; Xia, Junshi; Zhao, Yindi. Information fusion techniques for change detection from multi-temporal remote sensing images. Information Fusion. January 2013, 14 (1): 19–27. doi:10.1016/j.inffus.2012.05.003. 
  43. ^ Bruzzone, Lorenzo; Cossu, Roberto; Vernazza, Gianni. Combining parametric and non-parametric algorithms for a partially unsupervised classification of multitemporal remote-sensing images. Information Fusion. December 2002, 3 (4): 289–297. doi:10.1016/S1566-2535(02)00091-X. 
  44. ^ Raj Kumar, P. Arun; Selvakumar, S. Distributed denial of service attack detection using an ensemble of neural classifier. Computer Communications. July 2011, 34 (11): 1328–1341. doi:10.1016/j.comcom.2011.01.012. 
  45. ^ Shabtai, Asaf; Moskovitch, Robert; Elovici, Yuval; Glezer, Chanan. Detection of malicious code by applying machine learning classifiers on static features: A state-of-the-art survey. Information Security Technical Report. February 2009, 14 (1): 16–29. doi:10.1016/j.istr.2009.03.003. 
  46. ^ Zhang, Boyun; Yin, Jianping; Hao, Jingbo; Zhang, Dingxing; Wang, Shulin. Malicious Codes Detection Based on Ensemble Learning. Autonomic and Trusted Computing. 2007: 468–477. doi:10.1007/978-3-540-73547-2_48. 
  47. ^ Menahem, Eitan; Shabtai, Asaf; Rokach, Lior; Elovici, Yuval. Improving malware detection by applying multi-inducer ensemble. Computational Statistics & Data Analysis. February 2009, 53 (4): 1483–1494. doi:10.1016/j.csda.2008.10.015. 
  48. ^ Locasto, Michael E.; Wang, Ke; Keromytis, Angeles D.; Salvatore, J. Stolfo. FLIPS: Hybrid Adaptive Intrusion Prevention. Recent Advances in Intrusion Detection. 2005: 82–101. doi:10.1007/11663812_5. 
  49. ^ Giacinto, Giorgio; Perdisci, Roberto; Del Rio, Mauro; Roli, Fabio. Intrusion detection in computer networks by a modular ensemble of one-class classifiers. Information Fusion. January 2008, 9 (1): 69–82. doi:10.1016/j.inffus.2006.10.002. 
  50. ^ Mu, Xiaoyan; Lu, Jiangfeng; Watta, Paul; Hassoun, Mohamad H. Weighted voting-based ensemble classifiers with application to human face recognition and voice recognition. 2009 International Joint Conference on Neural Networks. July 2009. doi:10.1109/IJCNN.2009.5178708. 
  51. ^ Yu, Su; Shan, Shiguang; Chen, Xilin; Gao, Wen. Hierarchical ensemble of Gabor Fisher classifier for face recognition. Automatic Face and Gesture Recognition, 2006. FGR 2006. 7th International Conference on Automatic Face and Gesture Recognition (FGR06). April 2006: 91–96. doi:10.1109/FGR.2006.64. 
  52. ^ Su, Y.; Shan, S.; Chen, X.; Gao, W. Patch-based gabor fisher classifier for face recognition. Proceedings - International Conference on Pattern Recognition. September 2006, 2: 528–531. doi:10.1109/ICPR.2006.917. 
  53. ^ Liu, Yang; Lin, Yongzheng; Chen, Yuehui. Ensemble Classification Based on ICA for Face Recognition. Proceedings - 1st International Congress on Image and Signal Processing, IEEE Conference, CISP 2008. July 2008: 144–148 [2019-01-01]. doi:10.1109/CISP.2008.581. (原始內容存檔於2019-06-09). 
  54. ^ Rieger, Steven A.; Muraleedharan, Rajani; Ramachandran, Ravi P. Speech based emotion recognition using spectral feature extraction and an ensemble of kNN classifiers. Proceedings of the 9th International Symposium on Chinese Spoken Language Processing, ISCSLP 2014. 2014: 589–593. doi:10.1109/ISCSLP.2014.6936711. 
  55. ^ Krajewski, Jarek; Batliner, Anton; Kessel, Silke. Comparing Multiple Classifiers for Speech-Based Detection of Self-Confidence - A Pilot Study. 2010 20th International Conference on Pattern Recognition. October 2010: 3716–3719. doi:10.1109/ICPR.2010.905. 
  56. ^ Rani, P. Ithaya; Muneeswaran, K. Recognize the facial emotion in video sequences using eye and mouth temporal Gabor features. Multimedia Tools and Applications. 25 May 2016, 76 (7): 10017–10040. doi:10.1007/s11042-016-3592-y. 
  57. ^ Rani, P. Ithaya; Muneeswaran, K. Facial Emotion Recognition Based on Eye and Mouth Regions. International Journal of Pattern Recognition and Artificial Intelligence. August 2016, 30 (07): 1655020. doi:10.1142/S021800141655020X. 
  58. ^ Rani, P. Ithaya; Muneeswaran, K. Emotion recognition based on facial components. Sādhanā. 28 March 2018, 43 (3). doi:10.1007/s12046-018-0801-6. 
  59. ^ Louzada, Francisco; Ara, Anderson. Bagging k-dependence probabilistic networks: An alternative powerful fraud detection tool. Expert Systems with Applications. October 2012, 39 (14): 11583–11592. doi:10.1016/j.eswa.2012.04.024. 
  60. ^ Sundarkumar, G. Ganesh; Ravi, Vadlamani. A novel hybrid undersampling method for mining unbalanced datasets in banking and insurance. Engineering Applications of Artificial Intelligence. January 2015, 37: 368–377. doi:10.1016/j.engappai.2014.09.019. 
  61. ^ 61.0 61.1 Kim, Yoonseong; Sohn, So Young. Stock fraud detection using peer group analysis. Expert Systems with Applications. August 2012, 39 (10): 8986–8992. doi:10.1016/j.eswa.2012.02.025. 
  62. ^ Savio, A.; García-Sebastián, M.T.; Chyzyk, D.; Hernandez, C.; Graña, M.; Sistiaga, A.; López de Munain, A.; Villanúa, J. Neurocognitive disorder detection based on feature vectors extracted from VBM analysis of structural MRI. Computers in Biology and Medicine. August 2011, 41 (8): 600–610. doi:10.1016/j.compbiomed.2011.05.010. 
  63. ^ Ayerdi, B.; Savio, A.; Graña, M. Meta-ensembles of classifiers for Alzheimer's disease detection using independent ROI features. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). June 2013, (Part 2): 122–130. doi:10.1007/978-3-642-38622-0_13. 
  64. ^ Gu, Quan; Ding, Yong-Sheng; Zhang, Tong-Liang. An ensemble classifier based prediction of G-protein-coupled receptor classes in low homology. Neurocomputing. April 2015, 154: 110–118. doi:10.1016/j.neucom.2014.12.013.