機器學習的學習方式及演算法
機器學習的演算法很多。很多時候困惑人們都是，很多演算法是一類演算法，而有些演算法又是從其他演算法中延伸出來的。這裡，我們從兩個方面來給大家介紹，第一個方面是學習的方式，第二個方面是演算法的類似性。
1、學習方式
根據數據類型的不同，對一個問題的建模有不同的方式。在機器學習或者人工智慧領域，人們首先會考慮演算法的學習方式。在機器學習領域，有幾種主要的學習方式。將演算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和演算法選擇的時候考慮能根據輸入數據來選擇最合適的演算法來獲得最好的結果。
2、監督式學習：
在監督式學習下，輸入數據被稱為「訓練數據」，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中「垃圾郵件」「非垃圾郵件」，對手寫數字識別中的「1「，」2「，」3「，」4「等。在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與「訓練數據」的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。常見演算法有邏輯回歸（Logistic Regression）和反向傳遞神經網路（Back Propagation Neural Network）
Advertisements
3、非監督式學習：
在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見演算法包括Apriori演算法以及k-Means演算法。
4、半監督式學習：
在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，演算法包括一些對常用監督式學習演算法的延伸，這些演算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理演算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。
Advertisements
5、強化學習：
在這種學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。常見演算法包括Q-Learning以及時間差學習（Temporal difference learning）
在企業數據應用的場景下， 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域，由於存在大量的非標識的數據和少量的可標識數據， 目前半監督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。
6、演算法類似性
根據演算法的功能和形式的類似性，我們可以把演算法分類，比如說基於樹的演算法，基於神經網路的演算法等等。當然，機器學習的範圍非常龐大，有些演算法很難明確歸類到某一類。而對於有些分類來說，同一分類的演算法可以針對不同類型的問題。這裡，我們盡量把常用的演算法按照最容易理解的方式進行分類。
7、回歸演算法：
回歸演算法是試圖採用對誤差的衡量來探索變數之間的關係的一類演算法。回歸演算法是統計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類演算法，這一點常常會使初學者有所困惑。常見的回歸演算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）
8、基於實例的演算法
基於實例的演算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然後根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基於實例的演算法常常也被稱為「贏家通吃」學習或者「基於記憶的學習」。常見的演算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射演算法（Self-Organizing Map ， SOM）
9、正則化方法
正則化方法是其他演算法（通常是回歸演算法）的延伸，根據演算法的複雜度對演算法進行調整。正則化方法通常對簡單模型予以獎勵而對複雜演算法予以懲罰。常見的演算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網路（Elastic Net）。
10、決策樹學習
決策樹演算法根據數據的屬性採用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的演算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）
11、貝葉斯方法
貝葉斯方法演算法是基於貝葉斯定理的一類演算法，主要用來解決分類和回歸問題。常見演算法包括：樸素貝葉斯演算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。
12、基於核的演算法
基於核的演算法中最著名的莫過於支持向量機（SVM）了。 基於核的演算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基於核的演算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等
13、聚類演算法
聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類演算法。聚類演算法通常按照中心點或者分層的方式對輸入數據進行歸併。所以的聚類演算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。常見的聚類演算法包括 k-Means演算法以及期望最大化演算法（Expectation Maximization， EM）。
14、關聯規則學習
關聯規則學習通過尋找最能夠解釋數據變數之間關係的規則，來找出大量多元數據集中有用的關聯規則。常見演算法包括 Apriori演算法和Eclat演算法等。