協同過濾推薦演算法的原理及實現

2016-03-23
加入好友隨時分享有用經驗！

作者：藍鯨

協同過濾推薦演算法是誕生最早，並且較為著名的推薦演算法。主要的功能是預測和推薦。演算法通過對用戶歷史行為數據的挖掘發現用戶的偏好，基於不同的偏好對用戶進行群組劃分並推薦品味相似的商品。協同過濾推薦演算法分為兩類，分別是基於用戶的協同過濾演算法(user-based collaboratIve filtering)，和基於物品的協同過濾演算法(item-based collaborative filtering)。簡單的說就是：人以類聚，物以群分。下面我們將分別說明這兩類推薦演算法的原理和實現方法。

1.基於用戶的協同過濾演算法(user-based collaboratIve filtering)

基於用戶的協同過濾演算法是通過用戶的歷史行為數據發現用戶對商品或內容的喜歡(如商品購買，收藏，內容評論或分享)，並對這些喜好進行度量和打分。根據不同用戶對相同商品或內容的態度和偏好程度計算用戶之間的關係。在有相同喜好的用戶間進行商品推薦。簡單的說就是如果A,B兩個用戶都購買了x,y,z三本圖書，並且給出了5星的好評。那麼A和B就屬於同一類用戶。可以將A看過的圖書w也推薦給用戶B。

1.1尋找偏好相似的用戶

我們模擬了5個用戶對兩件商品的評分，來說明如何通過用戶對不同商品的態度和偏好尋找相似的用戶。在示例中，5個用戶分別對兩件商品進行了評分。這裡的分值可能表示真實的購買，也可以是用戶對商品不同行為的量化指標。例如，瀏覽商品的次數，向朋友推薦商品，收藏，分享，或評論等等。這些行為都可以表示用戶對商品的態度和偏好程度。

從表格中很難直觀發現5個用戶間的聯繫，我們將5個用戶對兩件商品的評分用散點圖表示出來后，用戶間的關係就很容易發現了。在散點圖中，Y軸是商品1的評分，X軸是商品2的評分，通過用戶的分佈情況可以發現，A,C,D三個用戶距離較近。用戶A(3.3 6.5)和用戶C(3.6 6.3)，用戶D(3.4 5.8)對兩件商品的評分較為接近。而用戶E和用戶B則形成了另一個群體。

散點圖雖然直觀，但無法投入實際的應用，也不能準確的度量用戶間的關係。因此我們需要通過數字對用戶的關係進行準確的度量，並依據這些關係完成商品的推薦。

1.2歐幾里德距離評價

歐幾里德距離評價是一個較為簡單的用戶關係評價方法。原理是通過計算兩個用戶在散點圖中的距離來判斷不同的用戶是否有相同的偏好。以下是歐幾里德距離評價的計算公式。

通過公式我們獲得了5個用戶相互間的歐幾里德係數，也就是用戶間的距離。係數越小表示兩個用戶間的距離越近，偏好也越是接近。不過這裡有個問題，太小的數值可能無法準確的表現出不同用戶間距離的差異，因此我們對求得的係數取倒數，使用戶間的距離約接近，數值越大。在下面的表格中，可以發現，用戶A&C用戶A&D和用戶C&D距離較近。同時用戶B&E的距離也較為接近。與我們前面在散點圖中看到的情況一致。

1.3皮爾遜相關度評價

皮爾遜相關度評價是另一種計算用戶間關係的方法。他比歐幾里德距離評價的計算要複雜一些，但對於評分數據不規範時皮爾遜相關度評價能夠給出更好的結果。以下是一個多用戶對多個商品進行評分的示例。這個示例比之前的兩個商品的情況要複雜一些，但也更接近真實的情況。我們通過皮爾遜相關度評價對用戶進行分組，並推薦商品。

1.4皮爾遜相關係數

皮爾遜相關係數的計算公式如下，結果是一個在-1與1之間的係數。該係數用來說明兩個用戶間聯繫的強弱程度。

相關係數的分類

0.8-1.0 極強相關
0.6-0.8 強相關
0.4-0.6 中等程度相關
0.2-0.4 弱相關
0.0-0.2 極弱相關或無相關

通過計算5個用戶對5件商品的評分我們獲得了用戶間的相似度數據。這裡可以看到用戶A&B，C&D，C&E和D&E之間相似度較高。下一步，我們可以依照相似度對用戶進行商品推薦。

2,為相似的用戶提供推薦物品

為用戶C推薦商品

當我們需要對用戶C推薦商品時，首先我們檢查之前的相似度列表，發現用戶C和用戶D和E的相似度較高。換句話說這三個用戶是一個群體，擁有相同的偏好。因此，我們可以對用戶C推薦D和E的商品。但這裡有一個問題。我們不能直接推薦前面商品1-商品5的商品。因為這這些商品用戶C以及瀏覽或者購買過了。不能重複推薦。因此我們要推薦用戶C還沒有瀏覽或購買過的商品。

加權排序推薦

我們提取了用戶D和用戶E評價過的另外5件商品A—商品F的商品。並對不同商品的評分進行相似度加權。按加權后的結果對5件商品進行排序，然後推薦給用戶C。這樣，用戶C就獲得了與他偏好相似的用戶D和E評價的商品。而在具體的推薦順序和展示上我們依照用戶D和用戶E與用戶C的相似度進行排序。

以上是基於用戶的協同過濾演算法。這個演算法依靠用戶的歷史行為數據來計算相關度。也就是說必須要有一定的數據積累(冷啟動問題)。對於新網站或數據量較少的網站，還有一種方法是基於物品的協同過濾演算法。

基於物品的協同過濾演算法(item-based collaborative filtering)

基於物品的協同過濾演算法與基於用戶的協同過濾演算法很像，將商品和用戶互換。通過計算不同用戶對不同物品的評分獲得物品間的關係。基於物品間的關係對用戶進行相似物品的推薦。這裡的評分代表用戶對商品的態度和偏好。簡單來說就是如果用戶A同時購買了商品1和商品2，那麼說明商品1和商品2的相關度較高。當用戶B也購買了商品1時，可以推斷他也有購買商品2的需求。