- 相關推薦
個性化電子商務系統中的自適應過濾算法探究
[摘要]電子商務的飛速發展在方便顧客的同時也帶來了一個題目：產品過多致使顧客不能有效選擇其所需產品。為滿足顧客的個性化電子商務需求，文章提出一個新的基于向量空間模型的自適應過濾算法。該算法首先采用特征向量和偽反饋并借助練習算法來選取初始過濾輪廓和閩值，然后運用用戶反饋通過過濾算法對輪廓和閾值進行修正。該算法具備兩個優點：一是能夠進行自我學習來進步精確度；二是過濾過程無需大量的初始文本。將其用于電子商務并進行測試，測試結果證實它是有效的。[關鍵詞]個性化電子商務；自適應過濾算法；閩值優化算法；精確度；特征選擇
電子商務伴隨著互聯網飛速發展，同時也為企業和顧客帶來了一個新局面：企業發現競爭日益激烈，生存日益艱難；顧客發現產品日益增多，但信息處理負擔日益加重，選擇自己所需的產品日益困難。因此，亟需新的市場戰略，如一對一的銷售、客戶關系治理等。學術界和實踐者已夸大了這一緊迫性。而個性化推薦，即為每個客戶推薦一個產品清單供其選擇，就是實施這些新戰略的方案之一。
目前已經有很多推薦技術，其中協同過濾技術是當前最為成功和廣泛使用的個性化推薦技術。它被廣泛應用于網頁、電影、文章和產品的推薦，作用原理是先識別出具有相似產品需求的顧客群，然后為這一顧客群推薦產品。然而，盡管這些推薦技術業已成功，但仍暴露出一些廣為人知的可能導致不良推薦的局限性，如算法的可擴展性、評價數據的稀疏性和初始資源推薦題目。
鑒于此，筆者提出一個新的基于向量空間模型的自適應過濾算法。該算法改進了傳統算法，并將自適應反饋研究機制引進智能控制中，因此具備兩個優點：一是能夠進行自我學習來進步精確度；二是過濾過程無需大量的初始文本。
一、自適應過濾算法結構
基于向量空間模型的自適應過濾算法分為兩步：練習階段和自適應過濾階段。
練習階段的任務是獲取初始過濾輪廓并設置初始閾值。
自適應過濾階段的主要任務是對輪廓和閾值進行適應性修改。因主題和文檔均由向量空間模型展示，所以每個主題和文檔都轉化為特征向量。
(一)練習階段的結構
圖1顯示的是練習階段的結構。首先從正文檔和偽正文檔中提取出特征向量。偽正文檔即練習集里的那些具有與正文檔非常相似的主題卻未能標識成正文檔的文檔。它們可以由多種方式獲得，可以通過偽反饋獲得，或者通過種類分級結構獲得：一個主題的偽正文檔之高級種類與練習集提供的高級種類相同。
為得到特征向量，首先剔除禁用詞，接著對剩余的詞進行形態分析，然后根據公式(1)計算詞語與主題之間的對數交互信息：
logMI(wi，Tj)=log(p(wi/Tj/p(wi)) (1)
上述公式中，wi是第i個詞語，Tj是第j個主題。對數交互信息越高，wi和Tj相關性越高。p(wi/Tj)和p(wi)由最大可能性方法估計出。
對于每個主題，選取那些對數交互信息高于3.0而且在有關文檔中出現不止一次的詞語。對數交互信息不僅被用作選擇標準，而且被用作特征詞的權重。 得到正文檔和偽正文檔的特征向量之后，將其合并到初始輪廓中。初始輪廓是正文檔和偽正文檔的特征向量之加權和。然后根據練習集里每個文檔的相似性為每個主題設置初始閾值。輪廓與練習文檔之間的相似性由如下余弦公式(2)計算出：
pj是第j個主題的輪廓向量，di是第i個文檔的向量，dik是di中第k個詞語的權重，由下列公式(3)計算得出：
dik=1 log(tfikavdlIdl) (3)
此公式中，如是第i個文檔中第k個詞語的條件頻率，dl是形態處理和禁用詞剔除之后通過文檔標志計數得到的文檔長度，avdl是從練習集得到的均勻文檔長度。根據練習文檔的相似性設置每一個初始閾值以達到最高過濾性能。
(二)自適應性算法的結構
自適應過濾是自適應過濾算法的一個非常重要的階段。我們從練習階段得到了初始輪廓和閾值。當過濾輸進文檔時，主題輪廓和閾值則依據各種不同信息，如：用戶反饋、輸進文檔的向量等進行自適應更新。
圖2顯示了適應性過濾的結構。當一個文檔到達時，其與主題的相似性即被計算出。假如該相似性高于當前閾值，則這個文檔被找回，用戶的相關性判定也由此得出。假如該文檔真正與主題相關，則其被以為是正實例，反之則是負實例。正實例和負實例的向量根據公式(4)被用于主題輪廓的修改。
p'j=pi αpj(pos) βpj(neg) (4)
p'j是修改后的主題輪廓，pj修改前的主題輪廓，pj(cos)是更新階段得到的正實例的向量，pj(neg)是更新階段得到的負實例的向量；α和β分別是正向量和負向量的權重。
(三)閾值優化算法
筆者提出一個新的閾值優化算法。定義該算法使用下列符號：
t：文檔編號，可以看作是時問，由于文檔是按照時間順序處理的；
n(f)：被處理的文檔的數目；
nR(f)：找回的相關文檔；
nN(f)：找回的不相關文檔；
T(t)：在t時刻的閾值；
S(tk，tk 1t)：在(tk，tk 1)時間段中被拒盡的文檔的均勻相似性；
P(tk tk 1)：在(tk，tk 1)時間段中過濾的精確度，并且p(tk，tk 1)=nR(tk 1-nR(tk/n(tk ))-n(tk) (5)
假如我們憑直覺處理，精確度太低就應該進步閾值，很少文檔被找回則降低閾值。我們使用S(tk，tk 1)和P(tk，tk 1)來決定是進步閾值抑或降低閾值。
調整閾值的算法如下所示：
IF p(tk，tk 1)≤EP(ttk 1) THEN
T(tk 1)=T(tk) α(tk 1)(1-T(tk))
ELSEIF S(ttk，tk 1)＜T(tk)r THEN
T(tk 1)=T(tk)Dt1 S(tk，tk 1)Dt2
ELSE
T(tk 1)=T(tk)Dt1 S(tk，tk 1)Dt2
α(tk 1)是閾值進步系數，β(tk 1)是閾值降低系數，它們也可以被看作是關于nR(t)的函數。在試驗中，我們采用nR(t)的線性函數，該函數如公式(6)、公式(7)所示：
αo是初始進步系數，β是初始降低系數，參數u代表應該用于調整閾值、修改輪廓的正文檔的最大數目。我們設置αo=0.02，u=0.1，(應該是βo吧)μ=300。從以上等式可以看出，隨著時間推移，nR(tk)將逐漸增大，α(tk)和β(tk)將逐漸減小。這也反映出過濾將越來越好，調整步階將越來越小這一趨勢。
參數r表示：假如s(tk 1，tk)低于T(tk 1)r，閾值應該由系數D1和D2來降低。在試驗中，我們設置r=0.1，=0.8，=0.2。
EP(t 1k)表示我們所期看的過濾應該在tk時刻達到的精確度。我們首先將其作為常數，嘗試不同的值來觀察過濾性能，但是結果不盡如人意。我們意識到在過濾初期就希看達到終極期看精確度是不正確的，因而采用了一個逐漸上升的函數，該函數如公式(8)所示：
EP(tk 1)=P (Pfinal-P0)nR(tk 1)IU
(8)
P0和Ptfinal分別是過濾初期和過濾末期我們所希看過濾達到的精確度。
nR(tk 1)-nR(tk)的值決定著過濾對閾值的調整頻率，其越小表明過濾對閾值的調整越頻繁。在我們的適應性過濾中，我們將其設為1，即意味著過濾只在找回一個正實例之后才調整閾值。
二、試驗
根據研究，我們將個性化服務系統的合作項目與社區結合起來。筆者構建了一個基于為特定社區服務的電子商務的個性化推薦系統網站。為得到對比試驗結果，傳統的過濾批次算法和自適應過濾算法被分別應用于個性化社團過濾模塊中。試驗數據從上面提及的電子商務網站得到，并劃分成兩個集合：練習實例(5062個社區)和測試實例(4028個社區)。64個主題也被用于該試驗。試驗結果如圖3所示。x軸是64個主題按照精確度從高到低排列，Y軸是傳統批次過濾和自適應過濾對于每個種類的精確度。傳統批次過濾為每個主題提供了12個相關社團，適應性過濾則提供了3個。此外，每個種類只有3個相關社團。
從圖3可以看出，批次過濾算法的性能下降不快，兩條曲線非常接近。事實上，兩個均勻值分別是30.9％和25.8％，范圍只降低了16.3％。但是，大多數種類的精確度在不使用適應性過濾算法的情況下下降很多，均勻精確度是17.6％，下降45.2％。這就完整揭示了自適應功能。
三、結論
綜上所述，筆者提出一個新的基于向量空間模型的用于電子商務的自適應過濾算法。將該算法應用于基于電子商務的個性化服務系統中進行測試，測試結果證實它是有效可行的。希看本文能為其他研究者提供一定的參考價值。
【個性化電子商務系統中的自適應過濾算法探究】相關文章：
非理想信道條件下MIMO系統中的自適應調制算法研究03-07
OFDMA系統中功率分配算法研究03-07
MCMC算法在MIMO系統檢測中的應用03-07
Tunstall編碼與自適應編碼算法03-07
EPON系統中的FEC譯碼算法實現比較03-07
網頁消重中多維布隆過濾器算法的運用11-18
新型的OFDM自適應調制算法研究03-07