專利名稱：一種基于視頻情感特征與會話模型的視頻推薦方法
一種基于視頻情感特征與會話模型的視頻推薦方法技術領域
本發明屬于多媒體處理領域，涉及視頻的圖像與聲音分析、情感特征提取及相似度比較以及會話模型的建立，具體是一種基于視頻情感特征與會話模型的視頻推薦方法。
背景技術：
基于內容的視頻信息提取(Content Based Video Retrieval，簡稱CBVR)方法使用視頻中的特征來獲得用戶感興趣的視頻，這一領域相對而言已經較為成熟。而視頻情感內容的分析處理則是CBVR中最近興起的一個方向，但是對其進行的研究正在不斷增加。 這一方向將視頻處理和情感計算綜合在一起，為視頻內容的組織和信息挖掘提供了新的視角。情感計算的目的是通過賦予計算機識別、理解、表達和適應人的情感的能力來建立和諧人機環境，并使計算機具有更高的、全面的智能。
其中一種較為有效的處理方法為基于情感空間的情感內容分析方法。Hanjalic 等人提出了一種誘力-激勵(Valence-Arousal)模型，來對視頻的情感特征進行描述(參考文獻 1 :Hanjalic, Α. , Li-Qun, Χ. , Affective Video Content Representation and Modeling, IEEE Tran. on Multimedia, 2005)。他們通過從視頻中提取圖像、音頻上的部分特征，并將特征進行處理后投射于一個二維情感空間中。這些特征組成的曲線，即“情感曲線”，能夠用來可靠地檢測用戶情感狀態的變化。Sim等人通過使用高斯混合模型和模糊邏輯等方法，將這一方法進行了擴充和改進(參考文獻2 :Sim，K.，Yu, J.，Huang, Y. ， An improved valence-arousal emotion space for video affective content representation and recognition. ICME 2009)。
視頻推薦是一個根據視頻特征相似度大小，將不同于當前播放視頻，但是從某些特征角度而言與當前視頻相似的視頻篩選出來的過程。已有的一些視頻推薦方法， 如Dimitrova等人提出的方法，利用兩個視頻間對應幀的平均距離作為相似度，并規定視頻幀序列遵守時間順序，以此給出所推薦視頻(參考文獻3 =Nevenka Dimitrova and Mohamed AbdeI-Mottaleb. Content-based video retrieval by example video clip. SPIE 3022. 1997)。Koren等人提出的解決Netflix推薦問題的方法，則利用已有的用戶觀看歷史數據推測用戶喜好，并給出相應的相似度和推薦結果(參考文獻4 =Yehuda Koren. Factorization meets the neighborhood :a multifaceted collaborative filtering model. SIGKDD2008.)。這些方法達到了較好的效果，但是他們考量的因素均較為有限，如以大量樣本作為依據，而較少考慮用戶個人的喜好。
隨著近年來在線視頻數量的爆炸式增長，視頻本身作為一種信息量更大的媒體， 越來越多的出現在了網站、微博上。被互聯網視頻網站所使用的個性化推薦系統，基本使用源自于用戶個人觀看記錄的數據和視頻描述信息進行視頻相似度的比較和視頻推薦。這些系統利用的視頻信息包括視頻的來源、標題文本相似度等，但是對視頻本身內容則很少進行分析。傳統的互聯網視頻分享網站，例如^utube、優酷等，大量利用視頻的元數據和相關的文本描述信息，如視頻標題、人工標注的標簽、分類名稱等，來進行相似視頻的分辨和推薦工作。其他的一些網站，如Netflix等，借助于大量用戶的行為數據進行聚類和推薦，而這種分類往往忽略了視頻的內容，以及用戶對于視頻在滿足其觀看情感程度上的需求。
發明內容
本發明針對目前的視頻推薦方法往往忽略了視頻的內容，也忽略了用戶對于視頻在滿足其觀看情感程度上的需求的問題，提出了一種基于視頻情感特征與會話模型的視頻推薦方法。本發明提出的基于視頻情感特征與會話模型的視頻推薦方法，采用視頻的情感特征作為比較的基礎，具體視頻推薦方法包括以下步驟步驟1 對視頻庫中的每個視頻，從該視頻及其附屬音軌中提取情感特征，包括幀運動量、鏡頭切變、聲音能量和平均聲音基頻，根據獲得的情感特征確定情感誘力和激勵函數，合成誘力-激勵(Valence-Arousal)曲線圖，簡稱為V_A圖。步驟2 將視頻產生的V-A 圖進行均一化操作，通過使V-A圖中所有像素按照一定比例縮放，并落在同一區間內，產生均一化V-A圖。步驟3 將各視頻的均一化V-A圖劃分為固定數量且大小相同的區塊，記每個視頻的分塊總數為N。分別計算每一塊中的顏色直方圖，得到分塊顏色直方圖。步驟4 從視頻庫中選取兩幅未進行相似度比較的視頻的均一化V-A圖，將選取的兩幅均一化V-A圖中對應相同位置的分塊顏色直方圖分為一組，設置一個計數器db，且該計數器db的值設置為零。步驟5 從當前選取的兩幅均一化V-A圖中選擇一組尚未進行處理的分塊顏色直方圖，統計分塊顏色直方圖中所有不為0的像素值所包含的像素數，作為分塊顏色直方圖的非空白像素部分值，然后標記該組中的兩個分塊顏色直方圖為已處理；所述的兩個直方圖要求位于不同的兩幅均一化V-A圖的對應相同位置上。判斷該組中的兩個分塊顏色直方圖的非空白像素部分值是否都為零，若是，則轉步驟7進行，否則，執行步驟6。步驟6 將步驟5中得到的一組中的兩個分塊顏色直方圖的非空白像素部分值作差，若差值大于設定的閾值，將計數器db的值加1，然后執行步驟7，否則不對db進行操作， 直接執行步驟7。步驟7 判斷當前選取的兩幅均一化V-A圖中是否存在未處理的分塊顏色直方圖， 若存在，轉步驟5執行，否則執行步驟8。步驟8 統計當前選取的兩幅均一化V-A圖產生的分塊顏色直方圖中非空白像素部分值不為零的分塊數目，記為Cl和C2。步驟9 獲得區塊差 diff_block = db/N,以及覆蓋差 diff_cov = |C1_C2|/N。步驟10 確定當前選取的兩幅均一化V-A圖的相似度值，根據相似度函數得到S = w_block (l-diff_block) +w_cov (l-diff_cov)其中，w_block為區塊差閾值，w_cov為覆蓋差閾值。步驟11 判斷視頻庫中是否存在未進行相似度比較的視頻，若有，轉步驟4執行， 若不存在，則根據得到的所有相似度值，通過譜聚類法對視頻庫中的視頻進行聚類處理并得到聚類結果。每個聚類中的視頻彼此將具有情感相似性。步驟12 用戶在觀看某個視頻的時候，按照該視頻所屬的聚類，將同一聚類中的其他視頻作為推薦結果顯示給用戶，在用戶連續觀看過程中，通過會話模型對視頻推薦結果進行更新。所述的步驟12中在用戶連續觀看過程中，通過會話模型對視頻推薦結果進行更新的具體步驟為步驟1. 1 初始化會話模型將用戶初始選擇的視頻的均一化V-A圖，作為初始演化V-A圖，記為EVAG(O)，并清空計時器T ；結束觀看第k個視頻后得到的演化V-A圖記為 EVAG (k), k ^ 1 ο步驟1. 2 在用戶觀看完當前第k個視頻后，判斷用戶是否繼續觀看第k+Ι個視頻，若否，則結束本方法，若是，記錄用戶當前結束觀看的第k個視頻的兩個屬性值視頻被播放的次數和視頻被用戶所評價的得分，對兩個屬性值分別進行均一化處理，具體是將視頻被播放次數除以視頻庫中播放次數最多的視頻的播放次數，將視頻被用戶所評價的得分除以視頻庫中所有視頻被用戶所評價的最高分，然后將均一化的兩個屬性值相加并除以2， 與用戶當前結束觀看的第k個視頻的均一化V-A圖中的每個像素點相乘，得到經過加權的均一化V-A圖。步驟1.3 在用戶觀看完當前第k個視頻后，記錄計時器T的值t，得到用戶開始觀看第k個視頻到當前時間點之間的時間差，并確定時間衰減函數a(t)的值a(t) = 1/ ln(e+t) ο步驟1.4:將a(t)的值與當前的演化V_A圖EVAG(k_l)中的所有像素點依次相乘， 獲得經過時間衰減函數處理的演化V-A圖EVAG (k-Ι)。步驟1. 5 將步驟1. 2中經過加權的均一化V-A圖和步驟1. 4中經過時間衰減函數處理的演化V-A圖EVAG(k-l)中對應的像素點相加，并進行均一化處理，得到觀看完第k 個視頻后的演化V-A圖EVAG (k)。步驟1. 6 將演化V-A圖EVAG(k)與視頻庫中的視頻進行情感特征相似度比較，將與演化V-A圖EVAG (k)處于同一聚類的視頻作為視頻推薦結果推薦給用戶。步驟1. 6所述的將演化V-A圖EVAG(k)與視頻庫中的視頻進行情感特征相似度比較，具體是將演化V-A圖EVAG (k)作為一個均一化V-A圖，并按照所述的步驟3進行分塊， 然后重復步驟4到10得到EVAG(k)與視頻庫中各視頻的相似度，然后再根據步驟11進行視頻聚類處理，將與演化V-A圖EVAG(k)處于同一聚類的視頻作為視頻推薦結果推薦給用戶。本發明的視頻推薦方法的優點與積極效果在于(1)本發明方法通過使用視頻的情感特征對視頻進行聚類和推薦，相對于傳統方法使用視頻視覺內容或用戶歷史行為信息等方案，能夠更加準確地向用戶提供滿足其情感狀態的視頻，提升用戶的視頻觀看體驗。(2)本發明方法通過使用激勵和誘力特征產生V-A圖，將視頻情感特征的提取和比較問題轉化為一個圖像的比較問題，相對于傳統的函數分析方式能夠進行針對圖像特征的分析，更加簡單且高效地進行比較。(3)本發明方法提出了使用均一化V-A圖和分塊顏色直方圖比較的方法對情感特征圖像進行比較，相對于傳統的圖像比較方法，在保持準確度和性能的前提下更加簡單和易于實現。
(4)本發明方法提出了一種基于用戶觀看歷史的會話模型，相對于傳統的靜態模型，能夠動態地調整聚類和推薦的參數，以更加符合用戶當前的情感狀態。
圖1為本發明的基于視頻情感特征與會話模型的視頻推薦方法應用場景的示例圖；圖2為某個視頻的V-A圖的示意圖；圖3為本發明的視頻推薦方法的整體步驟流程圖；圖4為采用本發明的視頻推薦方法中步驟三中對均一化V-A圖的劃分的示意圖；圖5為本發明的視頻推薦方法中步驟十二采用會話模型進行視頻推薦結果更新的步驟流程圖；圖6為本發明的視頻推薦方法同互聯網視頻網站常用的推薦方法所產生的平均點擊率的對比圖；圖7為本發明的視頻推薦方法同互聯網視頻網站常用的推薦方法所產生的平均會話長度的對比圖。
具體實施例方式下面將結合附圖和實例對本發明作進一步的詳細說明。本發明提出了一種基于視頻情感特征與會話模型的視頻推薦方法，能夠較為準確高效地讓用戶尋找到符合用戶情感狀態并希望觀看的視頻和包含它們的網站，從而尋找出視頻、網頁等內容之間的相似聯系。本發明提出的一種基于視頻情感特征與會話模型的視頻推薦方法，其應用場景為用戶在互聯網上進行視頻檢索和觀看的過程。下面通過一個簡單的例子來說明視頻推薦的過程。如圖1所示，視頻庫中包含12個視頻。假設初始時，用戶沒有在視頻庫中觀看過任何視頻。采用本發明方法將進行如下操作1)通過對視頻內部的圖像和聲音特征，提取并計算出每個視頻的誘力和激勵特征，并合成產生V-A圖。2~)針對每一個V-A圖，確定其中像素的顏色最大和最小值，并按照這些極值進行均一化操作，產生均一化V-A圖，使得圖中每個像素點的顏色值落在特定范圍內。幻將均一化V-A圖劃分為特定數量且大小相同的區塊， 并為每一個區塊分別計算顏色直方圖。4)枚舉視頻庫中的視頻進行兩兩相互比較，從兩個視頻產生的均一化V-A圖中取得對應位置的區塊。若取得的一對區塊中含有非零像素點， 則計算該對區塊的顏色直方圖之差，并設置閾值。當一對分塊顏色直方圖之差大于閾值時， 則說明這兩個區塊表達的情感狀態存在明顯差異，否則認為這兩個區塊表達的情感狀態相同。5)統計兩個視頻產生的均一化V-A圖中，分塊顏色直方圖非空白像素部分值為零，即區塊內部中所有像素均為空白像素的區塊數目，與第4)步中產生的分塊顏色直方圖之差進行加權，得到兩個視頻的相似度。6)對視頻庫中的12段視頻所產生的66個視頻相似度值進行聚類運算，得到如圖1所示的3個聚類，分別包含3、4、5個視頻。認為每一個聚類中的視頻擁有相似的情感狀態。當用戶觀看第一個聚類中的某個視頻A時，系統將以該視頻的均一化V-A圖作為初始的演化V-A圖EVAG (0)。時間t后用戶選擇觀看第二個視頻，那么視頻A的均一化V-A圖將與視頻A的總播放次數、評分等參數共同作用，而EVAG(O)將與時間衰減量a(t)共同作用，兩者之和進行均一化以后產生EVAG(I)。EVAG(I)將代表用戶當前的情感狀態，成為第13個均一化V-A圖參與聚類處理。通過聚類處理后，將含有這一均一化V-A圖EVAG(I) 的那個聚類中的視頻返回給用戶，進行下一步的觀看選擇。用戶后續的觀看行為以此類推。 從上述例子可以看出，用戶觀看視頻過程中，情感特征成為了推薦視頻的理由，使得用戶能夠尋找到符合他們情感狀態的視頻內容。視頻推薦過程中涉及到對均一化V-A圖像的處理，步驟簡單。而演化V-A圖的引入使得用戶的情感狀態隨著觀看視頻的喜好而得以表達， 通過跟蹤用戶的觀看歷史來了解用戶的情感狀態變化，進而向用戶推薦適合其當前情感狀態的視頻內容。本發明提出的一種基于視頻情感特征與會話模型的視頻推薦方法，采用視頻的情感特征作為比較的基礎，其流程如圖3所示，具體包括如下步驟步驟一收集視頻，形成視頻庫，針對視頻庫中每個視頻，從視頻及其附屬音軌中提取多種情感特征，計算誘力和激勵函數，并合成誘力-激勵曲線圖，簡稱V-A圖。所述的提取的多種情感特征包括幀運動量、鏡頭切變率、聲音能量和平均聲音基頻。本發明方法中通過處理計算宏塊的運動向量來得到幀運動，并通過運動向量的屬性來判斷畫面變化的劇烈程度，從而得出幀運動量。用鏡頭邊界檢測的方式計算鏡頭切變率。聲音能量從視頻的音軌中得到。平均聲音基頻通過采用YIN算法從視頻的音軌中得到。視頻的某一幀產生的情感狀態會在V-A圖中留下一個點，這個點出現次數越多，就表示這個視頻中這種情感狀態出現得越多，視頻的整體情感越傾向于此V-A狀態。從圖像處理的角度來看，情感狀態越密集重復的區域，V-A圖的色彩會更深，而在情感狀態較少得區域，顏色就較淺。步驟二 將視頻產生的V-A圖進行均一化操作，產生均一化V-A圖。均一化V-A圖通過使視頻產生的V-A圖中所有像素按照一定比例縮放，使得所有V-A圖中的像素值都落在同一區間內。所述的縮放比例為V-A圖中像素點顏色最大值，同一區間指W，l]區間。本發明提出的方法將V-A圖中的每一個像素點與縮放比例相除，所得結果生成一個新的圖， 圖中每個像素點值均落在W，l]區間之內，稱新的圖為均一化V-A圖。步驟三將均一化V-A圖劃分為固定數量且大小相同的區塊，記分塊總數為N。根據實驗分析結果，所述的固定數量為12。劃分過程中，將均一化V-A圖按圖像寬等分為4 段，按圖像高等分為3段，共分成12個區塊，如圖3所示。分別計算每一區塊中的顏色直方圖，即分塊顏色直方圖。步驟四從視頻庫中選擇兩幅未進行相似度比較的視頻的均一化V-A圖，所選取的V-A圖來自不同的視頻。設置一個計數器db，并設置該計數器db的值為零。將選取的兩幅均一化V-A圖中對應相同位置的兩個分塊顏色直方圖分為一組，本發明實施例中共有12組。步驟五對未處理的一組分塊顏色直方圖的非空白像素部分值進行統計，并標記這組中的兩個分塊顏色直方圖為已處理。若該組中的兩個直方圖非空白像素部分值均為零，則轉步驟七執行，否則，繼續執行步驟六。所述的分塊顏色直方圖的非空白像素部分值， 是通過統計該分塊顏色直方圖中所有不為0的像素值所包含的像素數得到。像素值為0的像素即為V-A圖中沒有情感狀態經過的像素點，若一個像素點有情感狀態經過，則像素值不為0。
步驟六計算步驟五中得到的一組中的兩個分塊顏色直方圖的非空白像素部分值的差值。若對于差值大于特定閾值的分塊，將計數器db的值增大1，否則不對db進行操作。 根據實驗分析結果，所述的閾值為50。轉步驟五。步驟七判斷當前選取的兩幅均一化V-A圖中是否存在未處理的分塊顏色直方圖，若存在，轉步驟五執行，否則執行步驟八。步驟八統計當前選取的兩幅均一化V-A圖產生的分塊顏色直方圖中非空白像素部分值不為零的分塊數目，記為Cl和C2。步驟九獲得區塊差diff_block和覆蓋差difT_cov。其中，區塊差diff_block = db/N，覆蓋差 diff_cov = |C1_C2|/N。步驟十確定當前選取的兩幅均一化V-A圖的相似度值，兩幅均一化V-A圖的相似度值也就是對應的兩個視頻的相似度值。相似度的計算公式為s= w_block(l-diff_block)+w_cov(l-diff_cov)；其中 w_ block為區塊差閾值，w_C0V為覆蓋差閾值。本發明方法，根據實驗分析結果，優選設置《_ block 為 0. 6，w—cov 為 0. 4。步驟十一判斷視頻庫中是否存在未進行相似度比較的視頻，若有，轉步驟四執行，若不存在，此時得到了視頻庫中任意兩個視頻之間的相似度值，通過特定的聚類方法得到聚類結果。本發明使用的聚類方法為譜聚類法。每個聚類中的視頻彼此將具有情感相似性。例如，圖1中得到三個聚類，聚類1中包含有視頻1 3，聚類2中包含視頻4 7，聚類3中包含視頻8 12。步驟十二 用戶在觀看某個視頻的時候，按照該視頻所屬的聚類，將同一聚類中的其他視頻作為推薦結果顯示給用戶。通過會話模型根據用戶的連續觀看行為對視頻推薦結果進行更新。用戶在結束觀看第k個視頻后更新演化V-A圖EVAG (k)，然后將結束觀看第k 個視頻后得到的演化V-A圖EVAG(k)作為一個新的均一化V-A圖，按照步驟3中所述方法進行分塊，然后轉步驟4執行，1。在步驟十二中，采用會話模型對用戶的連續觀看行為進行描述，并對視頻推薦結果進行更新，流程如圖5所示，具體包括如下步驟步驟1. 1 初始化會話模型。通過用戶選擇得到初始視頻的均一化的V-A圖，初始化會話，建立演化V-A圖，記為EVAG(O)。初始化會話的過程指清空計時器T，并將用戶選擇的初始視頻的均一化的V-A圖作為第一個演化V-A圖EVAG(O)，此時，采用本發明視頻推薦方法的視頻推薦結果為用戶選擇的初始視頻所在的聚類中的視頻。演化V-A圖在每觀看完一個視頻后進行更新。用戶結束觀看第1個視頻后得到的演化V-A圖記為EVAG(I)，在結束觀看第2個視頻后得到的演化V-A圖記為EVAGQ)，以此類推，結束觀看第k個視頻后得到的演化V-A圖記為EVAG (k)，k彡1。步驟1. 2 在用戶觀看完第k個視頻后，判斷用戶是否繼續觀看第k+Ι個視頻，若否，則結束本方法，若是，記錄用戶當前結束觀看的第k個視頻中對用戶會話能夠產生影響的屬性值，作為該視頻的均一化V-A圖的權重，k > 1。能夠產生影響的屬性值指視頻被播放的次數和視頻被用戶所評價的得分。將這兩個屬性進行均一化，即將視頻被播放次數除以視頻庫中播放次數最多的視頻的播放次數，將視頻被用戶所評價的得分除以視頻庫中所有視頻得到的最高分。將這兩個均一化后的屬性相加并除以2，與第k個視頻的均一化V-A圖中的每個像素點相乘，得到經過加權的均一化V-A圖。步驟1. 3 在用戶觀看完當前第k個視頻后，記錄計時器T的值t。所述的值t為用戶當前觀看完的第k個視頻的開始觀看時間與當前時間點之間的時間差t，計算時間衰減函數a(t)的值。根據實驗分析結果，本發明采用a(t) = l/ln(e+t)作為時間衰減函數。 所述的當前時間點是指用戶在觀看完第k個視頻以后，要選擇第k+Ι個視頻進行觀看的時候。步驟1.4 獲取經過時間衰減函數a(t)作用后的演化V_A圖EVAG(k_l)，即將a(t) 的值與EVAG(k-l)中的所有像素點依次相乘，得到新的EVAG(k-1)圖。步驟1. 5 將步驟1. 2中經過加權的均一化V-A圖和步驟1. 4中得到的演化V-A圖 EVAG(k-1)中的對應位置的像素點相加得到一個新的V-A圖，并進行均一化處理，得到用戶在觀看完第k段視頻后的演化V-A圖EVAG (k)。具體本步驟中的均一化處理，是將得到的 V-A圖中像素點的顏色最大值作為縮放比例，將V-A圖中的每一個像素點與縮放比例相除， 生成一個新的圖，圖中每個像素點值均落在W，l]區間之內。步驟1. 6 將演化V-A圖EVAG(k)與視頻庫中視頻進行情感特征相似度比較，得到與當前會話中與用戶情感狀態相似的視頻聚類。具體將演化V-A圖EVAG(k)當做一個普通的均一化V-A圖，然后按照本發明方法步驟三進行分塊，然后重復步驟四到十得到EVAG(k) 與視頻庫中各視頻的相似度，然后再根據步驟十一進行視頻聚類處理，將與演化V-A圖 EVAG(k)處于同一聚類的視頻作為視頻推薦結果推薦給用戶。下面將結合附圖和實例說明本發明提出的視頻推薦方法相比互聯網視頻網站常用的推薦方法的改進，所述的互聯網視頻網站常用的推薦方法是指1)隨機-所推薦視頻為隨機從視頻庫中選擇；幻觀看次數最多-所推薦視頻為視頻庫中被播放次數最多的視頻； 3)評分最高-所推薦視頻為視頻庫中被用戶評分最高的視頻；4)無會話的情感相似度聚類-采用最初的聚類結果所得到的基于情感的視頻聚類，而不使用會話改變推薦參數。如圖6所示，為本發明的視頻推薦方法同互聯網視頻網站常用的推薦方法所產生的平均點擊率的對比圖。實驗場景為一個視頻庫含有從互聯網上隨機下載的1245段來自互聯網站的視頻。這些視頻均為隨機選擇下載，播放時長從5秒至2小時17分鐘不等，共計137小時57分37秒。本發明在實驗過程中招募了 30名志愿者參與測試。志愿者的男女比例為1 1，平均年齡是M.3歲，都擁有學士或以上的學位，并且都熟悉互聯網視頻網站的使用。視頻內容包含新聞、體育視頻、原創視頻、娛樂節目等等。一個web前端采用A/ B測試的方法以相同的概率選擇執行用于對比的5種方法，并向其展示推薦結果。用戶對其所使用的推薦方法不知情。Web前端通過記錄用戶在連續的一周時間內對推薦結果的點擊情況，判斷用戶對推薦結果的滿意程度。某一種方法的推薦結果點擊率越高，表明該結果讓用戶更加滿意。圖6表明采用本發明方法能夠大幅度提高用戶的點擊率。圖7為本發明的視頻推薦方法同互聯網視頻網站常用的推薦方法所產生的平均會話長度的對比圖。實驗場景與本發明的視頻推薦方法同互聯網視頻網站常用的推薦方法所產生的平均點擊率對比的場景相同。根據實驗結果，當用戶使用本發明的視頻推薦方法時，在用戶結束觀看視頻之前，將會有5. 2個視頻被觀看。相比較而言，其他進行對比的方法中“觀看次數最多”的會話長度僅為2.6。根據調查，2010年北美地區的互聯網用戶平均每天觀看6. 1個視頻。據實驗所得到的結果，本發明的視頻推薦方法能夠穩定地向用戶提供平均5. 2個具有相似情感特征的視頻，能夠滿足普通用戶每天的觀看習慣。同時，由于本發明的視頻推薦方法使用會話將視頻觀看的行為進行分段，每個會話提供情感狀態類似的視頻，而用戶每天的情感狀態不止一種，因此用戶可以多次使用本發明方法來得到對應于不同情感狀態的視頻，每天的視頻觀看量也能夠上升。 通過將本發明方法與現有的互聯網視頻網站常用的推薦方法比較，可以發現，采用本發明方法能夠提高用戶的點擊率，提高用戶觀看視頻的個數，滿足用戶每天的觀看習慣。
權利要求
1.一種基于視頻情感特征與會話模型的視頻推薦方法，采用視頻的情感特征作為比較的基礎，其特征在于，具體視頻推薦方法包括如下步驟步驟1 對視頻庫中的每個視頻，從該視頻及其附屬音軌中提取情感特征，包括幀運動量、鏡頭切變率、聲音能量和平均聲音基頻，根據獲得的情感特征確定情感誘力和激勵函數，合成誘力-激勵曲線圖，簡稱V-A圖；步驟2 對各視頻產生的V-A圖進行均一化操作，使V-A圖中所有像素比例縮放后落在同一區間內，生成均一化V-A圖；步驟3 將各視頻的均一化V-A圖分塊，每個視頻的分塊總數都為N，且各視頻的各分塊的大小都相同，分別計算每個分塊中的顏色直方圖，得到分塊顏色直方圖；步驟4 設置一個計數器db，且該計數器的值置為零，然后從視頻庫中選取兩幅未進行相似度比較的視頻的均一化V-A圖，將選取的兩幅均一化V-A圖中對應相同位置的分塊顏色直方圖分為一組；步驟5 選擇一組尚未進行處理的分塊顏色直方圖，統計分塊顏色直方圖中所有不為0 的像素值所包含的像素數，作為分塊顏色直方圖的非空白像素部分值，然后標記該組中的兩個分塊顏色直方圖為已處理，判斷該組中的兩個分塊顏色直方圖的非空白像素部分值是否都為零，若是，則轉步驟7進行，否則，執行步驟6 ；步驟6 將步驟5中得到的一組中的兩個分塊顏色直方圖的非空白像素部分值作差，若差值大于設定的閾值，將計數器db的值加1，然后執行步驟7，否則不更新計數器db，直接執行步驟7 ；步驟7 判斷當前選取的兩幅均一化V-A圖中是否存在未處理的分塊顏色直方圖，若存在，轉步驟5執行，否則執行步驟8 ；步驟8 統計當前選取的兩幅均一化V-A圖中的分塊顏色直方圖的非空白像素部分值不為零的分塊數目，記為Cl和C2 ；步驟 9 獲得區塊差 diff_block = db/N,以及覆蓋差 diff_cov = I C1-C2 | /N ； 步驟10 確定當前選取的兩幅均一化V-A圖的相似度值，所述的相似度根據下式獲得s = w_block(l_difT_block)+w_cov(l_difT_cov) 其中，w_block為區塊差閾值，w_cov為覆蓋差閾值；步驟11 判斷視頻庫中是否存在未進行相似度比較的視頻，若有，轉步驟4執行，若不存在，則根據得到的所有相似度值，通過譜聚類法對視頻庫中的視頻進行聚類處理，每個聚類中的視頻彼此具有情感相似性；步驟12 用戶在觀看某個視頻的時候，按照該視頻所屬的聚類，將同一聚類中的其他視頻作為推薦結果顯示給用戶，在用戶連續觀看過程中，使用會話模型對視頻推薦結果進行更新。
2.根據權利要求1所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟2中所述的均一化操作，具體是將V-A圖中像素點顏色最大值作為縮放比例，將 V-A圖中的每一個像素點與縮放比例相除，生成一個新的圖，圖中每個像素點值均落在
區間之內。
3.根據權利要求1所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟3中所述的分塊總數N為12，具體是對每個均一化的V-A圖，沿圖像寬等分為4 段，沿圖像高等分為3段。
4.根據權利要求1所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟6中所述的閾值為50。
5.根據權利要求1所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟10中所述的w_block即區塊差閾值為0. 6，w_cov即覆蓋差閾值為0. 4。
6.根據權利要求1所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟12中所述的使用會話模型對視頻推薦結果進行更新，具體步驟為步驟1. 1 初始化會話模型將用戶初始選擇的視頻的均一化V-A圖，作為初始演化 V-A圖，記為EVAG(O)，并清空計時器T ；結束觀看第k個視頻后得到的演化V-A圖記為 EVAG (k), k ^ 1 ；步驟1. 2 在用戶觀看完當前第k個視頻后，判斷用戶是否繼續觀看第k+Ι個視頻，若否，則結束本方法，若是，記錄用戶當前結束觀看的第k個視頻的兩個屬性值視頻被播放的次數和視頻被用戶所評價的得分，對兩個屬性值分別進行均一化處理，具體是將視頻被播放次數除以視頻庫中播放次數最多的視頻的播放次數，將視頻被用戶所評價的得分除以視頻庫中所有視頻被用戶所評價的最高分，然后將均一化的兩個屬性值相加并除以2，與用戶當前結束觀看的第k個視頻的均一化V-A圖中的每個像素點相乘，得到經過加權的均一化V-A圖；步驟1. 3 在用戶觀看完當前第k個視頻后，記錄計時器T的值t，得到用戶開始觀看第 k個視頻到當前時間點之間的時間差，并確定時間衰減函數a(t)的值a(t) = l/ln(e+t)；步驟1.4:將a(t)的值與當前的演化V-A圖EVAG(k-l)中的所有像素點依次相乘，獲得經過時間衰減函數處理的演化V-A圖EVAG (k-Ι)；步驟1. 5 將步驟1. 2中經過加權的均一化V-A圖和步驟1. 4中經過時間衰減函數處理的演化V-A圖EVAG(k-Ι)中對應的像素點相加，并進行均一化處理，得到觀看完第k個視頻后的演化V-A圖EVAG (k)；步驟1. 6 將演化V-A圖EVAG(k)與視頻庫中的視頻進行情感特征相似度比較，將與演化V-A圖EVAG(k)處于同一聚類的視頻作為視頻推薦結果推薦給用戶。
7.根據權利要求6所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟1. 5中所述的均一化操作，具體是將得到的V-A圖中像素點的顏色最大值作為縮放比例，將V-A圖中的每一個像素點與縮放比例相除，生成一個新的圖，圖中每個像素點值均落在W，l]區間之內。
8.根據權利要求1或7所述的一種基于視頻情感特征與會話模型的視頻推薦方法，其特征在于，步驟1. 6所述的將演化V-A圖EVAG (k)與視頻庫中的視頻進行情感特征相似度比較，具體是將演化V-A圖EVAG (k)作為一個均一化V-A圖，并按照所述的步驟3進行分塊， 然后重復步驟4到10得到EVAG(k)與視頻庫中各視頻的相似度，然后再根據步驟11進行視頻聚類處理，將與演化V-A圖EVAG(k)處于同一聚類的視頻作為視頻推薦結果推薦給用戶。
全文摘要
本發明提出一種基于視頻情感特征與會話模型的視頻推薦方法，采用視頻的情感特征作為比較的基礎，首先從視頻及其附屬音軌中提取多種情感特征，合成誘力-激勵曲線圖(V-A圖)，再均一化V-A圖，并將均一化V-A圖劃分為固定數量且大小相同的區塊，確定各分塊的顏色直方圖，根據兩幅圖像對應位置的兩個分塊顏色直方圖的差和閾值比較，得到區塊差和覆蓋差，最后得出兩個視頻的相似度值，對相似度值聚類處理的結果作為視頻推薦結果，本方法還采用會話模型在用戶連續觀看過程中，對視頻推薦結果進行更新。本發明方法可以使視頻推薦結果更加符合用戶當前的情感狀態，并提高了用戶對于推薦的視頻的點擊觀看率和連續觀看視頻個數。
文檔編號G06F17/30GK102495873SQ201110391550
公開日2012年6月13日 申請日期2011年11月30日 優先權日2011年11月30日
發明者朱瀝可, 牛建偉 申請人:北京航空航天大學