用戶生成內容處理方法和裝置與流程

本發明涉及社交技術領域，特別是涉及一種用戶生成內容處理方法和裝置。

背景技術：

社交應用是目前廣泛應用的一種應用程序。基于社交應用，用戶之間能夠建立基于社交網絡的社交關系，從而基于社交關系進行交互，如發送即時消息、語音通話、視頻通話以及在線會議等，為人們的生活和工作提供了極大便利。目前，社交應用能夠展示用戶生成內容(ugc，usergeneratedcontent)。

目前，用戶之間在建立社交關系后，才能夠找到對方的個人主頁，或者彼此出現在對方的好友共享頁面，彼此的用戶生成內容將展示在個人主頁或者好友共享頁面，因此目前用戶生成內容的展示須依賴于社交關系，限制了用戶生成內容的傳播。

技術實現要素：

基于此，有必要針對目前用戶生成內容的展示須依賴于社交關系，限制了用戶生成內容的傳播的問題，提供一種用戶生成內容處理方法和裝置。

一種用戶生成內容處理方法，包括：

從現實世界采集圖像幀；

將采集的圖像幀按照采集的時序逐幀播放；

從采集的圖像幀中選取圖像幀；

獲取與選取的圖像幀匹配的模板圖像所關聯的用戶生成內容；

獲取所述用戶生成內容在所述匹配的模板圖像中的展示位置；

按照所述展示位置，在播放的圖像幀中渲染所述用戶生成內容。

一種用戶生成內容處理裝置，包括：

采集模塊，用于從現實世界采集圖像幀；

播放模塊，用于將采集的圖像幀按照采集的時序逐幀播放；

選取模塊，用于從采集的圖像幀中選取圖像幀；

數據獲取模塊，用于獲取與選取的圖像幀匹配的模板圖像所關聯的用戶生成內容；獲取所述用戶生成內容在所述匹配的模板圖像中的展示位置；

渲染模塊，用于按照所述展示位置，在播放的圖像幀中渲染所述用戶生成內容。

上述用戶生成內容處理方法和裝置，從現實世界采集圖像幀并按照采集的時序播放，通過從采集的圖像幀中選取的圖像幀，就能夠確定該圖像幀所匹配的模板圖像所關聯的用戶生成內容，并進行展示。能夠通過現實世界中拍攝的圖像幀定位到用戶生成內容并展示，可以不必依賴社交關系，擴展了用戶生成內容的傳播方式。而且，按照用戶生成內容在匹配的模板圖像中的展示位置，在播放的圖像幀中追蹤渲染用戶生成內容，將虛擬世界中的用戶生成內容與播放的視頻幀所反映的現實世界融合，提供了用戶生成內容的新互動方式。

附圖說明

圖1為一個實施例中用戶生成內容處理方法的應用環境圖；

圖2為一個實施例中移動終端的內部結構示意圖；

圖3為一個實施例中用戶生成內容處理方法的流程示意圖；

圖4為一個具體應用場景中用戶生成內容處理方法的流程示意圖；

圖5為一個實施例中社交應用的主頁面的示意圖；

圖6為一個實施例中在主頁面中展示工具菜單的示意圖；

圖7為一個實施例中通過功能入口進入的虛擬世界頁面和現實世界物體的對比圖；

圖8為一個實施例中展示內容創建者頭像列表的虛擬世界頁面和現實世界物體的對比圖；

圖9為一個實施例中具有評論頁面的虛擬世界頁面和現實世界物體的對比圖；

圖10為一個實施例中具有內容創建入口的虛擬世界頁面和現實世界物體的對比圖；

圖11為一個實施例中具有圖片編輯頁面的虛擬世界頁面和現實世界物體的對比圖；

圖12為一個實施例中用戶生成內容處理裝置的結構框圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

圖1為一個實施例中用戶生成內容處理方法的應用環境圖。參照圖1，該應用環境包括移動終端110和服務器120，移動終端110能夠通過網絡與服務器120連接通信。其中，移動終端110可用于從現實世界采集圖像幀；將采集的圖像幀按照采集的時序逐幀播放；從采集的圖像幀中選取圖像幀；從服務器120拉取與選取的圖像幀匹配的模板圖像所關聯的用戶生成內容，以及用戶生成內容在匹配的模板圖像中的展示位置；按照展示位置，在播放的圖像幀中渲染用戶生成內容。服務器120可用于存儲模板圖像、用戶生成內容以及用戶生成內容在匹配的模板圖像中的展示位置之間的對應關系。

圖2為一個實施例中移動終端110的內部結構示意圖。參照圖2，該移動終端110包括通過系統總線連接的處理器、非易失性存儲介質、內存儲器、網絡接口、顯示屏、攝像頭和輸入裝置。其中，移動終端110的非易失性存儲介質存儲有操作系統，還存儲有一種用戶生成內容處理裝置，該用戶生成內容處理裝置用于實現一種用戶生成內容處理方法。移動終端110的處理器用于提供計算和控制能力，支撐整個移動終端110的運行。移動終端110中的內存儲器為非易失性存儲介質中的用戶生成內容處理裝置的運行提供環境。該內存儲器中可存儲有計算機可讀指令，該計算機可讀指令被處理器執行時，可使得處理器執行一種用戶生成內容處理方法。移動終端110的網絡接口用于與服務器120進行網絡通信，如上傳圖像幀、上傳創建的用戶生成內容或者拉取用戶生成內容等。移動終端110的攝像頭用于采集圖像幀。移動終端110的顯示屏可以是液晶顯示屏或者電子墨水顯示屏，移動終端110的輸入裝置可以是顯示屏上覆蓋的觸摸層，也可以是移動終端110外殼上設置的按鍵、軌跡球或觸控板，還可以是外接的鍵盤、觸控板或鼠標等。該移動終端110包括手機、平板電腦、個人數字助理和穿戴式設備等中的一種或幾種的組合。本領域技術人員可以理解，圖2中示出的結構，僅僅是與本申請方案相關的部分結構的框圖，并不構成對本申請方案所應用于其上的終端110的限定，具體的終端110可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。

如圖3所示，在一個實施例中，提供了一種用戶生成內容處理方法。本實施例主要以該方法應用于上述圖1和圖2中的移動終端110來舉例說明。參照圖3，該用戶生成內容處理方法具體包括如下步驟：

s302，從現實世界采集圖像幀。

其中，現實世界是自然存在的世界，也是人類所處的世界。圖像幀是能夠形成動態畫面的圖像幀序列中的單元，用來記錄某時刻現實世界中的物體。

在一個實施例中，移動終端具體可按照固定或動態的幀率，從現實世界采集圖像幀。其中，固定或動態的幀率能夠使圖像幀按照該固定或動態的幀率播放時形成連續的動態畫面。

在一個實施例中，移動終端可通過攝像頭，在攝像頭當前的視野下，采集現實世界的圖像幀。其中，攝像頭的視野可因移動終端的姿態和位置的變化而變化。

在一個實施例中，移動終端可通過社交應用，提供ar(augmentedreality，增強現實)拍攝模式，并在選定該ar拍攝模式后，從現實世界采集圖像幀。其中，社交應用是能夠基于社交網絡進行網絡社交互動的應用。社交應用包括即時通信應用、sns(socialnetworkservice，社交網站)應用、直播應用或者拍照應用等。

s304，將采集的圖像幀按照采集的時序逐幀播放。

其中，采集的時序是指采集圖像幀時的時間順序，可通過圖像幀在采集時記錄的時間戳的大小關系來表示。逐幀播放是指逐圖像幀播放。

移動終端具體可按照采集圖像幀的幀率，按照時間戳升序，逐個播放采集的圖像幀。移動終端可以將采集的圖像幀直接播放，也可以將采集的圖像幀按照采集的時序存入緩存區，并按采集的時序從緩存區取出圖像幀播放。

s306，從采集的圖像幀中選取圖像幀。

其中，選取的圖像幀，可以是采集的圖像幀中的關鍵幀。

在一個實施例中，移動終端可接收用戶選擇指令，根據該用戶選擇指令，從采集的圖像幀中選取圖像幀。

在一個實施例中，移動終端可在播放的圖像幀符合畫面穩定條件時，從采集的圖像幀中選取當前采集或當前正播放的圖像幀。畫面穩定條件可以是播放的圖像幀在預設時長內的差異在設定的范圍內。

s308，獲取與選取的圖像幀匹配的模板圖像所關聯的用戶生成內容。

其中，用戶生成內容是指由用戶產生的內容。用戶生成內容可以包括文本、圖片、音頻或者視頻中的至少一種。用戶生成內容可以是用戶發表的內容，也可以是用戶對發表的內容的評論內容，還可以是用戶對評論內容的回復內容。

模板圖像與用戶生成內容關聯，用于標記用戶生成內容。通過模板圖像可以定位到相關聯的用戶生成內容。一個模板圖像可以關聯一個或多個用戶生成內容。一個模板圖像可以關聯一個或多個用戶所發表的用戶生成內容。發表用戶生成內容的用戶可以稱為內容創建者。

在一個實施例中，在判斷選取的圖像幀和模板圖像是否匹配，具體可先計算選取的圖像幀和模板圖像之間的相似度，進而判斷該相似度是否大于等于預設相似度；若是，則匹配；若否，則不匹配。

計算選取的圖像幀和模板圖像之間的相似度時，可先提取選取的圖像幀和模板圖像各自的特征，從而計算兩特征之間的差異，特征之間的差異越大則相似度越低，特征之間的差異越小則相似度越高。具體可通過經過訓練的神經網絡模型來提取特征，具體可以提取顏色特征、紋理特征和形狀特征中的一種或幾種的組合。相似度可采用余弦相似度或者圖像間各自感知哈希值的漢明距離。

在一個實施例中，移動終端可先從本地緩存區查詢與選取的圖像幀匹配的模板圖像，當查詢到匹配的模板圖像時，再從本地緩存區或服務器拉取該模板圖像所關聯的用戶生成內容。當本地緩存區中未查詢到匹配的模板圖像時，移動終端可進一步從服務器查詢與選取的圖像幀匹配的模板圖像，當本地緩存區中查詢到匹配的模板圖像時，移動終端可從服務器拉取該模板圖像所關聯的用戶生成內容。移動終端從服務器查詢到匹配的模板圖像后，可將匹配的模板圖像存儲在本地緩存區。

在一個實施例中，移動終端可獲取用戶生成內容，該用戶生成內容所關聯的模板圖像與選取的圖像幀匹配，該模板圖像對應的地理位置與當前地理位置滿足相近條件。相近條件是量化的表示兩個地理位置接近的條件，相近條件如地理位置之間的距離小于或等于預設值。本實施例中，結合地理位置，可以進行更加準確的匹配。

s310，獲取用戶生成內容在匹配的模板圖像中的展示位置。

其中，用戶生成內容在匹配的模板圖像中的展示位置，該展示位置表示用戶生成內容在模板圖像中所占的區域。展示位置可以由用戶生成內容在模板圖像中所占的區域在模板圖像的坐標系中的坐標表示。

在一個實施例中，移動終端可在獲取用戶生成內容時，一并獲取該用戶生成內容的展示位置。移動終端具體可從本地緩存區或者服務器獲取該展示位置。

s312，按照展示位置，在播放的圖像幀中渲染用戶生成內容。

具體地，移動終端可在當前播放的圖像幀中，在獲取的展示位置處渲染用戶生成內容。移動終端可獲取用戶生成內容對應的樣式數據，從而按照該樣式數據和獲取的展示位置，在播放的圖像幀中渲染用戶生成內容。

在一個實施例中，展示位置可以是用戶生成內容相對于模板圖像中物體區域的位置；移動終端可在播放的圖像幀中追蹤板圖像中的物體區域，從而按照該展示位置和追蹤到的物體區域，確定當前播放的圖像幀中用戶生成內容相對于追蹤到的物體區域的位置，從而按照確定的位置渲染用戶生成內容。

其中，物體區域是圖像中可表示現實世界物體的區域，該物體可以是生物或者非生物，生物如人體、動物體或者植物體，非生物如建筑物、工業產品或者自然景觀。

上述用戶生成內容處理方法，從現實世界采集圖像幀并按照采集的時序播放，通過從采集的圖像幀中選取的圖像幀，就能夠確定該圖像幀所匹配的模板圖像所關聯的用戶生成內容，并進行展示。能夠通過現實世界中拍攝的圖像幀定位到用戶生成內容并展示，可以不必依賴社交關系，擴展了用戶生成內容的傳播方式。而且，按照用戶生成內容在匹配的模板圖像中的展示位置，在播放的圖像幀中追蹤渲染用戶生成內容，將虛擬世界中的用戶生成內容與播放的視頻幀所反映的現實世界融合，提供了用戶生成內容的新互動方式。

在一個實施例中，在步驟s306之后，該用戶生成內容處理方法還包括：判斷選取的圖像幀的特征是否符合預設的模板圖像特征；當選取的圖像幀的特征符合模板圖像特征時，執行步驟s308；當選取的圖像幀的特征不符合模板圖像特征時，返回至步驟s306。

其中，預設的模板圖像特征，是預先設置的作為模板圖像的圖像應當具備的特征。模板圖像可具備良好的區分性，避免不同的模板圖像關聯的用戶生成內容相混淆。

在一個實施例中，判斷選取的圖像幀的特征是否符合預設的模板圖像特征包括：提取選取的圖像幀的特征點，判斷提取的特征點的數量是否達到預設的模板圖像特征點數量閾值。本實施例中，預設的模板圖像特征為特征點的數量達到預設的模板圖像特征點數量閾值。

其中特征點是選取的圖像幀中具有鮮明特性并能夠有效反映圖像本質特征的點，該特征點具有標識圖像幀中的物體的能力。模板圖像特征點數量閾值可根據需要設置。模板圖像特征點數量閾值越高，能夠作為模板圖像的圖像幀的區分性越好。

在一個實施例中，判斷選取的圖像幀的特征是否符合預設的模板圖像特征包括：獲取選取的圖像幀的分辨率，判斷分辨率是否達到預設的模板圖像分辨率閾值。本實施例中，預設的模板圖像特征為分辨率達到預設的模板圖像分辨率閾值。

其中，選取的圖像幀的分辨率，表示圖像幀的寬度和高度，預設的模板圖像分辨率閾值包括預設的模板圖像寬度和模板圖像高度。移動終端具體可獲取選取的圖像幀的寬度和高度，判斷獲取的寬度和高度是否均分別達到了預設的模板圖像寬度和模板圖像高度。

在一個實施例中，判斷選取的圖像幀的特征是否符合預設的模板圖像特征包括：獲取選取的圖像幀的清晰度，判斷清晰度是否達到預設的模板圖像清晰度閾值。本實施例中，預設的模板圖像特征為清晰度達到預設的模板圖像清晰度閾值。

其中，清晰度與分辨率不同，是指相應圖像幀上各細部影紋及其邊界的清晰程度。移動終端可將選取的圖像幀轉化為灰度圖像，檢測灰度圖像中的邊緣，從而判斷邊緣處的灰度變化率，根據灰度變化率確定清晰度。邊緣處灰度變化越快，表示清晰度越高；邊緣處灰度變化越慢，表示清晰度越低。

在一個實施例中，判斷選取的圖像幀的特征是否符合預設的模板圖像特征包括：獲取選取的圖像幀中的物體區域占選取的圖像幀的占比，判斷占比是否達到預設的模板圖像物體占比。本實施例中，預設的模板圖像特征為物體區域占選取的圖像幀的占比達到預設的模板圖像物體占比。

具體地，移動終端可檢測選取的圖像幀的邊緣，將由檢測到的邊緣構成的面積達到預設面積的封閉區域作為物體區域，判斷物體區域的面積占選取的圖像幀的總面積的占比是否達到預設的模板圖像物體占比。圖像或區域的面積，可由該圖像或區域所含像素點的數量表示。

上述各個實施例中判斷選取的圖像幀的特征是否符合預設的模板圖像特征的條件可自由組合；當組合的條件均滿足時，判定符合預設的模板圖像特征；當組合的條件至少一個不滿足時，判定不符合預設的模板圖像特征。

上述實施例中，當選取的圖像幀的特征符合模板圖像特征時，獲取與選取的圖像幀匹配的模板圖像所關聯的用戶生成內容，可以直接過濾掉難以匹配到模板圖像的圖像幀，提高處理效率。

在一個實施例中，步驟s308包括：將選取的圖像幀上傳至服務器；接收服務器反饋的表示查詢到與上傳的圖像幀匹配的模板圖像的第一通知；根據第一通知，獲取與模板圖像關聯的用戶生成內容。

其中，第一通知和下述的第二通知都是通知，第一和第二的描述用于區分不同的通知。通知可以是獨立的消息，也可以是混合了多種類型信息的消息。

具體地，移動終端將選取的圖像幀上傳至服務器，由服務器查詢與上傳的圖像幀匹配的模板圖像。當查詢到該模板圖像時，服務器向移動終端返回第一通知，該第一通知表示查詢到與上傳的圖像幀匹配的模板圖像。

在一個實施例中，移動終端可將本地登陸所用的用戶賬號和選取的圖像幀上傳至服務器，接收服務器反饋的第一通知，該第一通知表示查詢到與上傳的圖像幀匹配的模板圖像，且該模板圖像所關聯的用戶生成內容對上傳的用戶賬號開放了訪問權限。移動終端可進一步根據第一通知，獲取與模板圖像關聯的、對上傳的用戶賬號開放了訪問權限的用戶生成內容。

其中，訪問權限可在用戶生成內容創建時設置。比如，若內容創建者在創建用戶生成內容時，設置了僅對好友可見的訪問權限，則當上傳的用戶賬號與創建者的用戶賬號存在好友關系時，上傳的用戶賬號對該用戶生成內容具有訪問權限。若內容創建者在創建用戶生成內容時，設置了對所有人可見的訪問權限，則任意合法的用戶賬號對該用戶生成內容具有訪問權限。

移動終端可根據第一通知，獲取匹配的模板圖像，并將該模板圖像緩存到本地的緩存區。移動終端還可以獲取與用戶生成內容相關的用戶信息，該用戶信息比如用戶賬號、用戶頭像或者用戶昵稱等。

在一個實施例中，移動終端可直接從第一通知中獲取與模板圖像關聯的用戶生成內容，還可以從第一通知中獲取模板圖像和/或與用戶生成內容相關的用戶信息。

在一個實施例中，移動終端可從第一通知獲取匹配的模板圖像的圖像編號，從而向服務器發送攜帶該圖像編號的查詢請求，從而接收由服務器查詢到并反饋的與該圖像編號關聯的用戶生成內容。移動終端還可以從服務器查詢與該圖像編號對應的模板圖像和/或用戶信息。

上述實施例中，服務器實現對上傳的圖像幀和模板圖像的匹配，這樣基于服務器，各個用戶都可以針對現實世界中相同或相似的場景進行基于用戶生成內容的交互，實現了基于現實世界、虛擬世界和社交網絡的社交互動。

在一個實施例中，步驟s308包括：將選取的圖像幀上傳至服務器；接收服務器反饋的表示未查詢到與上傳的圖像幀匹配的模板圖像的第二通知；根據第二通知展示內容創建入口；根據對內容創建入口的操作創建用戶生成內容；將創建的用戶生成內容上傳至服務器，使得服務器將上傳的用戶生成內容與由上傳的圖像幀注冊而成的模板圖像關聯存儲。

其中，未查詢到與上傳的圖像幀匹配的模板圖像，可以是服務器上不存在與上傳的圖像幀匹配的模板圖像；或者可以是雖然服務器上存在與上傳的圖像幀匹配的模板圖像，但該模板圖像對應的用戶生成內容均未對觸發圖像幀上傳的用戶賬號開放訪問權限。

內容創建入口用于觸發創建用戶生成內容。內容創建入口可以是可視的能夠觸發事件的控件，如圖標或者按鈕。內容創建入口具體可以是觸發創建全新用戶生成內容的入口。其中全新用戶生成內容是指與已有的用戶生成內容在內容上相獨立的用戶生成內容。內容創建入口也可以是觸發創建與已有的用戶生成內容關聯的用戶生成內容的入口。其中，與已有的用戶生成內容關聯的用戶生成內容比如評論內容或者對評論內容的回復內容。

具體地，移動終端將選取的圖像幀上傳至服務器，由服務器查詢與選取的圖像幀匹配的模板圖像。服務器在查詢到匹配的模板圖像時，向移動終端反饋第一通知；服務器在未查詢到匹配的模板圖像時，將上傳的圖像幀注冊為模板圖像，并向移動終端反饋第二通知。移動終端接收到第二通知后，展示內容創建入口。

進一步地，移動終端檢測對內容創建入口的操作，根據檢測到的操作獲取用戶輸入的內容，從而創建用戶生成內容，將該用戶生成內容上傳至服務器，由服務器將上傳的用戶生成內容與由上傳的圖像幀注冊而成的模板圖像關聯并存儲。服務器若在將上傳的圖像幀注冊為模板圖像起的預設時長內未接收到創建的用戶生成內容，或者接收到移動終端反饋的取消注冊請求，則將對上傳的圖像幀的注冊取消。

上述實施例中，針對現實世界的某一場景，當還未存在相關聯的用戶生成內容時，可以創建與該場景關聯的用戶生成內容，下次就能夠以本次上傳的圖像幀作為模板圖像進行匹配，不斷豐富用戶生成內容，為用戶提供基于現實世界和虛擬世界的更加便利的互動方式。

在一個實施例中，在步驟s312之前，該用戶生成內容處理方法還包括：獲取在創建用戶生成內容時配置的立體旋轉參數。步驟s312包括：按照展示位置，在播放的圖像幀中渲染按照立體旋轉參數旋轉后的用戶生成內容。

其中，立體旋轉參數是指將用戶生成內容在虛擬世界的立體坐標系中旋轉的參數。立體旋轉參數比如水平旋轉角度和/或垂直旋轉角度。其中水平旋轉角度是指將用戶生成內容沿著虛擬世界的立體坐標系中的水平面進行旋轉時所旋轉的角度。垂直旋轉角度則是用戶生成內容沿著虛擬世界的立體坐標系中的垂直面進行旋轉時所旋轉的角度。立體旋轉參數可在用戶生成內容被創建時一并配置，并對應于該用戶生成內容存儲。

上述實施例中，用戶可以在創建用戶生成內容時配置用戶生成內容的立體旋轉參數，從而在播放反映現實世界的圖像幀時，就可以展示按照該立體旋轉參數旋轉后的用戶生成內容，提供了新的互動方式。

在一個實施例中，步驟s312包括：在播放的圖像幀中追蹤模板圖像中的物體區域；根據展示位置和追蹤到的物體區域確定追蹤渲染位置；在播放的圖像幀中按照追蹤渲染位置渲染用戶生成內容。

其中，追蹤是指在連續播放的圖像幀中定位物體區域的變化。物體區域的變化如位置的變化和/或形態的變化。追蹤渲染位置是指用戶生成內容在播放的圖像幀中的實時渲染位置。選取的圖像幀與模板圖像匹配，移動終端可以將模板圖像的圖像區域作為選取的圖像幀中的物體區域，進而在播放的圖像幀中追蹤物體區域。

展示位置可以表示待顯示的用戶生成內容在展示時相對于模板圖像中的物體區域的位置，根據該展示位置和追蹤到的物體區域的位置變化，就可以確定用戶生成內容的追蹤渲染位置。

進一步地，根據展示位置和蹤到的物體區域的形態變化，便可以確定用戶生成內容的追蹤渲染形態，從而可在播放的圖像幀中，按照追蹤渲染位置和追蹤渲染形態，渲染用戶生成內容。追蹤渲染形態可以用實時的立體旋轉參數表示。

上述實施例中，在播放的圖像幀中追蹤模板圖像中的物體區域，從而在播放的圖像幀中根據追蹤到的物體區域對用戶生成內容進行追蹤渲染，實現了虛擬世界中的用戶生成內容和現實世界中物體的強關聯，實現了虛擬世界和現實世界之間基于用戶生成內容的全新互動方式。

在一個實施例中，移動終端可在播放的圖像幀中追蹤模板圖像中的物體區域；檢測追蹤到的物體區域相對于模板圖像中的物體區域的形態變化；根據形態變化確定表示觀察方向的參數；根據展示位置，在播放的圖像幀中渲染按照表示觀察方向的參數變形后的用戶生成內容。

本實施例中，當對現實世界中的物體的觀察方向發生變化時，通過檢測追蹤到的物體區域相對于模板圖像中的物體區域的形態變化，可以確定表示該觀察方向的參數。按照該參數對用戶生成內容進行變形，使得變形后的用戶生成內容可以表示出觀察方向的變化，實現了虛擬世界中的用戶生成內容和現實世界中物體的強關聯，實現了虛擬世界和現實世界之間基于用戶生成內容的全新互動方式。

在一個實施例中，步驟s308包括：獲取與選取的圖像幀匹配的模板圖像所關聯的多個內容創建者信息及相對應的用戶生成內容。步驟s312包括：展示多個內容創建者信息；選中多個內容創建者信息中的一個；按照選中的一個內容創建者信息相對應的展示位置，在播放的圖像幀中渲染相對應的用戶生成內容。

其中，內容創建者信息是指用戶生成內容的內容創建者的身份信息，可以是相應內容創建者的用戶頭像、用戶昵稱或者用戶賬號等。同一個模板圖像可以關聯多于一個的用戶生成內容，每個用戶生成內容對應一個內容創建者信息，于是一個用戶生成內容可以關聯多個內容創建者信息。

多個內容創建者信息的數量取決于同一個模板圖像所關聯的用戶生成內容的內容創建者的數量。每個內容創建者信息對應一個用戶生成內容，每個用戶生成內容對應一個展示位置，移動終端可按照選中的用戶生成內容對應的展示位置，在播放的圖像幀中渲染相對應的用戶生成內容。

上述實施例中，一個模板圖像可以關聯多個內容創建者所創建的用戶生成內容，擴充了現實世界中的物體所能夠關聯的用戶生成內容的數量；用戶可以在多個內容創建者所創建的用戶生成內容之間切換，擴展了用于基于虛擬世界和現實世界進行交互的維度。

參照圖4，下面用一個具體應用場景來說明上述用戶生成內容處理方法的原理。用戶可進入社交應用，社交應用展示如圖5所示的主頁面。用戶可以點擊主頁面中的工具菜單觸發按鈕502，使得社交應用在如圖6所示的主頁面中展示工具菜單601，工具菜單601包括功能入口602。用戶點擊功能入口602，使得社交應用開始從現實世界采集圖像幀，并將采集的圖像幀按照采集的時序逐幀播放，參照圖7左，移動終端形成反映現實世界的實時動態畫面。

移動終端在播放圖像幀時，若圖像幀在預設時長內基本未發生變化，則選取當前播放的圖像幀，判斷選取的圖像幀是否符合預設的模板圖像特征。當選取的圖像幀不符合模板圖像特征時，提示用戶未識別到物體，繼續采集并播放圖像幀。當選取的圖像幀符合模板圖像特征時，移動終端進一步判斷本地是否緩存有與選取的圖像幀匹配的模板圖像。

當本地緩存有與選取的圖像幀匹配的模板圖像時，移動終端拉取與該模板圖像關聯的由多個內容創建者各自創建的用戶生成內容、相應的內容創建者頭像以及相應的展示位置，從而如圖8左所示，在當前播放的視頻幀上，展示內容創建者頭像列表801。用戶選中內容創建者頭像列表中的一個內容創建者頭像801a，使得社交應用按照與該選中的內容創建者頭像相應的展示位置，展示相應的用戶生成內容802和803。

如果模板圖像配置了立體旋轉角度，則移動終端會按照該立體旋轉角度將用戶生成內容802和803按照該立體旋轉角度變形后展示。當物體區域(如酒杯和水杯)在播放的圖像幀中變化時，用戶生成內容802和803會跟著變化。當物體區域的觀察角度變化時，用戶生成內容802和803也會進行相應的旋轉。

用戶可以在如圖8左所示的頁面中進行向上滑動的操作，進入對于當前所展示的用戶生成內容的評論頁面，如圖9所示，用戶可在該評論頁面中添加評論內容或者評論回復內容。

當本地未緩存與選取的圖像幀匹配的模板圖像時，移動終端將選取的圖像幀上傳至服務器，由服務器為上傳的圖像幀匹配模板圖像。若服務器查詢到匹配的模板圖像，移動終端可拉取與該模板圖像關聯的由多個內容創建者各自創建的用戶生成內容、相應的內容創建者頭像以及相應的展示位置，從而如圖8左所示，在當前播放的視頻幀上，展示內容創建者頭像列表801。用戶選中內容創建者頭像列表中的一個內容創建者頭像801a，使得社交應用按照與該選中的內容創建者頭像相應的展示位置，展示相應的用戶生成內容802和803。

若服務器未查詢到匹配的模板圖像，移動終端可展示如圖10所示的內容創建入口1001，用戶點擊內容創建入口1001后，用戶可選擇圖片和/或輸入文字，還可以在如圖11所示的圖片編輯頁面中對圖片進行編輯，如進行立體旋轉，還可以設定是否僅對好友可見的訪問權限，確認后創建用戶生成內容，并將用戶生成內容上傳至服務器，由服務器將上傳的用戶生成內容與由上傳的圖像幀注冊而成的模板圖像關聯存儲。如果上傳用戶生成內容失敗，則社交應用將提示出錯，并進入用于重新上傳用戶生成內容的發件箱。

圖12為一個實施例中用戶生成內容處理裝置1200的結構框圖。參照圖12，該用戶生成內容處理裝置1200包括：采集模塊1201、播放模塊1202、選取模塊1203、數據獲取模塊1204和渲染模塊1205。

采集模塊1201，用于從現實世界采集圖像幀。

播放模塊1202，用于將采集的圖像幀按照采集的時序逐幀播放。

選取模塊1203，用于從采集的圖像幀中選取圖像幀。

數據獲取模塊1204，用于獲取與選取的圖像幀匹配的模板圖像所關聯的用戶生成內容；獲取用戶生成內容在匹配的模板圖像中的展示位置。

渲染模塊1205，用于按照展示位置，在播放的圖像幀中渲染用戶生成內容。

在一個實施例中，選取模塊1203還用于判斷選取的圖像幀的特征是否符合預設的模板圖像特征；當選取的圖像幀的特征符合模板圖像特征時，通知獲取模塊，使獲取模塊工作；當選取的圖像幀的特征不符合模板圖像特征時，繼續從采集的圖像幀中選取圖像幀。

在一個實施例中，數據獲取模塊1204還用于將選取的圖像幀上傳至服務器；接收服務器反饋的表示查詢到與上傳的圖像幀匹配的模板圖像的第一通知；根據第一通知，獲取與模板圖像關聯的用戶生成內容。

在一個實施例中，數據獲取模塊1204還用于將選取的圖像幀上傳至服務器；接收服務器反饋的表示未查詢到與上傳的圖像幀匹配的模板圖像的第二通知；根據第二通知展示內容創建入口；根據對內容創建入口的操作創建用戶生成內容；將創建的用戶生成內容上傳至服務器，使得服務器將上傳的用戶生成內容與由上傳的圖像幀注冊而成的模板圖像關聯存儲。

在一個實施例中，數據獲取模塊1204還用于獲取在創建用戶生成內容時配置的立體旋轉參數。渲染模塊1205還用于按照展示位置，在播放的圖像幀中渲染按照立體旋轉參數旋轉后的用戶生成內容。

在一個實施例中，渲染模塊1205還用于在播放的圖像幀中追蹤模板圖像中的物體區域；檢測追蹤到的物體區域相對于模板圖像中的物體區域的形態變化；根據形態變化確定表示觀察方向的參數；根據展示位置，在播放的圖像幀中渲染按照表示觀察方向的參數變形后的用戶生成內容。

在一個實施例中，數據獲取模塊1204還用于獲取與選取的圖像幀匹配的模板圖像所關聯的多個內容創建者信息及相對應的用戶生成內容。渲染模塊1205還用于展示多個內容創建者信息；選中多個內容創建者信息中的一個；按照選中的一個內容創建者信息相對應的展示位置，在播放的圖像幀中渲染相對應的用戶生成內容。

上述用戶生成內容處理裝置1200，從現實世界采集圖像幀并按照采集的時序播放，通過從采集的圖像幀中選取的圖像幀，就能夠確定該圖像幀所匹配的模板圖像所關聯的用戶生成內容，并進行展示。能夠通過現實世界中拍攝的圖像幀定位到用戶生成內容并展示，可以不必依賴社交關系，擴展了用戶生成內容的傳播方式。而且，按照用戶生成內容在匹配的模板圖像中的展示位置，在播放的圖像幀中追蹤渲染用戶生成內容，將虛擬世界中的用戶生成內容與播放的視頻幀所反映的現實世界融合，提供了用戶生成內容的新互動方式。

本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件來完成，該計算機程序可存儲于一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，前述的存儲介質可為磁碟、光盤、只讀存儲記憶體(read-onlymemory，rom)等非易失性存儲介質，或隨機存儲記憶體(randomaccessmemory，ram)等。

以上實施例的各技術特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特征所有可能的組合都進行描述，然而，只要這些技術特征的組合不存在矛盾，都應當認為是本說明書記載的范圍。

以上實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對發明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保護范圍。因此，本發明專利的保護范圍應以所附權利要求為準。