基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法
【專利摘要】本發明公開了一種基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法，包括以下步驟：S1：采用局部線性嵌入方法對運動捕捉數據進行降維，采用平滑濾波去除噪聲得到反映原始運動的一維特征曲線；S2：提取特征曲線上的局部極值點獲得初始關鍵幀；S3：在初始關鍵幀之間，根據其特征曲線幅度差值和設定的閾值插入相應的幀數，得到最終的關鍵幀集合。本發明采用LLE算法對運動捕捉數據進行降維，根據降維后的一維特征曲線進行兩次關鍵幀提取，著重解決針對一段運動序列，可以自動的提取出一定數目的關鍵運動姿態，對該段運動有一個較好的視覺概括性，同時重建后的運動序列，可以保持一個較低的誤差率。
【專利說明】
【技術領域】
[0001] 本發明屬于圖像處理【技術領域】，尤其涉及一種基于局部線性嵌入的運動捕捉數據 的關鍵幀提取方法。 基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法
【背景技術】
[0002] 在近幾十年，隨著運動捕獲技術的興起和發展，以及設備技術的進步，大量的三維 人體運動捕獲數據生成，并被廣泛的應用在計算機動畫，電影特技，醫學仿真和游戲等領 域。伴隨著存在一個問題，由于捕捉數據的龐大導致運動捕捉數據庫的規模也很龐大，怎樣 才能充分地利用這些已有的運動捕捉數據，如何從運動庫中獲取用戶所需要的運動。關鍵 幀技術是一種有效的解決方法，選擇運動中最重要最關鍵的幀作為關鍵幀，代表整個運動 序列，對此段運動有一個較好的視覺概括性，同時又可以進行運動重建，還原原始運動，保 持一個較低的誤差率。
[0003] 目前從采樣方式主要分為兩大類：等間隔采樣和自適應采樣。等間隔采樣有可能 出現過采樣和欠采樣的問題，自適應采樣可以在變化小的地方少采樣而在變化大的地方多 采樣，于是可以解決前者的不足。現有的運動捕獲數據關鍵幀提取技術主要分為三大類： 基于曲線簡化、聚類和基于矩陣分解的技術。在基于曲線簡化技術這種方法中，如何避免維 數災難帶來的問題，華僑大學在2012年發表的基于中心距離特征的人體運動序列關鍵幀 提取中提取四肢到中心點的距離得到一組中心距離特征的方案，該方案提取的距離特征 并不能很好的代表運動數據。以及北京航空航天大學在2011年發表的基于混合遺傳算法 的人體運動捕獲數據關鍵幀提取等，此方案消耗時間比較長。對于降維后的特征曲線采 用曲線簡化的方案提取關鍵幀這樣的方案如浙江大學在2006年發表的基于分層曲線簡化 的運動捕捉數據關鍵巾貞提取以及2009年發表的"3D Human Motion Retrieval Based on Key-Frames"等。但這些方法在保證壓縮比的情況下誤差率依然較大。
【發明內容】
[0004] 根據現有技術存在的問題，本發明公開了一種基于局部線性嵌入的運動捕捉數據 的關鍵幀提取方法，包括以下步驟：
[0005] S1 :采用局部線性嵌入方法對運動捕捉數據進行降維，采用平滑濾波去除噪聲得 到反映原始運動的一維特征曲線；
[0006] S2 :提取特征曲線上的局部極值點獲得初始關鍵幀；
[0007] S3 :在初始關鍵幀之間，根據其特征曲線幅度差值和設定的閾值插入相應的幀數， 得到最終的關鍵幀集合。
[0008] 進一步的，S1中采用局部線性嵌入方法對運動捕捉數據進行降維時具體包括以下 步驟：
[0009] S11 :在高維空間中選擇K個近鄰點，對于高維空間中的每個樣本點Xi(i = 1，2,…，N)，N為樣本的總數，計算每個樣本點與其它樣本點之間的歐式距離；
[0010] S12 :由每個樣本點的近鄰點計算該樣本點的局部重建權值矩陣；
[0011] S13 :根據該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值；
[0012] 進一步的，S3具體包括以下步驟：
[0013] S31 :計算相鄰的初始關鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關 鍵幀集合中兩相鄰幀的幅度差值；
[0014] S32 :設置一個閾值Φ i，如果vary〈閾值Φ i，則不插入關鍵中貞；如果vary〉閾值 Φ i，則在對應初始關鍵幀之間插入一幀或多幀；
[0015] S33 :當幅度差值vary〉閾值Φ i時，設對應的初始關鍵幀為和f2，先將作為 當前幀，設f_ = 為臨時變量，按幀序號抽取下一幀用fnrat表示，根據特征曲線幅度 檢測fnext和fnew間的幅度差值va%，設置另一個閾值Φ2，如果vary, Φ2,則不作處理；如 果vary) Φ 2，則將fnext加入到的關鍵中貞集合中，令fnext = fnew ;
[0016] S34 :重復S32和S33直到所有幀處理完畢，得到最終關鍵幀集合。
[0017] 由于采用了上述技術方案，本發明提供的基于局部線性嵌入的運動捕捉數據的關 鍵幀提取方法，采用LLE算法對運動捕捉數據進行降維，根據降維后的一維特征曲線進行 兩次關鍵幀提取，著重解決針對一段運動序列，可以自動的提取出一定數目的關鍵運動姿 態，對該段運動有一個較好的視覺概括性，同時重建后的運動序列，可以保持一個較低的誤 差率。本發明具有以下有益效果：
[0018] 1、采用了 LLE算法對原始運動捕捉數據進行降維，很好的揭示了運動背后的本質 特征，而且避免了維數災難帶來的問題。
[0019] 2、采用兩次關鍵幀提取的方法，第一次依據特征曲線的局部極值點作為初始關鍵 幀，第二次依據特征曲線幅度差值插幀獲得最終關鍵幀，可以根據不同的運動設定不同的 閾值自動的獲取一定數目的采樣幀數，在平緩的運動處提取較少的關鍵幀，在劇烈的運動 處提取較多的關鍵幀數。所提取的關鍵幀既能很好的概括原始運動，同時又有一個較低的 誤差率和壓縮比。
【專利附圖】
【附圖說明】
[0020] 為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下， 還可以根據這些附圖獲得其他的附圖。
[0021] 圖1為本發明中方法的流程圖；
[0022] 圖2為在MTALAB中顯示的人體骨骼模型圖；
[0023] 圖3為"踢球"運動的特征曲線及初始關鍵幀分布圖；（圖中圓圈表示最初的關鍵 幀）；
[0024] 圖4為"踢球"運動的特征曲線及最終關鍵幀分布圖；（圖中圓圈表示最初的關鍵 中貞，星號表不為最終的關鍵巾貞）；
[0025] 圖5 "踢球"運動的不同關鍵幀提取方法比較結果展示圖，其中：圖5(a)為本發明 方法的結果展示圖；圖5(b)為均勻采樣方法的結果展示圖，（方框代表過采樣和欠采樣）； 圖5(c)為曲線簡化方法的結果展示圖，（方框代表過采樣和欠采樣）；圖5(d)為四元數距 離方法的結果展示圖；
[0026] 圖6為采用本發明方法對六種不同運動類型（踢球，跳，跑-停止，走，跳舞， 走-跳-走）的壓縮率比較圖；
[0027] 圖7為本發明公開的方法、四元數距離方法、曲線簡化和均勻采樣方法對六種采 樣運動的重建誤差比較圖；（a)踢球誤差（提取33個關鍵幀）；(b)跳的誤差（提取24個 關鍵幀）；（c)跑-停止的誤差（提取11個關鍵幀）；（d)走的誤差（提取16個關鍵幀）； (e)跳舞的誤差（提取37個關鍵幀）；(f)走-跳-走的誤差（提取50個關鍵幀）。
【具體實施方式】
[0028] 為使本發明的技術方案和優點更加清楚，下面結合本發明實施例中的附圖，對本 發明實施例中的技術方案進行清楚完整的描述：
[0029] 如圖1、圖2所示基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法：具體包括 以下步驟：
[0030] S1 :采用局部線性嵌入方法對運動捕捉數據進行降維，采用平滑濾波去除噪聲得 到反映原始運動的一維特征曲線；
[0031] S2 :提取特征曲線上的局部極值點獲得初始關鍵幀；
[0032] S3 :在初始關鍵幀之間，根據其特征曲線幅度差值和設定的閾值插入相應的幀數， 得到最終的關鍵幀集合。
[0033] 進一步的，S1中采用局部線性嵌入方法對運動捕捉數據進行降維時具體包括以下 步驟：
[0034] S11 :在高維空間中選擇K個近鄰點，對于高維空間中的每個樣本點Xji = 1，2,…，N)，N為樣本的總數，計算每個樣本點與其它樣本點之間的歐式距離；
[0035] S12 :由每個樣本點的近鄰點計算該樣本點的局部重建權值矩陣；
[0036] S13 :根據該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值；
[0037] 進一步的，S3具體包括以下步驟：
[0038] S31 :計算相鄰的初始關鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關 鍵幀集合中兩相鄰幀的幅度差值；
[0039] S32 :設置一個閾值Φ i，如果vary〈閾值Φ i，則不插入關鍵中貞；如果vary〉閾值 Φ i，則在對應初始關鍵幀之間插入一幀或多幀；
[0040] S33 :當幅度差值vary〉閾值Φ i時，設對應的初始關鍵幀為和f2，先將作為 當前幀，設f_ = 為臨時變量，按幀序號抽取下一幀用fnrat表示，根據特征曲線幅度 檢測fnext和fnew間的幅度差值va%，設置另一個閾值Φ2，如果vary, Φ2,則不作處理；如 果vary) Φ 2，則將fnext加入到的關鍵中貞集合中，令fnext = fnew ;
[0041] S34 :重復S32和S33直到所有幀處理完畢，得到最終關鍵幀集合。
[0042] 實施例：
[0043] 步驟一：從CMU數據庫中選擇一個具有代表性的運動，'踢球'運動（總幀數為801 幀）。采用LLE對'踢球'運動進行降維，采用Lowess平滑濾波，設置相應的參數對特征曲 線去噪，得到一維特征曲線進而進行關鍵幀提取。
[0044] 步驟二：在MATLAB中，根據特征曲線曲率變化情況找到曲線上的局部極值點，得 到初始關鍵幀集合。如圖3所示。
[0045] 步驟三：基于特征曲線幅度的分裂算法提取的最終關鍵幀如圖4所示。我們提取 的局部極值點作為初始關鍵幀有圓圈表示，同時星號表示最終的關鍵幀。通過研究發現，當 運動劇烈姿態變化較大時對應的特征曲線幅度變化較大，需要插入額外的關鍵幀，當運動 姿態變化較小時對應的特征曲線幅度變化較小，不需要插入額外關鍵幀。通過這個方法我 們可以有效的獲得最終的關鍵幀集合。
[0046] 步驟四：不同關鍵幀提取算法的比較。我們采用了四種方法：本發明方法，均勻采 用，曲線簡化，只有四元數距離的方法，從一個'踢球'運動中提取相同數目的關鍵幀（壓縮 比相同）。不同方法提取關鍵幀的比較結果如圖5所示。我們提取了 33個關鍵幀，本發明 方法很好的概括了該運動，避免了過采樣和欠采樣問題。
[0047] 步驟五：采用本發明方法測試六種不同類型的運動序列，其中包括踢球，跳，跑， 走，跳舞，走-跳-走。如圖6所示，從表1發現本發明方法得到的壓縮比在8%以內。
[0048] 表1.六種運動類型的壓縮比比較
[0049]
【權利要求】
1. 一種基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法，其特征在于包括以下步 驟： 51 :采用局部線性嵌入方法對運動捕捉數據進行降維，采用平滑濾波去除噪聲得到反 映原始運動的一維特征曲線； 52 :提取特征曲線上的局部極值點獲得初始關鍵幀； 53 :在初始關鍵幀之間，根據其特征曲線幅度差值和設定的閾值插入相應的幀數，得到 最終的關鍵巾貞集合。
2. 根據權利要求1所述的基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法，其特 征還在于：S1中采用局部線性嵌入方法對運動捕捉數據進行降維時具體包括以下步驟： 511 :在高維空間中選擇K個近鄰點，對于高維空間中的每個樣本點Xi(i = 1，2，···，Ν)， Ν為樣本的總數，計算每個樣本點與其它樣本點之間的歐式距離； 512 :由每個樣本點的近鄰點計算該樣本點的局部重建權值矩陣； 513 :根據該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值。
3. 根據權利要求1所述的基于局部線性嵌入的運動捕捉數據的關鍵幀提取方法，其特 征還在于：S3具體包括以下步驟： 531 :計算相鄰的初始關鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關鍵中貞 集合中兩相鄰幀的幅度差值； 532 :設置一個閾值t，如果vary〈閾值t，則不插入關鍵巾貞；如果vary〉閾值t，則 在對應初始關鍵幀之間插入一幀或多幀； 533 :當幅度差值vary〉閾值Φ i時，設對應的初始關鍵幀為和f2，先將作為當前 幀，設= f\，為臨時變量，按幀序號抽取下一幀用fMxt表示，根據特征曲線幅度檢 測fnext和4?間的幅度差值 varyi，設置另一個閾值七，如果varyi〈七，則不作處理；如果 vary^ Φ 2，則將fnrart加入到的關鍵巾貞集合中，令fmxt = fn" ; 534 :重復S32和S33直到所有幀處理完畢，得到最終關鍵幀集合。
【文檔編號】G06T7/20GK104156986SQ201410431450
【公開日】2014年11月19日 申請日期:2014年8月28日 優先權日:2014年8月28日
【發明者】張強, 董旭龍, 周東生, 魏小鵬 申請人:大連大學