一種基于非平凡模式的動作合成方法
【專利摘要】本發明公開了一種基于非平凡模式的動作合成方法，（1）、由于硬件方面的原因，動作捕捉數據通常含有一定量的噪音，這些噪音主要是一些高頻的信號抖動，它們會影響低級動作分割方法的正確性，所以在對動作進行分割之前，需要對它們進行降噪，用于動作數據噪音處理的通常有兩種方法，即卡爾曼濾波和巴特沃斯低通濾波，因為巴特沃斯低通濾波通常會造成動作段末端誤差較大，所以我們擬采用卡爾曼濾波的方法對運動捕捉數據進行降噪；（2）、在對動作數據進行降噪之后，我們需要進行低級動作分割，為了完成分割，首先主成分分析被用于動作數據；之后結合過零點檢測和基于曲率的方法在最主要的維度上對動作進行分割。
【專利說明】
一種基于非平凡模式的動作合成方法
技術領域
[0001 ]本發明涉及一種合成方法，特別是涉及一種基于非平凡模式的動作合成方法。
【背景技術】
[0002]運動合成即是將已有動作序列組合成新的動作序列的技術。運動合成技術可以提高運動捕捉數據的可重用性，從而降低三維動畫制作的成本。本項目擬提出一種基于非平凡模式的混合圖模型，通過該混合圖模型，可以在降低成本的同時，為用戶提供大量高質量的可合成動作并高效準確地合成滿足用戶需求的動作。該混合圖模型包含了兩種圖結構，即模式索引圖和模式過渡圖，其中模式索引圖記錄了非平凡模式間的包含關系，用于非平凡模式的檢索;模式過渡圖記錄了非平凡模式間的過渡關系，為非平凡模式之間對接合成提供依據。本項目的主要研究內容包括:研究在運動捕捉數據庫中發現非平凡模式的方法，將動作分割成非平凡模式的集合;研究模式索引圖的構造方法，使得用戶可以快速準確定位自身需求;研究模式過渡圖的構造方法及動作再序列方法，從而可以高效地合成逼真的動作。
[0003]隨著游戲產業的發展，人們對游戲的畫質要求越來越高。對公司來說，美術的開發壓力也越來越大。如果解決美術的開發量及開發壓力，用最簡單的方式，實現最完美的動畫制作，成為公司主要的攻克難題。運動合成是近些年來的研究熱點，本項目的各研究問題均是來源于前人及我們前期研究中迫切需要解決的實際問題。根據我們的研究經驗和初步研究結果，認真分析了項目成功的關鍵科學問題，認為盡管本項目的整體目標具有相當的挑戰性，但是通過努力工作之后是可以實現的。通過分析國內外在運動合成方面的最新研究動態，我們可以看出在基于運動圖及其各種擴展的運動合成方法方面開展了大量的工作，并且已經取得了一些成果。然而現有方法仍然存在著一些問題，如合成的動作數量少或者質量差，合成滿足用戶需求動作的效率低下等。我們擬提出一種基于非平凡模式的混合圖模型用于運動合成，其相對于已有的運動圖方法及其擴展，既有繼承，也有拓展，是可行的。
【發明內容】
[0004]為了解決現有技術中的問題，本發明提供了一種基于非平凡模式的動作合成方法。
[0005]為了解決上述問題，本發明所采取的技術方案是:
一種基于非平凡模式的動作合成方法，其特征在于:包括以下步驟:(I )、由于硬件方面的原因，動作捕捉數據通常含有一定量的噪音，這些噪音主要是一些高頻的信號抖動，它們會影響低級動作分割方法的正確性，所以在對動作進行分割之前，需要對它們進行降噪，用于動作數據噪音處理的通常有兩種方法，即卡爾曼濾波和巴特沃斯低通濾波，因為巴特沃斯低通濾波通常會造成動作段末端誤差較大，所以我們擬采用卡爾曼濾波的方法對運動捕捉數據進行降噪；
(2)、在對動作數據進行降噪之后，我們需要進行低級動作分割，為了完成分割，首先主成分分析被用于動作數據;之后結合過零點檢測和基于曲率的方法在最主要的維度上對動作進行分割，確定分割出段的總數和初步的分割點；最后使用聚類的方法，根據其余各維的分割點及其重要程度對初步的分割點進行調整；
(3)、對于前一步由低級動作分割得到的所有動作段，我們找出其中相似的動作段，并賦予相似的動作段相同的符號，這樣就將動作的序列轉換成了符號的序列，之后使用后綴樹方法即可以解決符號序列中非平凡模式的發現問題，最后我們從屬于同一個模式的所有相似動作融合出該模式的代表動作，該代表動作是屬于該模式的所有相似動作在時間上和空間上的中間表示，找出動作中的所有非平凡模式，其中Pl到P4中動作均重復出現，屬于重復模式，而P5到P7中的動作只出現一次，屬于非重復模式。
[0006]前述的一種基于非平凡模式的動作合成方法，其特征在于:已有的基于模式的運動圖方法只提供模式之間的過渡對接，然而，如果要同時提高可合成動作的質量和數量，就要擴大運動捕捉數據的數據集，而這帶來的一個問題就是動作的檢索時間會被加長，在本項目中，我們擬提出一種基于模式混合圖的運動合成方法，其中，通過模式索引圖，可以快速準確查找滿足用戶需求的動作模式，通過模式過渡圖，可以高效地合成逼真的動畫，通過將模式索引圖及模式過渡圖有機結合到一起，可以為用戶提供大量高質量的可合成動作，同時幫助用戶高效地合成滿足其需求的動作。
[0007]前述的一種基于非平凡模式的動作合成方法，其特征在于:就現有模式發現的方法而言，基于自相似矩陣的方法時間復雜度較高，而基于離散化的方法又會受到離散化區間個數的影響，這里我們擬提出一種基于低級動作分割的非平凡模式發現方法，該方法首先將動作分割為基礎動作，并賦予相似的基礎動作相同的符號，從而將動作的序列轉換成為符號的序列，最后通過后綴樹方法即可找出符號序列中的非平凡模式，同現有方法相比，該方法可以更加快速準確地發現動作中的非平凡模式。
[0008]前述的一種基于非平凡模式的動作合成方法，其特征在于:用于一維時序數據的低級分割方法不能直接搬到多維的動作數據上，因為各維上運動的分割點不盡相同，導致我們不能決定整體動作的分割點，在這里，我們擬提出一種自頂向下、逐步求精的動作數據分割方法，該方法首先將主成分分析應用于動作數據，之后根據最主要維上的數據進行分段并決定分段個數，決定初步的分割點，最后使用聚類的方法，根據其余各維的分割點及其重要程度，對初步的分割點進行調整，同現有方法相比，該方法可以準確地對高維的動作數據進行分割，同時也具有更好的穩定性。
[0009]前述的一種基于非平凡模式的動作合成方法，其特征在于:現有的運動捕捉數據檢索方法并不能很好地滿足非平凡模式檢索的需要，而現有的動作模式檢索方法往往是關于人體骨架的層次化結構，本項目中，我們擬提出一種對非平凡模式進行索引的層次化結構，即模式索引圖，通過該圖，系統可以快速準確地檢索用戶輸入動作所對應的模式，為了構造模式索引圖，我們首先找出非平凡模式之間的包含關系，由于包含關系具有傳遞性，導致初步構造的模式索引圖包含了大量的冗余關系，為了使模式索引圖具有更好的可視性，我們使用傳遞性消除算法將當中的冗余關系消除，從而得到一個簡潔的模式索引圖，模式索引圖可以幫助用戶更加高效地查找輸入動作所對應的非平凡模式。
[0010]前述的一種基于非平凡模式的動作合成方法，其特征在于:由于非平凡模式之間存在包含關系，可以組織成一個特殊的層次型結構，所以這里我們擬提出一種自底向上按照增量式的策略來構造模式過渡圖，高層非平凡模式可以完全繼承低層非平凡模式的過渡關系，從而可以提高構造模式過渡圖的效率，就模式間過渡關系的建立，采用了基于非平凡模式代表動作單個姿勢相似性的過渡關系建立方法，從而確保了構造出的模式過渡圖具有較好的連通性，為了解決由單個姿勢相似性帶來的平滑性問題，并使得用戶可以在諸多可合成動作中快速尋找滿足其需求的動作，我們擬提出一種新的動作再序列方法，通過將模式過渡圖與動作再序列方法進行結合，可以同時兼顧連通性和平滑性，為用戶提供大量高質量的可合成動作，并且可以高效地在諸多可合成動作中找出滿足用戶需求的動作。
[0011]本發明所達到的有益效果:本發明(A)對于基于低級動作分割的非平凡模式發現方法，其關鍵點就在于低級動作分割，現有的時序數據低級分割算法在一維數據上已經可以得到較好的結果，我們只需在此基礎上進行增量創新，將其擴展到高維的動作數據上，將各維上的分割點按照其重要程度融合出整體動作的分割點，這具備理論上的可行性。另外我們已經在簡單的動作上測試了本文中擬提出的低級動作分割方法并得到了較好的效果。因此，基于低級動作分割的非平凡模式發現方法具有可行性。(B)檢索非平凡模式的關鍵就在于模式索引圖。在模式索引圖中，頂點對應著非平凡模式，邊對應著非平凡模式間的包含關系，在挖掘出非平凡模式后，發現非平凡模式間的包含關系是完全可以實現的；另外，用來消除初步生成的模式索引圖中冗余關系的傳遞性消除算法也是較為成熟的；因此這里基于非平凡模式的模式索引圖構造方法是可行的。(C)就模式過渡圖的構造方法及基于模式過渡圖的動作再序列方法而言，我們是根據實際的問題對前人工作進行歸納總結，將各種方法的長處進行有機結合，并在此基礎上針對我們的特殊情況對其進行深化創新而提出的。因此這里模式索引圖的構造方法及基于模式過渡圖的動作再序列方法是可行的。
【具體實施方式】
[0012]以下實施例僅用于更加清楚地說明本發明的技術方案，而不能以此來限制本發明的保護范圍。
[0013]本發明研究內容主要包含三個方面:(A)不同于基于模式的運動圖構造方法，非平凡模式之間存在著包含關系，可以組織成一種層次化的結構，即模式索引圖，所以我們要研究一種基于這種層次化結構構造模式過渡圖的策略。(B)如果兩個動作段之間存在著K個連續的姿勢相似，通過這些姿勢可以將兩個動作段連接起來，則稱這兩個動作段之間存在過渡關系，姿勢的相似程度反映了兩個動作之間過渡的平滑程度，這些姿勢在兩個動作段中的位置就稱為過渡點。一般的，K越大，平滑性就越好，連通性就越差。在這里，為了確保連通性，從而保證可合成動作的數量，我們研究根據單個姿勢的相似性來建立非平凡模式代表動作間過渡關系的方法。(C)由于可合成動作數量的大幅增加，導致用戶在諸多可合成動作中尋找滿足其需求動作的時間加長，另外根據單個姿勢相似性建立的模式間過渡關系平滑性較差。我們擬研究一種動作再序列的方法來彌補這些缺陷，通過將該動作再序列方法與模式過渡圖結合，可以為用戶提供大量高質量的可合成動作，同時可以高效地在諸多可合成動作中尋找滿足用戶需求的動作。
[0014]—種基于非平凡模式的動作合成方法，其特征在于:包括以下步驟:(1)、由于硬件方面的原因，動作捕捉數據通常含有一定量的噪音，這些噪音主要是一些高頻的信號抖動，它們會影響低級動作分割方法的正確性，所以在對動作進行分割之前，需要對它們進行降噪，用于動作數據噪音處理的通常有兩種方法，即卡爾曼濾波和巴特沃斯低通濾波，因為巴特沃斯低通濾波通常會造成動作段末端誤差較大，所以我們擬采用卡爾曼濾波的方法對運動捕捉數據進行降噪；
(2)、在對動作數據進行降噪之后，我們需要進行低級動作分割，為了完成分割，首先主成分分析被用于動作數據;之后結合過零點檢測和基于曲率的方法在最主要的維度上對動作進行分割，確定分割出段的總數和初步的分割點；最后使用聚類的方法，根據其余各維的分割點及其重要程度對初步的分割點進行調整；
(3)、對于前一步由低級動作分割得到的所有動作段，我們找出其中相似的動作段，并賦予相似的動作段相同的符號，這樣就將動作的序列轉換成了符號的序列，之后使用后綴樹方法即可以解決符號序列中非平凡模式的發現問題，最后我們從屬于同一個模式的所有相似動作融合出該模式的代表動作，該代表動作是屬于該模式的所有相似動作在時間上和空間上的中間表示，找出動作中的所有非平凡模式，其中Pl到P4中動作均重復出現，屬于重復模式，而P5到P7中的動作只出現一次，屬于非重復模式。
[0015]本發明所采取的方案:
I)提出一種基于模式混合圖的運動合成方法。
[0016]已有的基于模式的運動圖方法只提供模式之間的過渡對接，然而，如果要同時提高可合成動作的質量和數量，就要擴大運動捕捉數據的數據集，而這帶來的一個問題就是動作的檢索時間會被加長。在本項目中，我們擬提出一種基于模式混合圖的運動合成方法，其中，通過模式索引圖，可以快速準確查找滿足用戶需求的動作模式，通過模式過渡圖，可以高效地合成逼真的動畫。通過將模式索引圖及模式過渡圖有機結合到一起，可以為用戶提供大量高質量的可合成動作，同時幫助用戶高效地合成滿足其需求的動作。
[0017]2)提出一種基于低級動作分割的非平凡模式發現方法。
[0018]就現有模式發現的方法而言，基于自相似矩陣的方法時間復雜度較高，而基于離散化的方法又會受到離散化區間個數的影響。這里我們擬提出一種基于低級動作分割的非平凡模式發現方法，該方法首先將動作分割為基礎動作，并賦予相似的基礎動作相同的符號，從而將動作的序列轉換成為符號的序列，最后通過后綴樹方法即可找出符號序列中的非平凡模式。同現有方法相比，該方法可以更加快速準確地發現動作中的非平凡模式。
[0019]用于一維時序數據的低級分割方法不能直接搬到多維的動作數據上，因為各維上運動的分割點不盡相同，導致我們不能決定整體動作的分割點。在這里，我們擬提出一種自頂向下、逐步求精的動作數據分割方法，該方法首先將主成分分析應用于動作數據，之后根據最主要維上的數據進行分段并決定分段個數，決定初步的分割點，最后使用聚類的方法，根據其余各維的分割點及其重要程度，對初步的分割點進行調整。同現有方法相比，該方法可以準確地對高維的動作數據進行分割，同時也具有更好的穩定性。
[0020]3)提出基于非平凡模式的模式索引圖及其構造方法。
[0021]現有的運動捕捉數據檢索方法并不能很好地滿足非平凡模式檢索的需要，而現有的動作模式檢索方法往往是關于人體骨架的層次化結構。本項目中，我們擬提出一種對非平凡模式進行索引的層次化結構，即模式索引圖。通過該圖，系統可以快速準確地檢索用戶輸入動作所對應的模式。為了構造模式索引圖，我們首先找出非平凡模式之間的包含關系，由于包含關系具有傳遞性，導致初步構造的模式索引圖包含了大量的冗余關系，為了使模式索引圖具有更好的可視性，我們使用傳遞性消除算法將當中的冗余關系消除，從而得到一個簡潔的模式索引圖。模式索引圖可以幫助用戶更加高效地查找輸入動作所對應的非平凡模式。
[0022]4)提出基于非平凡模式的模式過渡圖構造方法及基于模式過渡圖的動作再序列方法。
[0023]由于非平凡模式之間存在包含關系，可以組織成一個特殊的層次型結構，所以這里我們擬提出一種自底向上按照增量式(Incremental)的策略來構造模式過渡圖。高層非平凡模式可以完全繼承低層非平凡模式的過渡關系，從而可以提高構造模式過渡圖的效率。就模式間過渡關系的建立，采用了基于非平凡模式代表動作單個姿勢相似性的過渡關系建立方法，從而確保了構造出的模式過渡圖具有較好的連通性，為了解決由單個姿勢相似性帶來的平滑性問題，并使得用戶可以在諸多可合成動作中快速尋找滿足其需求的動作，我們擬提出一種新的動作再序列方法，通過將模式過渡圖與動作再序列方法進行結合，可以同時兼顧連通性和平滑性，為用戶提供大量高質量的可合成動作，并且可以高效地在諸多可合成動作中找出滿足用戶需求的動作。
[0024]綜上所述:本發明(A)對于基于低級動作分割的非平凡模式發現方法，其關鍵點就在于低級動作分割，現有的時序數據低級分割算法在一維數據上已經可以得到較好的結果，我們只需在此基礎上進行增量創新，將其擴展到高維的動作數據上，將各維上的分割點按照其重要程度融合出整體動作的分割點，這具備理論上的可行性。另外我們已經在簡單的動作上測試了本文中擬提出的低級動作分割方法并得到了較好的效果。因此，基于低級動作分割的非平凡模式發現方法具有可行性。(B)檢索非平凡模式的關鍵就在于模式索引圖。在模式索引圖中，頂點對應著非平凡模式，邊對應著非平凡模式間的包含關系，在挖掘出非平凡模式后，發現非平凡模式間的包含關系是完全可以實現的；另外，用來消除初步生成的模式索引圖中冗余關系的傳遞性消除算法也是較為成熟的；因此這里基于非平凡模式的模式索引圖構造方法是可行的。(C)就模式過渡圖的構造方法及基于模式過渡圖的動作再序列方法而言，我們是根據實際的問題對前人工作進行歸納總結，將各種方法的長處進行有機結合，并在此基礎上針對我們的特殊情況對其進行深化創新而提出的。因此這里模式索引圖的構造方法及基于模式過渡圖的動作再序列方法是可行的。
[0025]以上顯示和描述了本發明的基本原理、主要特征及優點。本行業的技術人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發明的原理，在不脫離本發明精神和范圍的前提下，本發明還會有各種變化和改進，這些變化和改進都落入要求保護的本發明范圍內。本發明要求保護范圍由所附的權利要求書及其等效物界定。
【主權項】
1.一種基于非平凡模式的動作合成方法，其特征在于:包括以下步驟:(I)、由于硬件方面的原因，動作捕捉數據通常含有一定量的噪音，這些噪音主要是一些高頻的信號抖動，它們會影響低級動作分割方法的正確性，所以在對動作進行分割之前，需要對它們進行降噪，用于動作數據噪音處理的通常有兩種方法，即卡爾曼濾波和巴特沃斯低通濾波，因為巴特沃斯低通濾波通常會造成動作段末端誤差較大，所以我們擬采用卡爾曼濾波的方法對運動捕捉數據進行降噪； (2)、在對動作數據進行降噪之后，我們需要進行低級動作分割，為了完成分割，首先主成分分析被用于動作數據;之后結合過零點檢測和基于曲率的方法在最主要的維度上對動作進行分割，確定分割出段的總數和初步的分割點；最后使用聚類的方法，根據其余各維的分割點及其重要程度對初步的分割點進行調整； (3)、對于前一步由低級動作分割得到的所有動作段，我們找出其中相似的動作段，并賦予相似的動作段相同的符號，這樣就將動作的序列轉換成了符號的序列，之后使用后綴樹方法即可以解決符號序列中非平凡模式的發現問題，最后我們從屬于同一個模式的所有相似動作融合出該模式的代表動作，該代表動作是屬于該模式的所有相似動作在時間上和空間上的中間表示，找出動作中的所有非平凡模式，其中Pl到P4中動作均重復出現，屬于重復模式，而P5到P7中的動作只出現一次，屬于非重復模式。2.根據權利要求1所述的一種基于非平凡模式的動作合成方法，其特征在于:已有的基于模式的運動圖方法只提供模式之間的過渡對接，然而，如果要同時提高可合成動作的質量和數量，就要擴大運動捕捉數據的數據集，而這帶來的一個問題就是動作的檢索時間會被加長，在本項目中，我們擬提出一種基于模式混合圖的運動合成方法，其中，通過模式索引圖，可以快速準確查找滿足用戶需求的動作模式，通過模式過渡圖，可以高效地合成逼真的動畫，通過將模式索引圖及模式過渡圖有機結合到一起，可以為用戶提供大量高質量的可合成動作，同時幫助用戶高效地合成滿足其需求的動作。3.根據權利要求2所述的一種基于非平凡模式的動作合成方法，其特征在于:就現有模式發現的方法而言，基于自相似矩陣的方法時間復雜度較高，而基于離散化的方法又會受到離散化區間個數的影響，這里我們擬提出一種基于低級動作分割的非平凡模式發現方法，該方法首先將動作分割為基礎動作，并賦予相似的基礎動作相同的符號，從而將動作的序列轉換成為符號的序列，最后通過后綴樹方法即可找出符號序列中的非平凡模式，同現有方法相比，該方法可以更加快速準確地發現動作中的非平凡模式。4.根據權利要求2所述的一種基于非平凡模式的動作合成方法，其特征在于:用于一維時序數據的低級分割方法不能直接搬到多維的動作數據上，因為各維上運動的分割點不盡相同，導致我們不能決定整體動作的分割點，在這里，我們擬提出一種自頂向下、逐步求精的動作數據分割方法，該方法首先將主成分分析應用于動作數據，之后根據最主要維上的數據進行分段并決定分段個數，決定初步的分割點，最后使用聚類的方法，根據其余各維的分割點及其重要程度，對初步的分割點進行調整，同現有方法相比，該方法可以準確地對高維的動作數據進行分割，同時也具有更好的穩定性。5.根據權利要求4所述的一種基于非平凡模式的動作合成方法，其特征在于:現有的運動捕捉數據檢索方法并不能很好地滿足非平凡模式檢索的需要，而現有的動作模式檢索方法往往是關于人體骨架的層次化結構，本項目中，我們擬提出一種對非平凡模式進行索引的層次化結構，即模式索引圖，通過該圖，系統可以快速準確地檢索用戶輸入動作所對應的模式，為了構造模式索引圖，我們首先找出非平凡模式之間的包含關系，由于包含關系具有傳遞性，導致初步構造的模式索引圖包含了大量的冗余關系，為了使模式索引圖具有更好的可視性，我們使用傳遞性消除算法將當中的冗余關系消除，從而得到一個簡潔的模式索引圖，模式索引圖可以幫助用戶更加高效地查找輸入動作所對應的非平凡模式。6.根據權利要求5所述的一種基于非平凡模式的動作合成方法，其特征在于:由于非平凡模式之間存在包含關系，可以組織成一個特殊的層次型結構，所以這里我們擬提出一種自底向上按照增量式的策略來構造模式過渡圖，高層非平凡模式可以完全繼承低層非平凡模式的過渡關系，從而可以提高構造模式過渡圖的效率，就模式間過渡關系的建立，采用了基于非平凡模式代表動作單個姿勢相似性的過渡關系建立方法，從而確保了構造出的模式過渡圖具有較好的連通性，為了解決由單個姿勢相似性帶來的平滑性問題，并使得用戶可以在諸多可合成動作中快速尋找滿足其需求的動作，我們擬提出一種新的動作再序列方法，通過將模式過渡圖與動作再序列方法進行結合，可以同時兼顧連通性和平滑性，為用戶提供大量高質量的可合成動作，并且可以高效地在諸多可合成動作中找出滿足用戶需求的動作。
【文檔編號】G06T13/40GK106097419SQ201610475183
【公開日】2016年11月9日
【申請日】2016年6月27日
【發明人】馮軍
【申請人】江蘇易樂網絡科技有限公司