一種舞蹈編排中圖像處理方法及裝置與流程

本申請涉及圖像處理，為一種舞蹈圖像處理方法，具體為一種舞蹈編排中圖像處理方法及裝置。

背景技術：

1、舞蹈是一種以人的身體動作為主要表現形式的藝術，舞蹈動優化作研究是在專業領域對動作的流暢性、規范性、藝術性的分析評價，衡量層次更深、更具專業性質。隨著科技的發展，舞蹈傳承者使用視頻來記錄原舞蹈動作，訓練者根據舞蹈視頻進行學習和訓練。但在根據視頻進行練習的過程中，不能對舞蹈動作進行全面觀察，且訓練者依據視頻練習過程中，缺少反饋信息，訓練者無法對自己動作水平擁有明確的定位。而且，長期錯誤動作的練習也會對訓練者的肌肉造成損傷。

技術實現思路

1、為了解決現有技術中存在的技術問題，本申請實施例提供一種舞蹈編排中圖像處理方法及裝置，能夠通過對訓練者的姿態進行識別，并對姿態進行評價得到評價結果。

2、為了達到上述目的，本申請實施例采用的技術方案如下：

3、第一方面，提供一種舞蹈編排中圖像處理方法，所述方法包括：獲取待編排舞蹈的標簽信息，基于所述標簽信息配置目標關鍵點骨骼標簽；基于目標采集時間間隔獲取舞者的多個實時圖像，并基于所述目標關鍵點骨骼標簽對所述實時圖像進行標注，并對標注結果進行抽取，得到多個基于時序進行排列的目標關鍵點標注圖，將所述目標關鍵點標注圖中的關鍵點進行連接得到目標骨骼框架圖；將多個所述目標骨骼框架圖基于時序進行排列得到骨骼框架圖組，將所述骨骼框架圖組與標準骨骼框架圖組基于余弦距離進行相似度計算，得到每一個所述目標骨骼框架圖所對應的相似度，并基于相似度對對應的動作進行評價得分。

4、進一步的，所述目標關鍵點骨骼標簽為目標骨骼點；所述基于所述標簽信息配置目標關鍵點骨骼標簽，包括：基于所述標簽信息在目標關鍵點骨骼數據庫中進行篩選，得到與標簽信息符合的骨骼點組；所述目標關鍵點骨骼數據庫中配置有多個骨骼點組，每個所述骨骼點組配置有多個目標骨骼點，多個目標骨骼點組成所述標準骨骼框架圖組。

5、進一步的，所述目標骨骼點基于對多個初始骨骼點進行權重篩選得到，具體包括：基于標簽信息獲取多個目標靜態動作，并采集多個目標靜態動作所對應的多個靜態圖像，識別每個所述靜態圖像中的每個骨骼點以及對應的骨骼點坐標，并計算每個所述骨骼點坐標在多個所述靜態圖像中的變化率，并基于所述變化率的排序對多個所述骨骼點進行篩選，得到所述目標骨骼點。

6、進一步的，基于所述目標關鍵點骨骼標簽對所述實時圖像進行標注，包括：識別所述實時圖像中的每個骨骼點，并對每個所述骨骼點基于目標關鍵點骨骼標簽進行標注，得到標注結果。

7、進一步的，所述靜態圖像和所述實時圖像中的骨骼點的識別基于關鍵點識別模型實現，所述關鍵點識別模型包括第一特征提取模塊、第二特征提取模塊、第三特征提取模塊和第四特征提取模塊，且在所述第一特征提取模塊和所述第二特征提取模塊之間設置有第一連接層，在所述第二特征提取模塊和所述第三特征提取模塊之間設置有第二連接層，在所述第三特征提取模塊和所述第四特征提取模塊之間設置有第三連接層。

8、進一步的，所述第一特征提取模塊通過兩個卷積層將所述靜態圖像、所述實時圖像分辨率進行下采樣，并通過四個瓶頸模塊提取目標的淺層特征；所述第二特征提取模塊包括第一特征提取分支和第二特征提取分支，在所述第一特征提取分支和所述第二特征提取分支上配置有深度卷積變化子模塊，基于兩個所述深度卷積變換子模塊進行特征提取，后通過多尺度特征融合子模塊對提取到的特征進行融合；所述第三特征提取模塊包含三條分支，每一分支包括四個特征提取單元，每一個所述特征提取單元內設置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊；所述第四特征提取模塊包括四條分支，每一條分支包括三個特征提取單元，每一個所述特征提取單元內設置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊。

9、進一步的，所述第一連接層包括兩個輸出通道，分別與所述第二特征提取模塊中的第一特征提取分支和第二特征提取分支連接；所述第二連接層包括兩個恒等映射層和一個卷積層，分別與所述第三特征提取模塊中的三條分支連接；所述第三連接層包括三個恒等映射層和一個卷積層，分別與所述第四特征提取模塊中的四條分支連接。

10、進一步的，所述深度卷積變換子模塊包括特征提取層和通道映射層，所述特征提取層包括層歸一化模塊、深度可分離卷積模塊和級聯通道注意力模塊，所述通道映射層包括層歸一化模塊、第一卷積模塊和第二卷積模塊；所述多尺度特征融合子模塊包括特征尺寸重定義層和特征信息融合層，所述特征尺寸重定義層包括自適應平均池化模塊、恒等映射模塊和線性上采樣模塊，所述特征信息融合層包括卷積模塊、深度可分離卷積模塊和級聯通道注意力模塊，所述級聯通道注意力模塊包括高分辨特征通道注意力子模塊和eca通道注意力子模塊。

11、進一步的，所述得到每一個所述目標骨骼框架圖所對應的相似度，包括：計算每一個所述目標骨骼框架圖中每一個骨骼點的子相似度，并基于所述子相似度得到所述目標骨骼框架圖的相似度。

12、第二方面，提供一種舞蹈編排中圖像處理裝置，所述裝置包括：配置模塊，用于獲取待編排舞蹈的標簽信息，基于所述標簽信息配置目標關鍵點骨骼標簽；框架圖獲取模塊，用于基于目標采集時間間隔獲取舞者的多個實時圖像，并基于所述目標關鍵點骨骼標簽對所述實時圖像進行標注，并對標注結果進行抽取，得到多個基于時序進行排列的目標關鍵點標注圖，將所述目標關鍵點標注圖中的關鍵點進行連接得到目標骨骼框架圖；評價模塊，用于將多個所述目標骨骼框架圖基于時序進行排列得到骨骼框架圖組，將所述骨骼框架圖組與標準骨骼框架圖組基于余弦距離進行相似度計算，得到每一個所述目標骨骼框架圖所對應的相似度，并基于相似度對對應的動作進行評價得分。

13、本申請實施例提供的技術方案中，通過對舞蹈者的舞蹈動作通過圖像采集的方式得到關于舞蹈動作的實時圖像，并通過關鍵點識別模型對實時圖像進行骨骼點識別，并將識別到的骨骼點通過與對應的標準骨骼點進行篩選得到多個目標骨骼點，并將多個目標骨骼點組成目標骨骼框架圖，通過目標骨骼框架圖與標準骨骼框架圖進行相似性計算確定舞蹈動作是否具有異常，實現對于舞蹈編排的指導。

技術特征：

1.一種舞蹈編排中圖像處理方法，其特征在于，所述方法包括：

2.根據權利要求1所述的舞蹈編排中圖像處理方法，其特征在于，所述目標關鍵點骨骼標簽為目標骨骼點；所述基于所述標簽信息配置目標關鍵點骨骼標簽，包括：基于所述標簽信息在目標關鍵點骨骼數據庫中進行篩選，得到與標簽信息符合的骨骼點組；所述目標關鍵點骨骼數據庫中配置有多個骨骼點組，每個所述骨骼點組配置有多個目標骨骼點，多個目標骨骼點組成所述標準骨骼框架圖組。

3.根據權利要求2所述的舞蹈編排中圖像處理方法，其特征在于，所述目標骨骼點基于對多個初始骨骼點進行權重篩選得到，具體包括：基于標簽信息獲取多個目標靜態動作，并采集多個目標靜態動作所對應的多個靜態圖像，識別每個所述靜態圖像中的每個骨骼點以及對應的骨骼點坐標，并計算每個所述骨骼點坐標在多個所述靜態圖像中的變化率，并基于所述變化率的排序對多個所述骨骼點進行篩選，得到所述目標骨骼點。

4.根據權利要求3所述的舞蹈編排中圖像處理方法，其特征在于，基于所述目標關鍵點骨骼標簽對所述實時圖像進行標注，包括：識別所述實時圖像中的每個骨骼點，并對每個所述骨骼點基于目標關鍵點骨骼標簽進行標注，得到標注結果。

5.根據權利要求3或4所述的舞蹈編排中圖像處理方法，其特征在于，所述靜態圖像和所述實時圖像中的骨骼點的識別基于關鍵點識別模型實現，所述關鍵點識別模型包括第一特征提取模塊、第二特征提取模塊、第三特征提取模塊和第四特征提取模塊，且在所述第一特征提取模塊和所述第二特征提取模塊之間設置有第一連接層，在所述第二特征提取模塊和所述第三特征提取模塊之間設置有第二連接層，在所述第三特征提取模塊和所述第四特征提取模塊之間設置有第三連接層。

6.根據權利要求5所述的舞蹈編排中圖像處理方法，其特征在于，所述第一特征提取模塊通過兩個卷積層將所述靜態圖像、所述實時圖像分辨率進行下采樣，并通過四個瓶頸模塊提取目標的淺層特征；所述第二特征提取模塊包括第一特征提取分支和第二特征提取分支，在所述第一特征提取分支和所述第二特征提取分支上配置有深度卷積變化子模塊，基于兩個所述深度卷積變換子模塊進行特征提取，后通過多尺度特征融合子模塊對提取到的特征進行融合；所述第三特征提取模塊包含三條分支，每一分支包括四個特征提取單元，每一個所述特征提取單元內設置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊；所述第四特征提取模塊包括四條分支，每一條分支包括三個特征提取單元，每一個所述特征提取單元內設置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊。

7.根據權利要求6所述的舞蹈編排中圖像處理方法，其特征在于，所述第一連接層包括兩個輸出通道，分別與所述第二特征提取模塊中的第一特征提取分支和第二特征提取分支連接；所述第二連接層包括兩個恒等映射層和一個卷積層，分別與所述第三特征提取模塊中的三條分支連接；所述第三連接層包括三個恒等映射層和一個卷積層，分別與所述第四特征提取模塊中的四條分支連接。

8.根據權利要求7所述的舞蹈編排中圖像處理方法，其特征在于，所述深度卷積變換子模塊包括特征提取層和通道映射層，所述特征提取層包括層歸一化模塊、深度可分離卷積模塊和級聯通道注意力模塊，所述通道映射層包括層歸一化模塊、第一卷積模塊和第二卷積模塊；所述多尺度特征融合子模塊包括特征尺寸重定義層和特征信息融合層，所述特征尺寸重定義層包括自適應平均池化模塊、恒等映射模塊和線性上采樣模塊，所述特征信息融合層包括卷積模塊、深度可分離卷積模塊和級聯通道注意力模塊，所述級聯通道注意力模塊包括高分辨特征通道注意力子模塊和eca通道注意力子模塊。

9.根據權利要求1所述的舞蹈編排中圖像處理方法，其特征在于，所述得到每一個所述目標骨骼框架圖所對應的相似度，包括：計算每一個所述目標骨骼框架圖中每一個骨骼點的子相似度，并基于所述子相似度得到所述目標骨骼框架圖的相似度。

10.一種舞蹈編排中圖像處理裝置，其特征在于，所述裝置包括：

技術總結
本申請涉及圖像處理技術領域，為一種舞蹈圖像處理方法，具體為一種舞蹈編排中圖像處理方法及裝置。通過對舞蹈者的舞蹈動作通過圖像采集的方式得到關于舞蹈動作的實時圖像，并通過關鍵點識別模型對實時圖像進行骨骼點識別，并將識別到的骨骼點通過與對應的標準骨骼點進行篩選得到多個目標骨骼點，并將多個目標骨骼點組成目標骨骼框架圖，通過目標骨骼框架圖與標準骨骼框架圖進行相似性計算確定舞蹈動作是否具有異常，實現對于舞蹈編排的指導。

技術研發人員：王帥,王照云,曾紫琳,陳良玉
受保護的技術使用者：廣東鴻威國際會展集團有限公司
技術研發日：
技術公布日：2024/10/21