本發明涉及全景拼接,更具體地說,本發明涉及基于實時視頻全景拼接技術的塔機操控系統。
背景技術:
1、全景拼接技術是一種將多個重疊圖像或視頻片段合成為一個廣闊視野的全景圖像的技術。它通過圖像采集、幾何校準、特征匹配、圖像配準和融合等步驟,將多個視角的圖像合成為一個無縫的全景視圖。在塔機操控系統中,這種技術可以實時生成塔機周圍環境的全景視圖,幫助操控人員更全面地了解周圍狀況,提高操作的安全性和精確度。
2、例如公開號為:cn108975165b的發明專利公開的一種塔機監控系統和方法及塔機,通過圖像采集裝置,安裝在所述塔機上,用于對所述塔機的作業進行拍攝,以得到所述塔機的作業圖像;接收裝置,用于接收所述塔機的工況數據及所述圖像采集裝置的狀態信息;以及控制裝置,用于根據所述工況數據和所述狀態信息來調整所述圖像采集裝置的拍攝視角。本發明通過在塔機上安裝圖像采集裝置對塔機的作業進行拍攝,并根據塔機的工況數據和圖像采集裝置的狀態信息來調整圖像采集裝置的拍攝視角,充分利用攝像機的檢測功能實現安全控制的目的。
3、例如公開號為:cn102583181a的發明專利公開的塔機監測預警方法、系統及塔機,通過:分別獲取第一成像設備和第二成像設備采集的障礙物的圖像,?其中,?第一成像設備和第二成像設備均位于塔機的塔臂上;根據圖像、?第一成像設備與第二成像設備的位置關系信息確定障礙物與塔機的塔臂的距離;在距離小于預先設定的閾值的情況下,發起報警。本發明中,?通過兩個成像設備采集障礙物的圖像,?以確定障礙物與塔機的塔臂的距離,從而監測塔臂及吊鉤是否會碰撞到障礙物。?從障礙物出發去監測塔機,?提高了塔機碰撞監測水平,?防止了塔機碰撞事故的發生,使得塔機安全、高效地運行。
4、上述公開的技術方案中,至少存在如下技術問題:塔機操控系統需要實時處理圖像和視頻數據以確保安全和精準的操作,但現有的全景拼接技術可能會引入延遲,影響操控的實時性。這種延遲可能導致操控員無法即時獲取準確的全景視圖,從而影響操作決策,增加事故風險,降低操作效率,可能造成塔機與周圍物體的碰撞,或導致塔機操作的精確度和安全性降低。
5、針對上述問題,本發明提出一種解決方案。
技術實現思路
1、為了克服現有技術的上述缺陷,本發明的實施例提供基于實時視頻全景拼接技術的塔機操控系統,通過全景拼接技術評估,以解決輸入分辨率不佳,導致全景拼接的延遲和質量不平衡問題。
2、為實現上述目的,本發明提供如下技術方案:
3、在一個優選的實施方式中,包括數據獲取模塊、綜合評估模塊、輸入數據量判斷模塊、判別約束模塊以及分辨率出入模塊;數據獲取模塊,用于獲取不同輸入分辨率下的實時視頻全景拼接的系統響應數據和圖像數據;綜合評估模塊,用于根據系統響應數據和圖像感官數據基于長短期神經網絡構建分辨率影響評估模型;輸入數據量判斷模塊,用于根據不同輸入分辨率下分辨率影響評估模型的輸出,構建輸入分辨率-拼接效果曲線圖;判別約束模塊,用于基于硬件數據和人為預設限制,進行數據分析構建判別約束條件;分辨率出入模塊,用于根據判別約束條件對輸入分辨率-拼接效果曲線圖進行切割,并將切割后的分辨率-拼接效果曲線圖的峰值作為最佳輸入分辨率,并進行全景拼接。
4、在一個優選的實施方式中,所述系統響應數據包括響應速率評估系數;所述圖像數據包括圖像質量影響系數和圖像拼接事件影響評估系數。
5、在一個優選的實施方式中,所述響應速率評估系數的具體獲取方法如下:在不同的輸入分辨率下,獲取系統從接收視頻幀到完成處理并生成拼接結果所需的時間,作為延遲時間;對同一種分辨率,進行多次測量,去除異常的延遲時間,計算平均延遲時間;獲取系統在不同輸入分辨率下的處理幀數以及處理所需的總時間,并計算系統視頻處理速率;根據平均延遲時間和系統視頻處理速率基于冪函數模型設置初始體驗遞減效應模型;設置若干個延遲時間點進行用戶體驗測試,在每個延遲時間點下,收集用戶的體驗評分數據;根據體驗評分數據基于非線性最小二乘法對初始體驗遞減效應模型的待定參數進行優化,得到響應速率評估系數的計算模型,所述待定參數包括用戶體驗的最大值、體驗隨延遲增加的下降速度以及延遲對體驗遞減的敏感度系數。
6、在一個優選的實施方式中,所述圖像質量影響系數的具體獲取方法如下;通過全景圖像攝入點進行全景拼接產生的的正向拼接形變設置正向拼接形變參考值,負向拼接形變設置負向拼接形變參考值,將小于正向拼接形變參考值的正向拼接形變設定為可接受正向拼接形變,將大于正向拼接形變參考值的正向拼接形變設定為隱患正向拼接形變;將小于負向拼接形變參考值的負向拼接形變設定為隱患負向拼接形變,將大于負向拼接形變參考值的負向拼接形變設定為可接受負向拼接形變;獲取全景圖像攝入點進行的正向拼接形變值和負向拼接形變值,并將所述正向拼接形變值與正向拼接形變參考值進行比較,將所有隱患正向拼接形變的正向拼接形變值建立正向拼接形變集,將所有隱患負向拼接形變的負向拼接形變值建立負向拼接形變集;根據正向拼接形變集和負向拼接形變集進行數據分析,計算得到圖像質量影響系數。
7、在一個優選的實施方式中,所述圖像拼接事件影響評估系數的具體獲取方法如下:基于歷史的不同分辨率下圖像拼接的影響事件類型,獲取不同分辨率下圖像拼接的影響事件集合,所述不同分辨率下圖像拼接的影響事件集合包括各種拼接的異常事件及其不同分辨率下人為因為圖像導致的影響事件,以及事件效果評級;對不同分辨率下圖像拼接的影響事件集合內的各種不同分辨率下圖像拼接的影響事件類型基于事件效果評級賦予預設的影響評估值;基于不同分辨率下圖像拼接的影響事件集合和對應影響評估值的構建回歸模型,生成圖像拼接事件影響評估系數。
8、在一個優選的實施方式中,所述根據不同輸入分辨率角分辨率影響評估模型的輸出,構建輸入分辨率-拼接效果曲線圖,具體為:從不同輸入分辨率下分辨率影響評估模型中獲取不同設置下輸入分辨率的輸出的分辨率影響評估系數;建立直角坐標系,將橫軸標示為輸入分辨率,縱軸表示為分辨率影響評估系數;在直角坐標系上標出每個輸入分辨率對應的分辨率影響評估系數,形成數據點;連接數據點,形成輸入分辨率-拼接效果曲線圖。
9、在一個優選的實施方式中,所述判別約束條件的獲取方法如下:收集系統的硬件性能數據,所述硬件性能數據包括處理能力、存儲限制和帶寬,及人為設定的圖像質量要求、響應時間和穩定性標準;通過建立性能模型和限制模型,將性能約束和質量標準綜合,構建判別約束條件。
10、在一個優選的實施方式中,所述根據判別約束條件對輸入分辨率-拼接效果曲線圖進行切割,具體為:將不滿足判別約束條件的輸入分辨率-拼接效果曲線圖中的曲線進行去除,留下滿足判別約束條件的輸入分辨率-拼接效果曲線圖。
11、本發明基于實時視頻全景拼接技術的塔機操控系統的技術效果和優點:
12、1.本發明整合數據獲取、綜合評估、輸入數據量判斷、判別約束和分辨率出入等模塊,實現了對不同輸入分辨率下實時視頻全景拼接性能的全面優化。該系統能夠精確量化響應速率、圖像質量和拼接事件的影響,進而選擇出在滿足系統性能和用戶體驗要求下的最佳輸入分辨率。響應速率評估系數有效降低了系統延遲,提高了實時性;圖像質量影響系數保證了圖像清晰度和視覺效果;圖像拼接事件影響評估系數減少了拼接過程中的視覺缺陷。綜合這些評估系數,系統能夠科學合理地優化分辨率選擇,提升操作精度和安全性,同時增強用戶體驗。
13、2.本發明通過綜合評估模塊、輸入數據量判斷模塊、判別約束模塊和分辨率出入模塊,利用長短期神經網絡構建了分辨率影響評估模型,以優化塔機操控系統的輸入分辨率選擇;該實施例通過將系統響應數據、圖像質量影響數據和拼接事件影響數據整合為分辨率影響評估系數,并基于此建立輸入分辨率-拼接效果曲線圖,有效地將性能和質量標準轉化為可操作的決策依據。進一步,判別約束模塊結合硬件性能和預設標準,對曲線圖進行篩選,確保僅保留符合要求的分辨率,進而優化全景拼接效果,提升系統性能和用戶體驗。