本發明圖像處理
技術領域:
:,尤其涉及一種圖像融合方法,裝置以及計算機可讀存儲介質。
背景技術:
::長截圖主要依靠對圖像的分析,將不同屏幕中顯示的內容最終合成為一張長圖的過程,為了使長圖內容得到大眾認知下應該顯示的內容,需要使用到圖像分析的算法,如模板匹配算法輔助完成。模板匹配算法中,模板就是一幅已知的小圖像。模板匹配就是在一幅大圖像中搜尋目標,已知該圖中有要找的目標,且該目標同模板有相同的尺寸、方向和圖像,通過一定的算法可以在圖中找到目標,確定其坐標位置。下面先定義模板匹配算法中的幾個基本概念:定位核:也稱為模板圖像,其中包含搜索模式。實時圖像:也稱為搜索圖像,在其中定位和定位核相同的模式。分數:實時圖像中,當前模式和定位核的相似性度量。分數量化到0.0和1.0之間;分數越高,匹配更為接近。定位核與實時圖像偏移處(u,v)的相關系數定義為:公式(1)中,i表示實時圖像,m表示模板圖像,即定位核,m表示模板圖像的寬度,n表示模板圖像的高度,u、v分別表示橫向、縱向偏移量,i,j表示某一點的橫向坐標與縱坐標。其中,實時圖像和定位核的空間關系如圖3所示。如圖4所示,在模板匹配過程中,在后一張截圖的上半部分中選取一800*300的矩形圖像定義為定位核,前一張截圖為實時圖像進行搜索。得到模板匹配的結果,簡單計算后將后一張圖非重復部分內容拼接上去,如此重復操作后即可以得到長截圖。然而,在采用模板匹配算法形成長截圖的過程中,可能存在圖片沒有完全加載完畢的情況,那么按照模板匹配算法形成的長截圖則存在著灰格,顯示不全的問題,影響長截圖的顯示效果。并且,在采用模板匹配的過程中,由于圖片信息量大且需要重復操作,這樣使得該算法的執行效率不高。技術實現要素:本發明的主要目的在于提出一種圖像融合方法、裝置及計算機可讀存儲介質,能夠對長截圖中的灰格進行優化,提高長截圖的顯示效果。為實現上述目的,本發明提供的一種圖像融合方法,用于對長截圖進行圖像融合,所述方法包括:對原始數據進行回滾,獲取模板圖像;根據模板圖像和所述長截圖,獲取所述長截圖的圖像更新區域;將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域。其中,所述根據原始數據和所述長截圖,獲取所述長截圖的圖像更新區域,包括:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域;用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像;根據所述差分圖像,獲取所述圖像更新區域。其中,所述根據所述差分圖像,獲取所述圖像更新區域,包括:從上到下掃描所述差分圖像,找到第一個非全為0的行作為融合的開始行數a;從下到上掃描所述差分圖像,找到第一個非全為0的行作為融合的結束行數b;若a小于b,則將a到b之間的內容確定為圖像更新區域。其中,所述模板圖像中與所述圖像更新區域對應區域的圖像為第一圖像,所述圖像更新區域的圖像為第二圖像;在將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域之前,所述方法還包括:提取所述模板圖像中與所述圖像更新區域對應區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像,利用圖像特征值匹配算法得到所述第一圖像與第二圖像的特征點匹配集;判斷所述特征點匹配集中匹配的匹配點個數是否大于預設個數;當所述特征點匹配集中匹配的匹配點個數大于預設個數時,執行將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域的步驟。其中,在所述提取所述模板圖像中與所述圖像更新區域對應的區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像之后,所述判斷所述特征點匹配集中的匹配點個數是否大于預設個數之前,所述方法還包括:將所述第一圖像和所述第二圖像合為一張合成圖像;連接所述合成圖像中的每一對匹配點,得到每一對匹配點的連線;分別計算所述每一對匹配點的連線的斜率k以及歐氏距離d;若計算出的所述斜率k以及歐氏距離d均在預設的誤差范圍內,則確定該對匹配點是匹配的;統計所述特征點匹配集中匹配的匹配點個數。其中,在所述使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配圖像,之前,所述方法還包括:對所述模板圖像和所述長截圖做圖像金字塔處理和/或灰度化處理。此外,為實現上述目的,本發明還提出一種圖像融合裝置,所述裝置包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的圖像融合程序,所述圖像融合程序執行如下步驟:對原始數據進行回滾,獲取模板圖像;根據原始數據和所述長截圖,獲取圖像更新區域;將所述模板圖像中與所述圖像更新區域對應的數據拷貝至所述長截圖的對應區域。其中,所述圖像融合程序在執行所述根據原始數據和所述長截圖,獲取圖像更新區域的步驟時,具體執行:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域;用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像;根據所述差分圖像,獲取所述圖像更新區域。其中,所述圖像融合程序在執行所述根據所述差分圖像,獲取所述圖像更新區域的步驟時,具體執行:從上到下掃描所述差分圖像,找到第一個非全為0的行作為融合的開始行數a;從下到上掃描所述差分圖像,找到第一個非全為0的行作為融合的結束行數b;若a小于b,則將a到b之間的內容確定為圖像更新區域。此外,本發明還提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有圖像融合程序,當所述圖像融合程序被至少一個處理器執行時上述任一項所述的圖像融合方法的步驟。本發明的有益效果是:本發明實施例的技術方案,在對原始數據進行回滾,獲取模板圖像之后,還根據模板圖像和所述長截圖,找到圖像更新區域并將模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域,從而實現了長截圖的圖像融合與更新。由于模板圖像中的圖像數據比長截圖中的圖像數據更完整,因此,采用此方法進行圖像融合之后,可以在一定程度上消除長截圖中的灰格,提高長截圖的顯示完整性,進而提高長截圖的顯示效果。附圖說明圖1為實現本發明各個實施例的移動終端的硬件結構示意圖;圖2為如圖1所示的移動終端的無線通信系統示意圖;圖3是現有技術中模板匹配算法的示意圖;圖4是現有技術中模板匹配算法的示意圖;圖5是本發明的圖像融合方法的第一實施例的流程示意圖;圖6為本發明的圖像融合方法的第二實施例的流程示意圖;圖7為圖6中步驟604的實施例的流程示意圖;圖8是本發明的圖像融合方法的示意圖;圖9是本發明的圖像融合方法的第三實施例的流程示意圖;圖10是本發明的圖像融合方法的圖像融合示意圖;圖11是本發明的圖像融合方法的圖像融合示意圖;圖12是本發明的圖像融合方法的圖像融合示意圖;圖13是本發明的圖像融合方法的第四實施例的流程示意圖;圖14是本發明的圖像融合裝置的實施例的結構示意圖;本發明目的的實現、功能特點及優點將結合實施例,參照附圖做進一步說明。具體實施方式應當理解,此處所描述的具體實施例僅僅用以解釋本發明,并不用于限定本發明。在后續的描述中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發明的說明,其本身沒有特定的意義。因此,“模塊”、“部件”或“單元”可以混合地使用。本發明中提供的應用程序的圖像融合方法,可以應用于各種終端以及計算機可讀存儲介質。其中,終端可以以各種形式來實施。例如,本發明中描述的終端可以包括諸如手機、平板電腦、筆記本電腦、掌上電腦、個人數字助理(personaldigitalassistant,pda)、便捷式媒體播放器(portablemediaplayer,pmp)、導航裝置、可穿戴設備、智能手環、計步器等移動終端,以及諸如數字tv、臺式計算機等固定終端。后續描述中將以移動終端為例進行說明,本領域技術人員將理解的是,除了特別用于移動目的的元件之外,根據本發明的實施方式的構造也能夠應用于固定類型的終端。請參閱圖1,其為實現本發明各個實施例的一種移動終端的硬件結構示意圖,該移動終端100可以包括:rf(radiofrequency,射頻)單元101、wifi模塊102、音頻輸出單元103、a/v(音頻/視頻)輸入單元104、傳感器105、顯示單元106、用戶輸入單元107、接口單元108、存儲器109、處理器110、以及電源111等部件。本領域技術人員可以理解,圖1中示出的移動終端結構并不構成對移動終端的限定,移動終端可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。下面結合圖1對移動終端的各個部件進行具體的介紹:射頻單元101可用于收發信息或通話過程中,信號的接收和發送,具體的,將基站的下行信息接收后,給處理器110處理;另外,將上行的數據發送給基站。通常,射頻單元101包括但不限于天線、至少一個放大器、收發信機、耦合器、低噪聲放大器、雙工器等。此外,射頻單元101還可以通過無線通信與網絡和其他設備通信。上述無線通信可以使用任一通信標準或協議,包括但不限于gsm(globalsystemofmobilecommunication,全球移動通訊系統)、gprs(generalpacketradioservice,通用分組無線服務)、cdma2000(codedivisionmultipleaccess2000,碼分多址2000)、wcdma(widebandcodedivisionmultipleaccess,寬帶碼分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess,時分同步碼分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution,頻分雙工長期演進)和tdd-lte(timedivisionduplexing-longtermevolution,分時雙工長期演進)等。wifi屬于短距離無線傳輸技術,移動終端通過wifi模塊102可以幫助用戶收發電子郵件、瀏覽網頁和訪問流式媒體等,它為用戶提供了無線的寬帶互聯網訪問。雖然圖1示出了wifi模塊102,但是可以理解的是,其并不屬于移動終端的必須構成,完全可以根據需要在不改變發明的本質的范圍內而省略。音頻輸出單元103可以在移動終端100處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時,將射頻單元101或wifi模塊102接收的或者在存儲器109中存儲的音頻數據轉換成音頻信號并且輸出為聲音。而且,音頻輸出單元103還可以提供與移動終端100執行的特定功能相關的音頻輸出(例如,呼叫信號接收聲音、消息接收聲音等等)。音頻輸出單元103可以包括揚聲器、蜂鳴器等等。a/v輸入單元104用于接收音頻或視頻信號。a/v輸入單元104可以包括圖形處理器(graphicsprocessingunit,gpu)1041和麥克風1042,圖形處理器1041對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置(如攝像頭)獲得的靜態圖片或視頻的圖像數據進行處理。處理后的圖像幀可以顯示在顯示單元106上。經圖形處理器1041處理后的圖像幀可以存儲在存儲器109(或其它存儲介質)中或者經由射頻單元101或wifi模塊102進行發送。麥克風1042可以在電話通話模式、記錄模式、語音識別模式等等運行模式中經由麥克風1042接收聲音(音頻數據),并且能夠將這樣的聲音處理為音頻數據。處理后的音頻(語音)數據可以在電話通話模式的情況下轉換為可經由射頻單元101發送到移動通信基站的格式輸出。麥克風1042可以實施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發送音頻信號的過程中產生的噪聲或者干擾。移動終端100還包括至少一種傳感器105,比如光傳感器、運動傳感器以及其他傳感器。具體地,光傳感器包括環境光傳感器及接近傳感器,其中,環境光傳感器可根據環境光線的明暗來調節顯示面板1061的亮度,接近傳感器可在移動終端100移動到耳邊時,關閉顯示面板1061和/或背光。作為運動傳感器的一種,加速計傳感器可檢測各個方向上(一般為三軸)加速度的大小,靜止時可檢測出重力的大小及方向,可用于識別手機姿態的應用(比如橫豎屏切換、相關游戲、磁力計姿態校準)、振動識別相關功能(比如計步器、敲擊)等;至于手機還可配置的指紋傳感器、壓力傳感器、虹膜傳感器、分子傳感器、陀螺儀、氣壓計、濕度計、溫度計、紅外線傳感器等其他傳感器,在此不再贅述。顯示單元106用于顯示由用戶輸入的信息或提供給用戶的信息。顯示單元106可包括顯示面板1061,可以采用液晶顯示器(liquidcrystaldisplay,lcd)、有機發光二極管(organiclight-emittingdiode,oled)等形式來配置顯示面板1061。用戶輸入單元107可用于接收輸入的數字或字符信息,以及產生與移動終端的用戶設置以及功能控制有關的鍵信號輸入。具體地,用戶輸入單元107可包括觸控面板1071以及其他輸入設備1072。觸控面板1071,也稱為觸摸屏,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板1071上或在觸控面板1071附近的操作),并根據預先設定的程式驅動相應的連接裝置。觸控面板1071可包括觸摸檢測裝置和觸摸控制器兩個部分。其中,觸摸檢測裝置檢測用戶的觸摸方位,并檢測觸摸操作帶來的信號,將信號傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸信息,并將它轉換成觸點坐標,再送給處理器110,并能接收處理器110發來的命令并加以執行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實現觸控面板1071。除了觸控面板1071,用戶輸入單元107還可以包括其他輸入設備1072。具體地,其他輸入設備1072可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關按鍵等)、軌跡球、鼠標、操作桿等中的一種或多種,具體此處不做限定。進一步的,觸控面板1071可覆蓋顯示面板1061,當觸控面板1071檢測到在其上或附近的觸摸操作后,傳送給處理器110以確定觸摸事件的類型,隨后處理器110根據觸摸事件的類型在顯示面板1061上提供相應的視覺輸出。雖然在圖1中,觸控面板1071與顯示面板1061是作為兩個獨立的部件來實現移動終端的輸入和輸出功能,但是在某些實施例中,可以將觸控面板1071與顯示面板1061集成而實現移動終端的輸入和輸出功能,具體此處不做限定。接口單元108用作至少一個外部裝置與移動終端100連接可以通過的接口。例如,外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數據端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(i/o)端口、視頻i/o端口、耳機端口等等。接口單元108可以用于接收來自外部裝置的輸入(例如,數據信息、電力等等)并且將接收到的輸入傳輸到移動終端100內的一個或多個元件或者可以用于在移動終端100和外部裝置之間傳輸數據。存儲器109可用于存儲軟件程序以及各種數據。存儲器109可主要包括存儲程序區和存儲數據區,其中,存儲程序區可存儲操作系統、至少一個功能所需的應用程序(比如聲音播放功能、圖像播放功能等)等;存儲數據區可存儲根據手機的使用所創建的數據(比如音頻數據、電話本等)等。此外,存儲器109可以包括高速隨機存取存儲器,還可以包括非易失性存儲器,例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態存儲器件。處理器110是移動終端的控制中心,利用各種接口和線路連接整個移動終端的各個部分,通過運行或執行存儲在存儲器109內的軟件程序和/或模塊,以及調用存儲在存儲器109內的數據,執行移動終端的各種功能和處理數據,從而對移動終端進行整體監控。處理器110可包括一個或多個處理單元;優選的,處理器110可集成應用處理器和調制解調處理器,其中,應用處理器主要處理操作系統、用戶界面和應用程序等,調制解調處理器主要處理無線通信。可以理解的是,上述調制解調處理器也可以不集成到處理器110中。移動終端100還可以包括給各個部件供電的電源111(比如電池),優選的,電源111可以通過電源管理系統與處理器110邏輯相連,從而通過電源管理系統實現管理充電、放電、以及功耗管理等功能。盡管圖1未示出,移動終端100還可以包括藍牙模塊等,在此不再贅述。為了便于理解本發明實施例,下面對本發明的移動終端所基于的通信網絡系統進行描述。請參閱圖2,圖2為本發明實施例提供的一種通信網絡系統架構圖,該通信網絡系統為通用移動通信技術的lte系統,該lte系統包括依次通訊連接的ue(userequipment,用戶設備)201,e-utran(evolvedumtsterrestrialradioaccessnetwork,演進式umts陸地無線接入網)202,epc(evolvedpacketcore,演進式分組核心網)203和運營商的ip業務204。具體地,ue201可以是上述終端100,此處不再贅述。e-utran202包括enodeb2021和其它enodeb2022等。其中,enodeb2021可以通過回程(backhaul)(例如x2接口)與其它enodeb2022連接,enodeb2021連接到epc203,enodeb2021可以提供ue201到epc203的接入。epc203可以包括mme(mobilitymanagemententity,移動性管理實體)2031,hss(homesubscriberserver,歸屬用戶服務器)2032,其它mme2033,sgw(servinggateway,服務網關)2034,pgw(pdngateway,分組數據網絡網關)2035和pcrf(policyandchargingrulesfunction,政策和資費功能實體)2036等。其中,mme2031是處理ue201和epc203之間信令的控制節點,提供承載和連接管理。hss2032用于提供一些寄存器來管理諸如歸屬位置寄存器(圖中未示)之類的功能,并且保存有一些有關服務特征、數據速率等用戶專用的信息。所有用戶數據都可以通過sgw2034進行發送,pgw2035可以提供ue201的ip地址分配以及其它功能,pcrf2036是業務數據流和ip承載資源的策略與計費控制策略決策點,它為策略與計費執行功能單元(圖中未示)選擇及提供可用的策略和計費控制決策。ip業務204可以包括因特網、內聯網、ims(ipmultimediasubsystem,ip多媒體子系統)或其它ip業務等。雖然上述以lte系統為例進行了介紹,但本領域技術人員應當知曉,本發明不僅僅適用于lte系統,也可以適用于其他無線通信系統,例如gsm、cdma2000、wcdma、td-scdma以及未來新的網絡系統等,此處不做限定。基于上述移動終端硬件結構以及通信網絡系統,提出本發明方法各個實施例。如圖5所示,是本發明的圖像融合方法的第一實施例的流程示意圖。其中,該圖像融合方法可以用于移動終端,例如可以應用于智能手機、平板電腦、個人數字助理等設備。如圖5所示,該圖像融合方法用于對長截圖進行圖像融合,包括如下步驟:步驟501:對原始數據進行回滾,獲取模板圖像。步驟502:根據原始數據和所述長截圖,獲取所述長截圖的圖像更新區域。步驟503:將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域。基于
背景技術:
:中的描述可知,在采用模板匹配算法對原始數據進行處理,獲取長截圖之后,由于此過程中存在原始數據加載不全,從而導致得到的長截圖存在灰格、顯示不全的問題。因此,有必要對得到的長截圖進行優化。優化思路便是,對長截圖中顯示不全的地方進行優化,以提高長截圖顯示的完整性。以微博頁面舉例來說。若微博頁面共有三屏圖像(即原始數據),當從第一屏滑動到第三屏的過程中,得到了一張長截圖。但由于網速等原因,此時得到的長截圖可能存在顯示不全的問題。為此,需要優化。優化思路便是:回滾原始數據。采用此思路進行優化的原理是:過特定時間后,之前加載不全的地方現在已經加載完整。因此可以考慮對原始數據進行回滾,從而能獲得回滾后的更完整的加載圖像。例如,從第三屏開始往回滾,到第二屏,第一屏。在進行回滾時,回滾步長可以根據實際需求具體設定,例如,回滾步長可以為1/4屏,1/2屏或1屏。因此,在步驟501中,對原始數據進行回滾之后,可以將回滾后得到的截圖內容做二值化處理后,記為a,為模板圖像。步驟502中,由于回滾后得到的模板圖像的完整性比長截圖更高且二者有不相同的地方,因此可以以模板圖像為基準,采用模板匹配算法將模板圖像和長截圖進行匹配,從而得到模板圖像與長截圖不相同的地方,記為長截圖中的圖像更新區域。然后,將模板圖像中與圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域,從而實現了圖像的融合與更新。如圖8所示,假設確定出長截圖中的圖像更新區域為a區域,模板圖像中與a區域對應的區域為b區域,那么在步驟503中,則是將模板圖像中b區域的圖像拷貝至長截圖的a區域中,以實現圖像的融合與更新。本發明實施例的圖像融合方法,在對原始數據進行回滾,獲取模板圖像之后,還根據模板圖像和所述長截圖,找到圖像更新區域并將模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域,從而實現了長截圖的圖像融合與更新。由于模板圖像中的圖像數據比長截圖中的圖像數據更完整,因此,采用此方法進行圖像融合之后,可以在一定程度上消除長截圖中的灰格,提高長截圖的顯示完整性,進而提高長截圖的顯示效果。如圖6所示,是本發明的圖像融合方法的第二實施例的流程示意圖。其中,該圖像融合方法可以用于移動終端,例如可以應用于智能手機、平板電腦、個人數字助理等設備。如圖6所示,該圖像融合方法包括如下步驟:步驟601:對原始數據進行回滾,獲取模板圖像。步驟602:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域。步驟603:用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像。步驟604:根據所述差分圖像,獲取所述圖像更新區域。步驟605:將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域。需要說明的是,本實施例與圖5所示的實施例的區別在于:本實施例對圖5中的步驟502,即根據原始數據和所述長截圖,獲取圖像更新區域的步驟進行了細化,具體是通過步驟602至步驟604來實現的。首先,使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域。在使用模板匹配算法進行搜索時,將長截圖作為實時圖像進行搜索。具體地,對原始數據進行回滾之后,可以將回滾后的截圖內容做二值化處理后,記為a,為模板圖像。同樣地,對得到的長截圖同樣做二值化處理,使用模板匹配算法去搜索出與模板a相似度最高的匹配區域,將該匹配區域對應的圖像記為b。然后將對a和b兩副圖做差,得到的差值圖記為c(c=a-b),即差分圖像。然后根據差分圖像c,獲取圖像更新區域。具體地,在執行步驟604時,可以按照圖7所示的流程執行。圖7所示的是根據差分圖像,獲取圖像更新區域的實施例的流程示意圖,包括:步驟701:從上到下掃描所述差分圖像,找到第一個非全為0的行作為融合的開始行數a。步驟702:從下到上掃描所述差分圖像,找到第一個非全為0的行作為融合的結束行數b。步驟703:判斷b是否小于a;步驟704:若a小于b,則將a到b之間的區域確定為圖像更新區域。若a大于等于b,不進行圖像融合,結束流程。如圖8所示,能夠更直觀地表示本發明的圖像融合方法的融合過程。圖8中,采用模板匹配算法得到了長截圖與模板圖像匹配度最高的匹配區域,將模板圖像與該匹配區域對應的圖像做差運算,得到差分圖像,然后從上到下掃描差分圖像,得到找到第一個非全為0的行作為融合的開始行數a,從下到上掃描差分圖像,找到第一個非全為0的行作為融合的結束行數b,將a到b之間的區域確定為長截圖的圖像更新區域a。然后模板圖像中與圖像更新區域a對應的區域b中的圖像拷貝至圖像更新區域a,從而實現了長截圖的圖像融合與更新。需要說明的是,采用圖5以及圖6所示的實施例的方法進行圖像融合時,在正確性上無法做到100%完美融合,且目前沒有更好的方式提升其正確率,因此在執行將將所述模板圖像中與所述圖像更新區域對應的圖像拷貝至所述長截圖的圖像更新區域之前,需要對不應該融合的圖像進行辨識,以保證不合入不該合入的內容。下面,將通過圖9所示的實施例進行詳細描述。圖9是本發明的圖像融合方法的第三實施例的流程示意圖。其中,該圖像融合方法可以用于移動終端,例如可以應用于智能手機、平板電腦、個人數字助理等設備。其中,假設模板圖像中與所述圖像更新區域對應區域的圖像為第一圖像,所述圖像更新區域的圖像為第二圖像。如圖9所示,該圖像融合方法包括如下步驟:步驟901:對原始數據進行回滾,獲取模板圖像。步驟902:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域。步驟903:用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像。步驟904:根據所述差分圖像,獲取所述圖像更新區域。步驟905:提取所述模板圖像中與所述圖像更新區域對應的區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像,利用圖像特征值匹配算法得到所述第一圖像與第二圖像的特征點匹配集。步驟906:判斷所述特征點匹配集中匹配的匹配點個數是否大于預設個數。當所述特征點匹配集中匹配的匹配點個數大于預設個數時,進入步驟907,當所述特征點匹配集中匹配的匹配點個數小于或等于預設個數時,結束流程。步驟907:將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域。本實施例與圖6所示的實施例的區別為:在執行將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域的步驟之前,還需要判斷對融合的圖像進行校驗,對不應該融合的圖像進行辨識,以保證不合入不該合入的內容。在辨識圖像是否需要融合時,使用圖像特征值匹配算法,具體是通過步驟905至步驟906來實現的。圖像特征值匹配算法中,特征是獨特的具體模式,并且易于跟蹤和比較。好的特征是能夠被清除地定位的特征。用于尋找特征的算法,被稱作特征檢測。當然僅僅檢測特征是不夠的,還需要能夠將一種特征與另一種特征區分開。使用特征描述來描述檢測到的特征。這些描述能讓我們在其他圖像中找到相似的特征,也就是能夠識別目標。關于特征檢測的算法目前主流的有sift、surf、brief、fast和brisk算法。本申請中,在多次比較后選取了fast和brief結合的orb算法。orb特征是將fast特征點的檢測方法與brief特征描述子結合起來,并在它們原來的基礎上做了改進與優化。首先,它利用fast特征點檢測的方法來檢測特征點,然后利用harris角點的度量方法,從fast特征點從挑選出harris角點響應值最大的n個特征點。同時,fast特征點是沒有尺度不變性的,所以可以通過構建高斯金字塔,然后在每一層金字塔圖像上檢測角點,來實現尺度不變性。那么,對于局部不變性,還差一個問題沒有解決,就是fast特征點不具有方向,orb的論文中提出了一種利用灰度質心法來解決這個問題,灰度質心法假設角點的灰度與質心之間存在一個偏移,這個向量可以用于表示一個方向。關于描述子的區分性,brief的一個性質是每個元特征都有很大的方差和0.5左右的均值。對一個元特征來說,均值0.5使最大的樣本方差為0.25。選轉的brief對位測試產生更為統一的結果。大的方差使得特征對輸入的響應更具差異性。在這種情況下,不相關的樣本是很合意的,因為每一次樣本都對結果有所貢獻。在所有可能的位測試中搜索方差較大(均值接近0.5)而且不相關的樣本。orb使用了一種學習的方法來選擇一個較小的點對集合稱為rbrief算法。rbrief算法相比旋轉的brief在方差與相關性方面有顯著的提高。下面,將具體描述如何使用圖像特征值匹配算法來進行融合圖像的辨識的。首先,提取所述模板圖像中與所述圖像更新區域對應的區域的圖像,記為第一圖像,以及提取所述長截圖中所述圖像更新區域對應的圖像,記為第二圖像,利用圖像特征值匹配算法對第一圖像與第二圖像的特征點進行匹配,得到特征點匹配集matches。然后,將兩張圖片(第一圖像和第二圖像)合為一張圖像,連接所述合成圖像中的每一對匹配點,即matches匹配集的每對匹配點做連線,得到每一對匹配點的連線(兩個黑色點之間的連線),如圖10所示。其次,由主成分分析得到影響圖像匹配的主要因素為斜率和歐氏距離,因此,還需要分別每一對匹配點的連線的斜率k以及歐氏距離d,若計算出的所述斜率k以及歐氏距離d均在預設的誤差范圍內,則認為該對匹配點是匹配的。經過大量實驗得到評價函數,統計斜率值k和歐式距離d都在誤差范圍內的匹配點個數n,如果n大于特征點匹配集matches的個數的一半時認為該圖應該做融合,否則不應該融合。如圖10-12所示,是利用本發明實施例的檢驗算法得到的結果示意圖。根據圖10-12可知,圖10、11為不該融合的圖像,圖12為應該融合的圖像。需要說明的是,在圖5、圖6、圖9所示的實施例中,在采用模板匹配算法由原始數據得到長截圖或者采用模板匹配算法搜出長截圖中與模板圖像匹配度最高的匹配區域的過程中,由于圖片信息量大且需要重復操作,這樣使得該模板匹配算法的執行效率不高,因此,在使用模板匹配算法之前,可以對定位核和搜索圖像進行預處理,以降低圖片的信息量,從而提高模板匹配算法執行過程中的運行效率。在對圖像進行預處理時,可以考慮進行圖像金字塔處理、灰度化處理或者二者的集合。下面,以采用模板匹配算法搜出長截圖中與模板圖像匹配度最高的匹配區域為例,通過圖13所示的實施例進行詳細描述。圖13是本發明的圖像融合方法的第四實施例的流程示意圖。其中,該圖像融合方法可以用于移動終端,例如可以應用于智能手機、平板電腦、個人數字助理等設備。如圖13所示,該圖像融合方法包括如下步驟:步驟1300:對原始數據進行回滾,獲取模板圖像。步驟1301:對所述模板圖像和所述長截圖做圖像金字塔處理和/或灰度化處理。步驟1302:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域。步驟1303:用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像。步驟1304:根據所述差分圖像,獲取所述圖像更新區域。步驟1305:提取所述模板圖像中與所述圖像更新區域對應的區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像,利用圖像特征值匹配算法得到所述第一圖像與第二圖像的特征點匹配集。步驟1306:判斷所述特征點匹配集中匹配的匹配點個數是否大于預設個數。當所述特征點匹配集中匹配的匹配點個數大于預設個數時,進入步驟907,當當所述特征點匹配集中匹配的匹配點個數小于或等于預設個數時,結束流程。步驟1307:將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域。本實施例與圖9所示的實施例的區別在于:在使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域之前,還對模板圖像和所述長截圖做圖像金字塔處理和/或灰度化處理。其中,圖像金字塔是以多分辨率來解釋圖像的一種結構。使用小分辨率的圖片,壓縮圖像信息量,從而提高運行效率。由于本申請不需要預測殘差金字塔,即僅使采用高斯低通濾波器對原圖進行濾波并使用步長為2進行采樣來降低分辨率。重復該過程n次可以得到了n+1級的近似金字塔。經實踐測試,選取3級金字塔時在準確性上滿足的情況下效率最大化。其中,在rgb模型中,如果r=g=b時,則彩色表示一種灰度顏色,其中r=g=b的值叫灰度值,因此,灰度圖像每個像素只需一個字節存放灰度值(又稱強度值、亮度值),灰度范圍為0-255。因此可以采取加權平均法將圖像灰度化處理。由于人眼對綠色的敏感最高,對藍色敏感最低,因此采取以下公式得到灰度值:f(i,j)=0.3r(i,j)+0.59g(i,j)+0.11b(i,j).......(2)公式(2)中,i,j分別為某個像素點的橫坐標值與縱坐標值。經過灰度化處理之后,原來需要用256*256*256個像素表示的一個點現在只需要100個像素點表示。模板圖像和長截圖經過圖像金字塔處理和灰度化處理之后,然后再進行模板匹配,可以提高模板匹配過程中的運行效率。上述對圖像融合方法進行了詳細的描述,下面,將對使用該圖像融合方法的裝置以及計算機可讀存儲介質進行描述。需要說明的是,圖像融合裝置例如可以是移動終端,下面以移動終端為例進行描述。如圖14所示,本發明提供的移動終端的實施例的結構示意圖,該移動終端140包括:存儲器1401、處理器1402。其中,存儲器1401上存儲有圖像融合方法程序并可以在處理器1402上運行。處理器1402運行存儲器1401上的圖像融合方法程序時,執行如下步驟:對原始數據進行回滾,獲取模板圖像。根據原始數據和所述長截圖,獲取所述長截圖的圖像更新區域。以及將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域。基于
背景技術:
:中的描述可知,在采用模板匹配算法對原始數據進行處理,獲取長截圖之后,由于此過程中存在原始數據加載不全,從而導致得到的長截圖存在灰格、顯示不全的問題。因此,有必要對得到的長截圖進行優化。優化思路便是,對長截圖中顯示不全的地方進行優化,以提高長截圖顯示的完整性。以微博頁面舉例來說。若微博頁面共有三屏圖像(即原始數據),當從第一屏滑動到第三屏的過程中,得到了一張長截圖。但由于網速等原因,此時得到的長截圖可能存在顯示不全的問題。為此,需要優化。優化思路便是:回滾原始數據。采用此思路進行優化的原理是:過特定時間后,之前加載不全的地方現在已經加載完整。因此可以考慮對原始數據進行回滾,從而能獲得回滾后的更完整的加載圖像。例如,從第三屏開始往回滾,到第二屏,第一屏。在進行回滾時,回滾步長可以根據實際需求具體設定,例如,回滾步長可以為1/4屏,1/2屏或1屏。因此,在對原始數據進行回滾之后,可以將回滾后得到的截圖內容做二值化處理后,記為a,為模板圖像。并且,由于回滾后得到的模板圖像的完整性比長截圖更高且二者有不相同的地方,因此可以以模板圖像為基準,采用模板匹配算法將模板圖像和長截圖進行匹配,從而得到模板圖像與長截圖不相同的地方,記為長截圖中的圖像更新區域。然后,將模板圖像中與圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域,從而實現了圖像的融合與更新。如圖8所示,假設確定出長截圖中的圖像更新區域為a區域,模板圖像中與a區域對應的區域為b區域,那么在融合時,則是將模板圖像中b區域的圖像拷貝至長截圖的a區域中,以實現圖像的融合與更新。本發明實施例的移動終端,在對原始數據進行回滾,獲取模板圖像之后,還根據模板圖像和所述長截圖,找到圖像更新區域并將模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域,從而實現了長截圖的圖像融合與更新。由于模板圖像中的圖像數據比長截圖中的圖像數據更完整,因此,采用此方法進行圖像融合之后,可以在一定程度上消除長截圖中的灰格,提高長截圖的顯示完整性,進而提高長截圖的顯示效果。需要說明的是,本發明實施例的圖像融合程序在執行根據原始數據和所述長截圖,獲取所述長截圖的圖像更新區域的步驟時,具體執行:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域。用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像。根據所述差分圖像,獲取所述圖像更新區域。首先,使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域。在使用模板匹配算法進行搜索時,將長截圖作為實時圖像進行搜索。具體地,對原始數據進行回滾之后,可以將回滾后的截圖內容做二值化處理后,記為a,為模板圖像。同樣地,對得到的長截圖同樣做二值化處理,使用模板匹配算法去搜索出與模板a相似度最高的匹配區域,將該匹配區域對應的圖像記為b。然后將對a和b兩副圖做差,得到的差值圖記為c(c=a-b),即差分圖像。然后根據差分圖像c,獲取圖像更新區域。具體地,圖像融合程序在執行根據所述差分圖像,獲取所述圖像更新區域的步驟時,具體執行:從上到下掃描所述差分圖像,找到第一個非全為0的行作為融合的開始行數a。從下到上掃描所述差分圖像,找到第一個非全為0的行作為融合的結束行數b。判斷b是否小于a;若a小于b,則將a到b之間的區域確定為圖像更新區域。若a大于等于b,不進行圖像融合,結束流程。如圖8所示,能夠更直觀地表示本發明的圖像融合方法的融合過程。圖8中,采用模板匹配算法得到了長截圖與模板圖像匹配度最高的匹配區域,將模板圖像與該匹配區域對應的圖像做差運算,得到差分圖像,然后從上到下掃描差分圖像,得到找到第一個非全為0的行作為融合的開始行數a,從下到上掃描差分圖像,找到第一個非全為0的行作為融合的結束行數b,將a到b之間的區域確定為長截圖的圖像更新區域a。然后模板圖像中與圖像更新區域a對應的區域b中的圖像拷貝至圖像更新區域a,從而實現了長截圖的圖像融合與更新。需要說明的是,上述的圖像融合裝置在進行圖像融合時,在正確性上無法做到100%完美融合,且目前沒有更好的方式提升其正確率,因此在執行將將所述模板圖像中與所述圖像更新區域對應的圖像拷貝至所述長截圖的圖像更新區域之前,需要對不應該融合的圖像進行辨識,以保證不合入不該合入的內容。假定假設模板圖像中與所述圖像更新區域對應區域的圖像為第一圖像,所述圖像更新區域的圖像為第二圖像。那么圖像融合程序在執行獲取所述圖像更新區域之后,將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域的步驟之前,還執行如下步驟:提取所述模板圖像中與所述圖像更新區域對應的區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像,利用圖像特征值匹配算法得到所述第一圖像與第二圖像的特征點匹配集。判斷所述特征點匹配集中匹配的匹配點個數是否大于預設個數。當所述特征點匹配集中匹配的匹配點個數大于預設個數時,則執行將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域的步驟;當所述特征點匹配集中匹配的匹配點個數小于或等于預設個數時,結束流程。具體實現中,圖像融合程序首先,提取所述模板圖像中與所述圖像更新區域對應的區域的圖像,記為第一圖像,以及提取所述長截圖中所述圖像更新區域對應的圖像,記為第二圖像,利用圖像特征值匹配算法對第一圖像與第二圖像的特征點進行匹配,得到特征點匹配集matches。然后,將兩張圖片(第一圖像和第二圖像)合為一張圖像,連接所述合成圖像中的每一對匹配點,即matches匹配集的每對匹配點做連線,得到每一對匹配點的連線(兩個黑色點之間的連線),如圖10所示。其次,由主成分分析得到影響圖像匹配的主要因素為斜率和歐氏距離,因此,還需要分別每一對匹配點的連線的斜率k以及歐氏距離d,若計算出的所述斜率k以及歐氏距離d均在預設的誤差范圍內,則認為該對匹配點是匹配的。經過大量實驗得到評價函數,統計斜率值k和歐式距離d都在誤差范圍內的匹配點個數n,如果n大于特征點匹配集matches的個數的一半時認為該圖應該做融合,否則不應該融合。如圖10-12所示,是利用本發明實施例的檢驗算法得到的結果示意圖。根據圖10-12可知,圖10、11為不該融合的圖像,圖12為應該融合的圖像。需要說明的是,上述移動終端在采用模板匹配算法由原始數據得到長截圖或者采用模板匹配算法搜出長截圖中與模板圖像匹配度最高的匹配區域的過程中,由于圖片信息量大且需要重復操作,這樣使得該模板匹配算法的執行效率不高,因此,在使用模板匹配算法之前,可以對定位核和搜索圖像進行預處理,如進行圖像金字塔處理和/或灰度化處理,以降低圖片的信息量,從而提高模板匹配算法執行過程中的運行效率。相應地,本發明實施例還提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有圖像融合程序,當該圖像融合程序被至少一個處理器執行時實現如下步驟:對原始數據進行回滾,獲取模板圖像;根據模板圖像和所述長截圖,獲取所述長截圖的圖像更新區域;將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域。其中,圖像融合程序在執行所述根據原始數據和所述長截圖,獲取所述長截圖的圖像更新區域的步驟時,具體執行:使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配區域;用所述模板圖像減去所述匹配區域對應的圖像,得到差分圖像;根據所述差分圖像,獲取所述圖像更新區域。圖像融合程序在執行所述根據所述差分圖像,獲取所述圖像更新區域的步驟時,具體執行:從上到下掃描所述差分圖像,找到第一個非全為0的行作為融合的開始行數a;從下到上掃描所述差分圖像,找到第一個非全為0的行作為融合的結束行數b;若a小于b,則將a到b之間的內容確定為圖像更新區域。其中,所述模板圖像中與所述圖像更新區域對應區域的圖像為第一圖像,所述圖像更新區域的圖像為第二圖像;圖像融合程序在執行將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域之前,還執行:提取所述模板圖像中與所述圖像更新區域對應區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像,利用圖像特征值匹配算法得到所述第一圖像與第二圖像的特征點匹配集;判斷所述特征點匹配集中匹配的匹配點個數是否大于預設個數;當所述特征點匹配集中匹配的匹配點個數大于預設個數時,執行將所述模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的所述圖像更新區域的步驟。其中,圖像融合程序在所述提取所述模板圖像中與所述圖像更新區域對應的區域的第一圖像,以及提取所述長截圖中所述圖像更新區域的第二圖像之后,所述判斷所述特征點匹配集中的匹配點個數是否大于預設個數之前,還執行:將所述第一圖像和所述第二圖像合為一張合成圖像;連接所述合成圖像中的每一對匹配點,得到每一對匹配點的連線;分別計算所述每一對匹配點的連線的斜率k以及歐氏距離d;若計算出的所述斜率k以及歐氏距離d均在預設的誤差范圍內,則確定該對匹配點是匹配的;統計所述特征點匹配集中匹配的匹配點個數。其中,圖像融合程序在執行所述使用模板匹配算法從所述長截圖中搜出與所述模板圖像匹配度最高的匹配圖像之前,還執行:對所述模板圖像和所述長截圖做圖像金字塔處理和/或灰度化處理。本發明實施例的計算機可讀存儲介質,在對原始數據進行回滾,獲取模板圖像之后,還根據模板圖像和所述長截圖,找到圖像更新區域并將模板圖像中與所述圖像更新區域對應的區域的圖像拷貝至所述長截圖的圖像更新區域,從而實現了長截圖的圖像融合與更新。由于模板圖像中的圖像數據比長截圖中的圖像數據更完整,因此,采用此方法進行圖像融合之后,可以在一定程度上消除長截圖中的灰格,提高長截圖的顯示完整性,進而提高長截圖的顯示效果。需要說明的是,在本文中,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。上述本發明實施例序號僅僅為了描述,不代表實施例的優劣。通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現,當然也可以通過硬件,但很多情況下前者是更佳的實施方式。基于這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質(如rom/ram、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,空調器,或者網絡設備等)執行本發明各個實施例所述的方法。以上僅為本發明的優選實施例,并非因此限制本發明的專利范圍,凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的
技術領域:
:,均同理包括在本發明的專利保護范圍內。當前第1頁12當前第1頁12