本發明涉及多媒體信息處理領域,具體而言,本發明涉及一種多媒體信息處理的方法和一種多媒體信息處理的裝置。
背景技術:
:隨著生活水平的提升,帶有拍攝裝置的終端設備變得越來越普及。獲取高質量的圖像和視頻也成為提升終端設備競爭力的一個重要因素。已有的拍攝增強大都集中在提升圖像質量方面,對視頻質量的提升涉及較少。相比于圖像增強,視頻增強由于受時空一致性、處理時間有限的影響,因此實現起來相對困難。在現有帶有拍攝功能的終端設備中,如手機,采集的視頻和圖像質量往往達不到用戶的需求。雖然有一些中高端終端設備采集的圖像質量已經得到了很大的提升,但是視頻質量還有很大的提升空間,尤其是在低光照環境下采集的視頻。視頻處理要比圖像處理困難很多,主要有兩方面原因:1)圖像和視頻幀的處理時間不同,例如在頻率30fps視頻中,處理每個視頻幀的時間需控制在1/30秒內,而處理圖像的時間可以更長,因此圖像增強方法可根據場景靈活自動調整曝光、白平衡等參數,甚至采集多幅圖像合成一幅圖像,這使得拍攝出的圖像比視頻的亮度和色彩更準確;2)視頻需要保持時空一致性,而圖像沒有時空限制,為了保證時空一致性,視頻相鄰幀間的視頻采集參數,包括白平衡、曝光和對焦,需有平滑過渡,因此如果場景有突出變換,例如從室內到室外的光照變換,終端對視頻采集參數調整有滯后性,而圖像采集參數都是針對當前場景的亮度和顏色而定,這也導致拍攝出的圖像比視頻的亮度和色彩更準確。現有技術中,對圖像或視頻的增強技術主要集中于采用相應的算法來對圖像或視頻進行增強,即基于視頻或圖像自身信息進行增強,增強效果 均不太理想,存在增強后的圖像及視頻失真、清晰度不足等問題。技術實現要素:針對現有技術中對多媒體信息進行增強處理的局限性問題,本發明提出一種多媒體信息處理的方法,包括:獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息;根據第一類多媒體信息對第二類多媒體信息進行相應處理。其中,多媒體信息包括圖像信息、視頻信息、音頻信息中的至少一種。優選地,第一類多媒體信息為圖像信息,第二類多媒體信息為視頻信息;或第一類多媒體信息為視頻信息,第二類多媒體信息為圖像信息。優選地,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:確定采集的第二類多媒體信息對應的需要增強的指標;根據采集的第一類多媒體信息,對采集的第二類多媒體信息對應的確定出的指標進行增強處理。其中,指標包括下述至少一項:分辨率、顏色、亮度、噪聲和模糊。優選地,通過以下至少一項來確定采集的第二類多媒體信息對應的需要增強的指標:根據檢測到的增強開啟觸發操作來確定與其相匹配的需要增強的指標;根據預先設置來確定與其相匹配的需要增強的指標;依據自適應參數匹配方式來自適應確定需要增強的指標。優選地,自適應參數匹配方式通過設備相關狀態、增強開啟歷史記錄數據、采集環境、采集參數及多媒體采集設備實時采集的多媒體信息的相關內容中的一項或多項信息來確定;設備相關狀態包含以下至少一項:設備電量狀態、設備存儲狀態、采集多媒體信息時的設備運動狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括以下至少一項:場景亮度、語義內容、顯著物的清晰度。可選地,該方法還包括:若確定出的需要增強的指標為至少兩個,則確定需要增強的指標的增強順序;根據采集的第一類多媒體信息,對采集的第二類多媒體信息對應的確定出的指標進行增強處理,具體包括:根據采集的第一類多媒體信息,按照確定出的增強順序,對采集的第二類多媒體信息對應的需要增強的指標依次進行增強處理。優選地,通過以下至少一項來確定需要增強的指標的增強順序:增強順序設置觸發操作;預先設置;自適應增強順序設置方式。優選地,自適應增強順序設置方式通過設備相關狀態、增強設置歷史記錄信息、采集環境、采集參數、多媒體采集設備實時采集的多媒體信息的相關內容及各個指標之間的影響關系中的一項或多項信息來確定;其中,多媒體采集設備實時采集的多媒體信息的相關內容包括場景亮度、語義內容中的至少一項。可選地,該方法還包括:設置兩個多媒體采集設備中的主采集設備及輔采集設備;根據圖像信息對視頻信息進行相應處理時,通過主采集設備采集獲取視頻信息,通過輔采集設備采集獲取圖像信息;根據視頻信息對圖像信息進行相應處理時,通過主采集設備采集圖像信息,通過輔采集設備采集視頻信息。優選地,通過以下至少一種方式來設置兩個多媒體采集設備中主采集設備及輔采集設備:根據檢測到的設置觸發操作來設置主、輔采集設備;根據預先設置來設置主、輔采集設備;依據自適應設備設置方式來自適應設置主、輔采集設備。優選地,自適應設備設置方式通過設備相關狀態、設備設置歷史記錄數據及多媒體采集設備實時采集的多媒體信息的相關內容中的一項或多 項信息來確定;設備相關狀態包含設備電量狀態和/或存儲狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括以下至少一項:畫面比例分布、目標物體在畫面中的位置信息、畫面質量信息。可選地,該方法還包括:設置多媒體信息的采集參數及增強策略參數;其中,獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息,具體包括:獲取兩個多媒體采集設備基于采集參數分別采集的第一類多媒體信息和第二類多媒體信息;其中,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:依據增強策略參數,根據第一類多媒體信息對第二類多媒體信息進行相應增強處理;其中,采集參數具體包括白平衡、曝光時間、感光度、高動態范圍、分辨率、焦點區域、視頻幀采集頻率中的至少一項。優選地,通過以下任一方式來設置多媒體信息的采集參數及增強策略參數:根據檢測到的參數設置操作來設置采集參數及增強策略參數;根據預先參數設置來設置采集參數及增強策略參數;依據自適應參數設置方式來自適應設置采集參數及增強策略參數。優選地,自適應參數設置方式通過設備相關狀態、參數歷史記錄數據、采集環境及多媒體采集設備實時采集的多媒體信息的相關內容中的至少一項來確定;設備相關狀態包含以下至少一項:設備電量狀態、設備存儲狀態、采集多媒體信息時的設備運動狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括以下至少一項:場景亮度、語義內容、顯著物的清晰度、分辨率、曝光時間。優選地,第一類多媒體信息為圖像信息,第二類多媒體信息為視頻信 息時,獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息,具體包括:獲取一個多媒體采集設備采集的視頻信息,以及另一個多媒體采集設備依據關鍵幀采集頻率同時采集的與視頻信息相對應的關鍵幀圖像信息;其中,根據采集的第一類多媒體信息,對采集的第二類多媒體信息進行相應處理,具體包括:根據采集的關鍵幀圖像信息對采集的視頻信息對應的需要增強的指標進行增強處理。可選地,該方法還包括:設置關鍵幀采集頻率;其中,設置關鍵幀采集頻率的方式包括以下至少一項:根據預設頻率設置來設置關鍵幀采集頻率;依據自適應頻率設置方式來自適應設置關鍵幀采集頻率。優選地,自適應頻率設置方式通過設備相關狀態、采集頻率歷史記錄數據、采集環境、采集參數及多媒體采集設備實時采集的多媒體信息的相關內容中的一項或多項信息來確定;其中,設備相關狀態包含以下至少一項:設備電量狀態、設備存儲狀態、采集多媒體信息時的設備運動狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括場景亮度、語義內容中的至少一項。優選地,根據采集的關鍵幀圖像信息對采集的視頻信息對應的需要增強的指標進行增強處理,具體包括:根據采集到的關鍵幀圖像信息將采集到的視頻信息劃分為若干個視頻片段;利用視頻片段兩側的關鍵幀圖像信息對相應的視頻片段對應的需要增強的指標進行增強處理。優選地,當需要增強的指標包括分辨率、顏色、亮度中的至少一項時,增強處理的方式包括基于多視圖重建的增強方式,和/或基于機器學習構建增強模型的增強方式。優選地,基于多視圖重建的增強方式,具體包括:建立采集到的視頻信息的視頻像素和關鍵幀圖像信息的圖像像素的匹配關系,通過圖像像素替換相匹配的視頻像素。優選地,基于機器學習構建增強模型的方式,具體包括:在采集到的視頻信息的關鍵幀圖像所在位置處提取視頻像素;以機器學習方式建立視頻像素與關鍵幀圖像信息的圖像像素的映射增強模型;在采集到的視頻信息的非關鍵幀圖像所在位置,通過映射增強模型來轉換視頻像素。優選地,當需要增強的指標包括噪聲時,增強處理的方式包括基于字典重構的方式,和/或基于深度學習的方式。優選地,當需要增強的指標包括模糊時,增強處理的方式包括基于模糊核估計的方式,和/或基于深度學習的方式。可選地,還包括:在采集到的視頻信息中檢測到待處理的模糊幀時,確定對待處理的模糊幀對應的模糊指標進行增強處理;其中,通過以下至少一種信息來檢測待處理的模糊幀:采集視頻幀時的設備運動狀態;采集視頻幀時的對焦信息;通過分類器對采集的視頻信息進行分類的分類結果。優選地,第一類多媒體信息為圖像信息,第二類多媒體信息為視頻信息時,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:根據采集的圖像信息對采集的視頻信息進行存儲處理,其中,存儲內容包括以下至少一種情形:根據采集的圖像信息對采集的視頻信息進行增強處理后的視頻信息;采集到的視頻信息和圖像信息;采集到的視頻信息和對視頻信息進行增強處理時的增強模型;根據采集的圖像信息對采集的視頻信息進行增強處理后的視頻信息以及采集到的圖像信息。可選地,還包括:響應于接收到的播放觸發操作,基于與存儲內容相匹配的播放方式對視頻信息進行播放;其中,播放方式包括以下至少一項:當存儲增強處理后的視頻信息時,直接播放增強處理后的視頻信息;當存儲采集到的視頻信息和圖像信息時,根據采集的圖像信息對采集的視頻信息進行增強處理后播放;當存儲采集到的視頻信息和增強模型時,通過增強模型對采集的視頻信息進行增強處理后播放;當存儲增強處理后的視頻信息和采集到的圖像信息時,將增強處理后的視頻信息和采集到的圖像信息關聯播放。優選地,第一類多媒體信息為視頻信息,第二類多媒體信息為圖像信息時,獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息,具體包括:獲取一個多媒體采集設備采集的圖像信息,以及另一多媒體采集設備依據設置的視頻幀采集頻率采集的與圖像信息相對應的視頻片段;其中,根據采集的第一類多媒體信息,對采集的第二類多媒體信息進行相應處理,具體包括:根據采集的視頻片段對采集的圖像信息對應的需要增強的指標進行增強處理。優選地,當檢測到采集圖像信息的多媒體采集設備進入預覽狀態時,或當檢測到采集圖像信息多媒體采集設備開始采集圖像信息時,另一多媒體采集設備依據設置的視頻幀采集頻率采集的與圖像信息相對應的視頻片段;當檢測到采集的視頻片段中的視頻幀數達到對應的上限值時,另一多媒體采集設備停止采集視頻信息。優選地,根據采集的視頻片段對采集的圖像信息對應的需要增強的指標進行增強處理,具體包括:在采集的視頻片段中確定視頻關鍵幀;基于模糊核估計的方式,根據視頻關鍵幀對采集到的圖像信息進行增強處理。優選地,通過自適應關鍵幀確定方式來確定視頻關鍵幀;其中,自適應關鍵幀確定方式通過畫面模糊程度、內容相似度、視頻幀質量中的一項或多項信息來確定。可選地,還包括:對采集到的圖像信息進行清晰度分析;若圖像信息屬于模糊圖像,則根據采集到的視頻片段對采集到的圖像信息對應的需要增強的指標進行增強處理;其中,需要增強的指標包括于模糊。優選地,第一類多媒體信息為視頻信息,第二類多媒體信息為圖像信息時,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:根據采集的視頻信息對采集的圖像信息進行存儲處理,其中,存儲內容包括以下至少一種情形:根據采集的視頻信息對采集的圖像信息進行增強處理后的圖像信息;采集到的視頻信息和圖像信息;采集到的圖像信息以及采集到的視頻信息中用于對圖像信息進行增強處理的視頻關鍵幀;采集到的圖像信息和對圖像信息進行增強處理時的增強模型;根據采集的視頻信息對采集的圖像信息進行增強處理后的圖像信息以及采集到的視頻信息。可選地,還包括:響應于接收到的顯示觸發操作,基于與存儲內容相匹配的顯示方式對圖像信息進行顯示;其中,顯示方式包括以下至少一項:當存儲增強處理后的圖像信息時,直接顯示增強處理后的圖像信息;當存儲采集到的視頻信息和圖像信息時,根據采集的視頻信息對采集的圖像信息進行增強處理后顯示;當存儲采集到的圖像信息和進行增強處理的視頻關鍵幀時,根據視頻關鍵幀確定增強模型,并通過增強模式對采集的圖像信息進行增強處理后顯示;當存儲采集到的圖像信息和增強模型時,通過增強模型對采集的圖像信息進行增強處理后顯示;當存儲增強處理后的圖像信息和采集到的視頻信息時,將增強處理后的圖像信息和采集到的視頻信息關聯顯示。優選地,第一類多媒體信息與第二類多媒體信息為對焦于不同焦點區域的視頻信息;其中,焦點區域包括全局區域和/或局部區域。其中,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:根據采集到的對焦于一個焦點區域的視頻信息,對采集到的對焦于另一個焦點區域的視頻信息進行聯合播放處理。其中,通過以下至少一種方式來確定焦點區域:當檢測到用戶選定一個局部區域時,則確定已選定的局部區域為焦點區域,另一焦點區域為全局區域;當檢測到用戶選定兩個局部區域時,則確定已選定的兩個局部區域為焦點區域。優選地,通過用戶選定的焦點對象,檢測用戶選定的局部區域。優選地,全局區域和/或局部區域可通過分屏的布局方式進行聯合播放。優選地,根據第一類多媒體信息對所述第二類多媒體信息進行相應處理,具體包括:根據采集到的對焦于一個焦點區域的視頻信息,對采集到的對焦于另一個焦點區域的視頻信息進行存儲處理,其中,存儲內容包括以下至少一種情形:采集到的對焦于不同焦點區域的兩個視頻信息;根據采集到的對焦于一個焦點區域的視頻信息,對采集到的對焦于另一個焦點區域的視頻信息進行合成處理后的合成視頻信息;確定出的對焦于不同焦點區域的兩個視頻信息中的感興趣視頻內容;采集到的對焦于全局區域的視頻信息以及該全局區域的視頻信息中局部區域的位置信息。優選地,該方法還包括:響應于接收到的播放觸發操作,基于與存儲內容相匹配的播放方式對視頻信息進行播放;其中,播放方式包括以下至少一項:當存儲采集到的對焦于不同焦點區域的兩個視頻信息時,將兩個視頻信息分別單獨播放或聯合播放;當存儲合成視頻信息時,播放合成視頻;當存儲確定出的對焦于不同焦點區域的兩個視頻信息中的感興趣視頻內容時,播放感興趣視頻內容;當存儲全局區域的視頻信息以及該全局區域的視頻信息中局部區域的位置信息時,通過位置信息確定局部區域的視頻信息,并將全局區域的視頻信息和局部區域的視頻信息分別單獨播放或聯合播放。優選地,第二類多媒體信息為視頻信息,第一類多媒體信息為與視頻信息相對應的音頻信息。其中,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:從采集到的視頻信息中確定目標對象;針對目標對象對應的視頻信息和/或音頻信息進行凸顯處理。其中,通過以下至少一種方式從采集到的視頻信息中確定目標對象:根據檢測到的目標對象指定操作來確定目標對象;依據采集到的視頻信息中多個對象的數量及所處位置信息來確定目標對象。優選地,針對目標對象對應的音頻信息進行凸顯處理,具體包括:對采集到的視頻信息進行檢測以確定所述視頻信息中的對象數量、各個對象的位置及方位信息;依據各個對象的位置及方位信息,確定各個對象分別對應的音頻信息;確定目標對象對應的音頻信息,并進行凸顯處理。優選地,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:根據采集到的音頻信息,對采集到的視頻信息進行存儲處理,其中, 存儲內容包括以下至少一種情形:采集到的視頻信息及音頻信息;目標對象對應的視頻信息及音頻信息。優選地,該方法還包括:響應于接收到的播放觸發操作,基于與存儲內容相匹配的播放方式對視頻信息及音頻信息進行播放;其中,播放方式包括以下至少一項:當存儲采集到的視頻信息及音頻信息時,將采集到的視頻信息及音頻信息相關聯地播放;當存儲采集到的視頻信息及音頻信息時,將采集到的視頻信息中的目標對象與相對應的音頻信息相關聯地播放;當存儲采集到的視頻信息及音頻信息時,將采集到的視頻信息中的各個對象與相對應的音頻信息相關聯地播放;當存儲目標對象對應的視頻信息及音頻信息時,將目標對象對應的視頻信息及音頻信息相關聯地播放。本發明還提出一種多媒體增強處理的裝置,包括:多媒體信息獲取模塊,用于獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息;處理模塊,用于根據第一類多媒體信息對第二類多媒體信息進行相應處理。本發明的實施例中,獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息;根據第一類多媒體信息對第二類多媒體信息進行相應處理,即通過第一類多媒體信息與第二類多媒體信息之間的關聯關系,實現基于第一類多媒體信息對第二類多媒體信息進行相應處理。而現有技術中,一般僅通過增強算法及自身信息對每類多媒體信息(如圖片和視頻)進行單獨處理,并未考慮到同時獲取的兩類多媒體信息之間的關聯關系,并利用關聯關系執行多媒體信息增強,因此會出現圖像或視頻畫面失真、清晰度較低等問題。本發明中通過同時獲取到兩類多媒體信息,根據一類多媒體信息對另一個多媒體信息進行增強,由于在增強過程中充分考慮到兩類多媒體信息各自的特點及關聯關系,可以克服僅通過增強算 法及自身信息對每類多媒體信息分別進行增強處理的局限性,大大提高了增強處理后的多媒體信息的質量,保證了多媒體信息的真實度及清晰度。。本發明附加的方面和優點將在下面的描述中部分給出,這些將從下面的描述中變得明顯,或通過本發明的實踐了解到。附圖說明本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解,其中:圖1示出了本發明一個實施例的多媒體信息處理的方法的流程圖示意圖;圖2為現有技術中一種對視頻亮度和顏色增強方法的轉換曲線亮度調整的示意圖;圖3為現有技術中利用模糊圖像的模糊核估計方式對視頻幀去噪的示意圖;圖4示出了本發明中具體實施例的視頻聯合增強模式的執行步驟示意圖;圖5示出了本發明中具體實施例的手持智能終端中采集視頻的示意圖;圖6示出了本發明中具體實施例的手持智能終端中視頻聯合增強模式的示意圖;圖7示出了本發明中具體實施例的監控終端中視頻聯合增強模式的示意圖;圖8示出了本發明中具體實施例的圖像去模糊增強模式的第一示意圖;圖9示出了本發明中具體實施例的圖像去模糊增強模式的第二示意圖;圖10示出了本發明中具體實施例的多焦點區域聯合播放模式的左右分屏視頻布局方式的示意圖;圖11示出了本發明中具體實施例的多焦點區域聯合播放模式的上下分屏視頻布局方式的示意圖;圖12示出了本發明中具體實施例的多焦點區域聯合播放模式的大小屏視頻布局方式的示意圖;圖13示出了本發明中具體實施例的多焦點區域聯合播放模式的全局區 域視頻布局方式的示意圖;圖14示出了本發明中具體實施例的多焦點區域聯合播放模式的大小屏視頻布局方式中大小屏切換的示意圖;圖15示出了本發明中具體實施例的多焦點區域聯合播放模式的大小屏視頻布局方式中大小屏錄制和播放的示意圖;圖16示出了本發明中具體實施例的目標對象凸顯播放模式中音視頻凸顯的示意圖;圖17示出了本發明一個實施例的多媒體信息處理的裝置的結構示意圖。具體實施方式下面詳細描述本發明的實施例,所述實施例的示例在附圖中示出,其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的,僅用于解釋本發明,而不能解釋為對本發明的限制。本申請使用的“模塊”、“系統”等術語旨在包括與計算機相關的實體,例如但不限于硬件、固件、軟硬件組合、軟件或者執行中的軟件。例如,模塊可以是,但并不僅限于:處理器上運行的進程、處理器、對象、可執行程序、執行的線程、程序和/或計算機。舉例來說,計算設備上運行的應用程序和此計算設備都可以是模塊。一個或多個模塊可以位于執行中的一個進程和/或線程內,一個模塊也可以位于一臺計算機上和/或分布于兩臺或更多臺計算機之間。圖1示出了本發明一個實施例的多媒體信息處理的方法的流程圖示意圖。步驟s110:獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息;步驟s120:根據第一類多媒體信息對第二類多媒體信息進行相應處理。需要說明的是,兩個多媒體采集設備可以置于同一終端設備上,上述終端設備可以為手機、pad、監控裝置等終端。兩個多媒體采集設備同時進行多媒體信息的采集,其中一個采集設備采集第一類多媒體信息,另一個采集設備采集第二類多媒體信息。由上可見,第一類多媒體信息和第二類多媒體信息之間是相互關聯的;而現有技術中,一般僅通過增強算法及自身信息對多媒體信息(如圖片和視頻)進行單獨處理,并未考慮到同時獲取的兩類多媒體信息之間的關聯關系,并利用關聯關系執行多媒體信息增強,因此會出現圖像或視頻畫面失真、清晰度較低等問題。本發明中,通過同時獲取到兩類多媒體信息,并根據第一類類多媒體信息對第二類多媒體信息進行增強,由于在增強過程中充分考慮到兩類多媒體信息各自的特點及關聯關系,可以克服僅通過增強算法及自身信息對每類多媒體信息分別進行增強處理的局限性,大大提高了增強處理后的多媒體信息的質量,保證了多媒體信息的真實度及清晰度。具體地,多媒體信息包括圖像信息、視頻信息、音頻信息中的至少一種。為了提升攝像頭配置,雙目攝像頭成為各大廠商著重研發與推廣的一大亮點。相比于單目攝像頭,雙目攝像頭有一些天然的優勢:具備雙套采集參數,兩個攝像頭可以設置不同的拍攝模式,可以獲取三維深度信息用來提升分割、識別、跟蹤和定位的精度。現有的具備雙目攝像頭的終端設備大都是利用深度信息對圖像拍攝提供更多操作模式,如合并左右攝像頭拍攝的圖像得到一張高分辨率的圖像;利用深度信息對目標區域進行分割;全景深拍照后對焦等。本發明的發明人發現,現有技術并沒有充分利用兩個攝像頭雙套的參數采集來對圖像及視頻質量進行增強,如何充分利用雙目攝像頭的優勢來改善現有視頻和圖像質量也是需要解決的問題。需要說明的是,本發明中多媒體采集設備可以為終端設備上的雙目攝像頭,也可以采用其他的實現方式,在此不做限定。此外,兩個攝像頭可以并排擺放,模擬人眼功能,此外兩個攝像頭也可以采用其他方式設置,這里不做具體限制。其中,當第一類多媒體信息為圖像信息時,第二類多媒體信息可以為視頻信息。具體的,終端設備的一個攝像頭采集視頻信息,另一個攝像頭同時采集對應的圖像信息,利用采集的圖像對視頻進行增強處理,此時終端設備的增強處理模式可以稱為圖像增強視頻模式。或當第一類多媒體信息為視頻信息時,第二類多媒體信息可以為圖像信 息。具體的,終端設備的一個攝像頭采集圖像信息,另一個攝像頭同時采集對應的視頻信息,利用采集的視頻對圖像進行增強處理,此時終端設備的增強處理模式可以稱為視頻增強圖像模式。由于攝像頭采集的圖像或視頻對應很多指標,例如,亮度、分辨率等,在利用圖像增強視頻或利用視頻增強圖像時,可以對視頻或圖像的一個或多個指標進行增強處理,對此,本發明實施例提出,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:確定采集的第二類多媒體信息對應的需要增強的指標;根據采集的第一類多媒體信息,對采集的第二類多媒體信息對應的確定出的指標進行增強處理。其中,上述指標包括下述至少一項:分辨率、顏色、亮度、噪聲和模糊。需要說明的是,下述實施例的詳述中,將根據第一類多媒體信息對第二類多媒體信息進行相應處理的方式,具體為圖像信息對視頻信息進行處理的圖像增強視頻模式,視頻信息對圖像信息進行處理的視頻增強圖像模式,視頻信息對視頻信息進行處理的多焦點區域聯合播放模式,音頻信息對視頻信息進行處理的目標對象凸顯播放模式。其中,實施例一至實施例八為圖像增強視頻模式的具體實施例;實施例九為視頻增強圖像模式的具體實施例;實施例十為多焦點區域聯合播放模式的具體實施例;實施例十一為目標對象凸顯播放模式的具體實施例。本發明的實施例一至實施例八中,針對采集到視頻及圖像,利用圖像對視頻進行增強處理,對應的確定出的指標包括如下五種:分辨率,亮度,顏色,噪聲和模糊:拍攝高分辨率圖像,對視頻分辨率進行增強,得到高分辨率的視頻;拍攝高質量的圖像,對視頻亮度進行調整,提高低光照環境下拍攝的視頻亮度;拍攝高質量的圖像,對視頻顏色進行調整,提高非理想拍照環境下拍攝的視頻顏色對比度以及rgb顏色分布;拍攝低噪聲的圖像,對視頻進行去噪,得到低噪聲高質量的視頻;拍攝清晰的圖像,利用圖像對視頻幀進行去模糊,得到清晰度提升的視頻。本發明的實施例九中,利用視頻對圖像進行增強處理,對應的確定出的指標包括模糊:拍攝長曝光的高亮度圖像時,如果圖像出現模糊,則利用短曝光的視頻幀來 對模糊圖像進行增強,得到高亮度,清晰度好的圖像。在圖像增強視頻流程中,首先設置主/輔攝像頭、需要增強的指標、采集參數、增強策略參數,啟動兩個攝像頭進行拍攝,主攝像頭拍攝視頻,輔攝像頭拍攝圖像,同時通過增強策略參數,根據拍攝的圖像對拍攝的視頻中需要進行增強的指標進行增強處理,終端設備可以根據需要將采集的數據存儲,后續對存儲的數據進行播放或顯示。在視頻增強圖像流程中,首先設置主/輔攝像頭、需要增強的指標、采集參數、增強策略參數,啟動兩個攝像頭進行拍攝,主攝像頭拍攝圖像,輔攝像頭拍攝視頻,同時通過增強策略參數,根據拍攝的視頻對拍攝的圖像中需要進行增強的指標進行增強處理。需要說明的是,下述實施例的詳述中,根據采集的第一類多媒體信息,對采集的第二類多媒體信息對應的確定出的指標進行增強處理的步驟中,可針對確定出的不同的指標進行增強處理,增強處理的指標不同,對應的增強模式也不同,其中,可以對上述指標中的一個指標進行增強處理,增強模式包括但不限于:分辨率增強模式、顏色增強模式、亮度增強模式、去噪增強模式和去模糊增強模式。也可以對上述指標中的至少兩個指標進行增強處理,此時可以稱為聯合增強模式。實施例一:增強處理模式為圖像增強視頻模式中的分辨率增強模式從視頻分辨率增強方面來說,現有終端設備中視頻最大分辨率一般比圖像最大分辨率小;例如,一類移動終端中的圖像最大分辨率為5312*2988,而視頻最大分辨率為3840*2160。由于受限于終端設備的cpu和內存,為了讓用戶實時看到自己拍攝的內容,只能相比圖像分辨率降低視頻分辨率,否則不能實時對視頻進行處理。一種提升視頻分辨率的方法是通過插值將每個視頻幀分別增強分辨率,此類方法得到的視頻幀細節會變模糊。另外一種提升視頻分辨率的方法是使用高分辨率圖像對低分辨視頻進行增強,主要思想是用大量高分辨率圖像和對應的低分辨率視頻訓練出映射模型,以該映射模型來增強視頻分辨率,即提取圖像和視頻的像素塊建立訓練數據庫,基于訓練數據庫學習得到映射模型,從而以該映射模型將高頻細節 信息遷移到低分辨率視頻從而獲取高分辨視頻。此類方法需要預先采集訓練數據,訓練數據量小則泛化能量弱,導致增強效果差,訓練數據大則存儲空間大。在視頻分辨率增強方面,僅依靠視頻中每幀的信息進行放大,只是在圖像尺寸上有所改變,并不能給用戶提供更豐富的細節信息,也無法達到提高分辨率的目的。另外,高分辨率視頻占用內存空間變大,如何在提升視頻分辨率的同時不帶來太多內存消耗也是現有技術未曾考慮的問題。在本發明的實施例中,多媒體信息包括圖像信息和視頻信息。多媒體采集設備可以為雙目攝像頭。首先開啟圖像增強視頻的分辨率增強模式,隨后,啟動雙目攝像頭的兩個攝像頭分別采集圖像信息和視頻信息,其次自適應設置攝像頭的采集參數和關鍵幀,同時根據攝像頭的采集參數和關鍵幀對視頻信息進行分辨率增強,最后對增強結果進行壓縮、傳輸和播放。步驟1,開啟圖像增強視頻的分辨率增強模式。通過以下至少一項來確定采集的第二類多媒體信息對應的需要增強的指標:根據檢測到的增強開啟觸發操作來確定與其相匹配的需要增強的指標;根據預先設置來確定與其相匹配的需要增強的指標;依據自適應參數匹配方式來自適應確定需要增強的指標。其中,自適應參數匹配方式通過設備相關狀態、增強開啟歷史記錄數據、采集環境、采集參數及多媒體采集設備實時采集的多媒體信息的相關內容中的一項或多項信息來確定;其中,設備相關狀態包含以下至少一項:設備電量狀態、設備存儲狀態、采集多媒體信息時的設備運動狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括以下至少一項:場景亮度、語義內容、顯著物的清晰度。優選地,若確定出的需要增強的指標為至少兩個,則確定需要增強的指標的增強順序;根據采集的第一類多媒體信息,按照確定出的增強順序,對采集的第二類多媒體信息對應的需要增強的指標依次進行增強處理。具體地,通過以下至少一項來確定需要增強的指標的增強順序:增強順序設置觸發操作;預先設置;自適應增強順序設置方式。其中,自適應增強順序設置方式通過設備相關狀態、增強設置歷史記錄信息、采集環境、采集參數、多媒體采集設備實時采集的多媒體信息的相關內容及各個指標之間的影響關系中的一項或多項信息來確定;其中,多媒體采集設備實時采集的多媒體信息的相關內容包括場景亮度、語義內容中的至少一項。本發明實施例一中,具體地,用戶可以通過如語音、按鍵、手勢、生物特征、外部控制器等增強開啟觸發操作來開啟圖像增強視頻的分辨率增強模式,終端設備也可以通過預先設置(如系統默認設置),或者根據自適應參數匹配方式來開啟該模式自適應模式匹配方式,如根據設備相關狀態、增強模式開啟歷史記錄數據、采集環境、采集參數及攝像頭實時采集的多媒體信息的相關內容自適應開啟圖像增強視頻的分辨率增強模式,也可以由增強開啟用戶觸發操作設置和系統默認設置的任意組合來開啟;例如,用戶通過按鍵方式啟動了圖像增強視頻模式,終端設備再根據增強模式開啟歷史記錄數據自適應開啟圖像增強視頻模式中的分辨率增強模式。關于語音開啟,終端設備預先設定某種語音作為啟動指令,例如“啟動增強視頻分辨率”,終端設備接收到用戶發出的聲控指令“啟動增強視頻分辨率”,則對該聲控指令進行語音識別,確定此時開啟圖像增強視頻模式中的分辨率增強模式。關于按鍵開啟,終端設備預先設定某種按鍵作為開啟指令,按鍵可以為硬件按鍵,例如用戶通過長按音量鍵表示增強視頻分辨率,終端設備接收到用戶的長按音量鍵事件后,確認此時需要開啟圖像增強視頻模式中的分辨率增強模式。按鍵也可以為虛擬按鍵,例如屏幕上的虛擬控件按鈕,終端設備在交互界面上顯示該模式的按鍵,接收到用戶點擊虛擬按鍵的事件后,確認此時需要開啟該模式。通過按鍵開啟時,還可以結合用戶觸發時的壓力、速度、時間、頻率等多種特征信息的不同表示對應的不同含義,例如用力快速點擊虛擬控件表示開啟該模式等。關于手勢開啟,終端設備預先設定某種手勢作為啟動指令,手勢包括屏幕手勢,例如雙擊屏幕/或長按屏幕等,通過屏幕手勢開啟時可以結合 用戶手勢的壓力、速度、時間、頻率的不同表示對應的不同含義;如輕按,例如,壓力小于第一預定值,重按,例如,壓力大于或等于第一預定值,又如長按,例如,按壓持續時間超過第二預定值,快速雙擊等任意一個表示開啟。手勢還包括隔空手勢,如搖晃/翻轉/傾斜終端,搖晃/翻轉/傾斜時的不同方向,角度,速度,力度可以表示不同的含義,如上下搖晃、左右搖晃、空著畫圓等任意一個表示開啟該模式。上述手勢可以是單一的手勢,也可以是任意手勢的任意組合,如長按屏幕并搖晃終端設備。關于生物特征開啟,生物特征包括但不限于手寫特征和指紋特征,例如,終端設備在檢測到的指紋與預先注冊的用戶指紋一致,則確認此時需要開啟圖像增強視頻模式中的分辨率增強模式。關于系統默認設置開啟,終端設備在沒有用戶交互情況下默認設置圖像增強視頻模式中的分辨率增強模式為開啟或者關閉狀態。關于根據終端設備的設備相關狀態自適應開啟,設備相關狀態包含電量、存儲(如內存)、運動狀態等,可以設置第一和第二預定電量,其中第一預定電量,例如20%,小于第二預定電量,例如80%,當終端設備的電量小于第一預定電量時,則關閉視頻分辨率增強模式,當電量大于第二預定電量時,則開啟視頻分辨率增強模式,或者只設置一個開啟電量,終端電量大于該開啟電量時默認開啟視頻分辨率增強模式,否則關閉視頻分辨率增強模式。關于根據增強開啟歷史記錄數據的自適應開啟,統計最近若干次,例如10次,采集過程中視頻分辨率增強模式的開啟次數,如果開啟次數超過一定閾值,例如5次,則終端設備自動開啟分辨率增強模式,否則關閉分辨率增強模式。或者根據上一次拍攝時的設置來確定本次拍攝是否開啟。關于采集環境,由傳感器采集得到,例如通過亮度傳感器采集得到環境亮度等信息;可以根據環境亮度來自適應開啟,例如當環境平均亮度低于設定閾值時,則開啟該模式,否則關閉該模式。關于采集參數,采集參數具體包括白平衡、曝光時間、感光度、高動態范圍、分辨率、焦點區域、視頻幀采集頻率中的至少一項。可以根據采集參數來自適應開啟,例如,當視頻的曝光時間過長(高于設定閾值)時, 則開啟該模式,否則關閉該模式。關于根據實時采集的相關內容的自適應開啟,具體的,實時采集的相關內容包含場景亮度、語義內容、顯著物的清晰度等。可以根據場景亮度來自適應開啟,例如當場景平均亮度低于設定閾值時,則開啟該模式,否則關閉該模式。可以根據場景語義內容來自適應開啟,例如檢測到場景中有目標對象,如車輛、人物等出現時,則開啟該模式,否則關閉該模式。可以檢測到場景的顯著區,如車牌區域等的信噪比,如果該顯著區信噪比低于某個給定閾值,則終端設備自動開啟分辨率增強模式。步驟2:使用雙目攝像頭的一個攝像頭拍攝圖像,另一個攝像頭拍攝視頻。該步驟包括設置主、輔攝像頭,設置攝像頭參數和增強策略參數,以及設置關鍵幀的選取。設置兩個多媒體采集設備中的主采集設備及輔采集設備;根據圖像信息對視頻信息進行相應處理時,通過主采集設備采集獲取視頻信息,通過輔采集設備采集獲取圖像信息;根據視頻信息對圖像信息進行相應處理時,通過主采集設備采集圖像信息,通過輔采集設備采集視頻信息。通過以下至少一種方式來設置兩個多媒體采集設備中主采集設備及輔采集設備:根據檢測到的設置觸發操作來設置主、輔采集設備;根據預先設置來設置主、輔采集設備;依據自適應設備設置方式來自適應設置主、輔采集設備。其中,自適應設備設置方式通過設備相關狀態、設備設置歷史記錄數據及多媒體采集設備實時采集的多媒體信息的相關內容中的一項或多項信息來確定;其中,設備相關狀態包含設備電量狀態和/或存儲狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括以下至少一項:畫面比例分布、目標物體在畫面中的位置信息、畫面質量信息。步驟2.1,設置主、輔攝像頭。令主攝像頭采集視頻信息,輔攝像頭采集圖像信息,終端設備可以采用以下三種方式中的一種來設置主攝像頭和輔攝像頭:一是終端設備預先設置(如默認設置);二是終端設備接收用戶通過按鍵、手勢、外部控制器等至少一種方式發送的設置觸發操作進行設置;三是終端設備根據設備相關狀態、設備設置歷史記錄數據、實時采集的相關內容等自適應調整來設定哪個攝像頭為主攝像頭,哪個攝像頭為輔攝像頭。關于系統默認設置,終端設備默認其中一個攝像頭為主,另外一個為輔攝像頭,例如正對場景拍攝的某一側攝像頭為主攝像頭,另一側攝像頭為輔攝像頭。關于按鍵設置,終端設備預先設定通過按鍵控制主、輔攝像頭。按鍵可以為硬件按鍵,例如音量“+”健啟動某一側攝像頭為主攝像頭,音量“-”健啟動另一側攝像頭為主攝像頭。按鍵也可以為虛擬按鍵,例如屏幕上的虛擬控件,菜單等。關于手勢設置,終端設備預先設定某個手勢來切換主、輔攝像頭,例如順時針劃圓表示設定某一側為主攝像頭,逆時針劃圓表示設定另一側為輔攝像頭。關于外部控制器,外部控制器包括但不限于:手寫筆、遙控器、智能眼鏡、智能頭戴式設備等設備,這些設備跟可以通過以下技術之一來訪問終端設備:wifi、nfc、藍牙和數據網絡,設備上配有按鍵或觸摸屏等控制區域來控制主、輔攝像頭啟動,例如遙控器上的向上鍵表示某一側攝像頭為主,向下鍵表示另一側攝像頭為主。關于根據設備設置歷史記錄數據的自適應設置,統計最近若干次,例如9次,采集中主、輔攝像頭的設置方式,例如如果某一側攝像頭被設為主攝像頭的次數較多,則終端設備啟動時自動設置該側的攝像頭為主攝像頭。或者根據上一次拍攝時的設置來確定本次拍攝時的主輔攝像頭。關于終端設備根據實時采集的相關內容自適應設置攝像頭,終端設備根據兩個攝像頭采集到的內容選擇主攝像頭,例如,對拍攝內容進行打分,得分高的作為主攝像頭。打分參數包括但不限于:畫面比例分布、目標物體在畫面中的位置信息、畫面質量信息等。終端設備可以在拍攝過程中根 據拍攝畫面實時地自適應調整主攝像頭,并將不同的主攝像頭拍攝的視頻片段按照拍攝時間進行拼接得到一個完整不間斷的視頻序列。如果在視頻拍攝過程中開啟的圖像增強視頻的分辨率增強模式,則可以將當前拍攝視頻信息的攝像頭設置為主攝像頭,另一個攝像頭為輔攝像頭拍攝圖像信息;也可以根據上述實時采集內容自適應設置攝像頭。步驟2.2,設置攝像頭的采集參數和增強策略參數。具體地,設置多媒體信息的采集參數及增強策略參數;獲取兩個多媒體采集設備基于采集參數分別采集的第一類多媒體信息和第二類多媒體信息;依據增強策略參數,根據第一類多媒體信息對第二類多媒體信息進行相應增強處理;其中,采集參數具體包括白平衡、曝光時間、感光度、高動態范圍、分辨率、焦點區域、視頻幀采集頻率中的至少一項。其中,通過以下任一方式來設置多媒體信息的采集參數及增強策略參數:根據檢測到的參數設置操作來設置采集參數及增強策略參數;根據預先參數設置來設置采集參數及增強策略參數;依據自適應參數設置方式來自適應設置采集參數及增強策略參數。其中,自適應參數設置方式通過設備相關狀態、參數歷史記錄數據、采集環境及多媒體采集設備實時采集的多媒體信息的相關內容中的至少一項來確定;其中,設備相關狀態包含以下至少一項:設備電量狀態、設備存儲狀態、采集多媒體信息時的設備運動狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括以下至少一項:場景亮度、語義內容、顯著物的清晰度、分辨率、曝光時間。具體地,設置雙目攝像設備的采集參數及在增強處理過程中的內部增強策略參數。攝像頭的采集參數是采集過程中需要設定的攝像頭參數,增強策略參數是所選取的視頻增強方法中的內部參數等。其設置方式包括而不限于以下四種:第一種是預先參數設置(如系統默認的固定值設置),即定義參數為固定值,例如在基于機器學習的亮度增強方法,設定像素塊尺寸為固定值,如5個像素;第二種是終端設備接收用戶通過語音、按鍵或 外部控制器等至少一種方式發送的參數設置操作來設置參數;第三種是終端設備通過設備相關狀態、參數歷史記錄數據、采集環境或實時采集的相關內容等自適應設置采集參數和增強策略參數;第四種是自適應設置結合用戶調整設置進行參數設置,例如終端設備默認固定一套參數值,用戶通過按鍵方式來調整某些參數值。關于用戶交互下的語音設置,例如終端設備預先設定語音開啟指令“采集高動態范圍的圖像”,如果終端設備接受到該指令,則對聲控指令進行語音識別,確定開啟采集高動態范圍圖像。或者,終端設備預先設定語音開啟指令“圖像白平衡為日光燈”,則設置圖像白平衡為日光燈。或者,終端設備預先設定語音開啟指令“提高圖像曝光值”,則提高圖像的曝光值。關于用戶交互下的按鍵設置,按鍵可以為硬件按鍵,例如“+”鍵表示增加曝光值,“-”鍵表示減少曝光值,“home”表示采集高動態范圍圖像。按鍵也可以為虛擬按鍵,例如屏幕上的滑動條,按鈕,菜單等,交互界面上布局虛擬按鍵,終端設備檢測到用戶點擊了該虛擬按鍵的事件后,確認改變設置參數。還可以結合用戶按的壓力、速度、時間、頻率等多種特征信息表示不同的含義,如輕按代表減少曝光值,重按代表增強曝光值。關于用戶交互下的外部控制器設置,外部控制器包括而不限于手寫筆、遙控器、智能手表、智能眼鏡、智能頭戴式設備、智能衣服、或遠程設備等,這些控制器以下列技術至少之一來訪問終端設備:wifi、紅外、藍牙、網絡,控制器上配有按鍵或觸摸屏等控制區域來控制終端設備,例如手寫筆做出空中手勢,設定向上為增加曝光值,向下為減少曝光值,終端設備識別出這些操作則啟動調節參數,遙控器上設置調節白平衡、曝光、視頻采集頻率等按鍵,控制器檢測到用戶點擊了按鍵,發送到終端設備來調節參數。關于根據場景亮度、語義內容的自適應設置,可以根據場景的類型來調節白平衡,例如終端設備識別出場景是白天,則調整白平衡為日光,場景是夜晚偏黃則調節白平衡為鎢絲燈。可以根據場景中的興趣目標來調節 對焦,例如定位顯著區域或人體區域并將對焦該區域。可以根據場景光線調整曝光量,例如檢測到場景亮度均值低于給定閾值,則終端設備提高曝光量,否則減低曝光量。可以根據場景中亮度方差自適應調節高動態范圍的采圖數,例如亮度方差高于第一給定閾值則提高采圖數,亮度方差低于第二給定閾值則減低采圖數。可以根據采集圖像的尺寸來設置亮度增強中的圖像像素塊的尺寸,例如定義像素塊為圖像尺寸乘以某一個比例系數。關于根據設備相關狀態的自適應設置,設備相關狀態包括電量、存儲(如內存)等,可以根據電量控制曝光值減低計算量,當電量小于第一預定電量,例如50%時,則減低曝光值,當電量小于第二預定電量,如5%時,則不進行高動態范圍設定,其中,第一預定電量大于第二預定電量。還可以根據電量控制去模糊中的參數減少計算量,小于第一預定電量,例如50%,則減少模糊核的尺寸,小于第二預定電量,例如5%,則固定模糊核尺度為最小值,可以由電量控制基于機器學習顏色增強中的參數來減少計算量,小于第一預定電量,例如50%,則減少單詞庫側重中的單詞數,小于第二預定電量,例如5%,則固定單詞數為最小值,可以由電量確定亮度增強中的參數來減少計算量,小于第一預定電量,例如50%,則減少基于機器學習方法中待采樣的像素數,小于第二預定電量,例如20%,則替換機器學習方法中的模型映射法為高斯混合模型法。可以根據內存調整視頻幀采集頻率,如果剩余內存大于第一預定空間,例如1g,則自動調整為指定的高采集頻率,例如3640*1920;反之,如果剩余內存小于第二預定空間,例如300m,則調整為指定的低采集頻率,例如1920*1080。關于根據參數歷史記錄數據的自適應設置,例如根據用戶設置的曝光值數歷史記錄數據調整曝光量,設置方式包括而不限于下面這種:計算參數歷史記錄數據中的曝光值和圖像亮度均值,用最小二乘法回歸出一個映射關系表,根據該映射表調整曝光值。例如根據用戶喜好的設置調整高動態范圍設置,設置方式包括而不限于下面這種,統計最近n次,例如10次,亮度增強中設置高動態范圍的次數,如果次數>n/2則優先設置高動態范圍。或者將本次拍攝時的參數值設置為上一次拍攝時的參數值。步驟2.3,自適應設置關鍵幀采集頻率。當第一類多媒體信息為圖像信息,第二類多媒體信息為視頻信息時,獲取一個多媒體采集設備采集的視頻信息,以及另一個多媒體采集設備依據關鍵幀采集頻率同時采集的與視頻信息相對應的關鍵幀圖像信息;根據采集的關鍵幀圖像信息對采集的視頻信息對應的需要增強的指標進行增強處理。優選地,還包括:設置關鍵幀采集頻率;其中,設置關鍵幀采集頻率的方式包括以下至少一項:根據預設頻率設置來設置關鍵幀采集頻率;依據自適應頻率設置方式來自適應設置關鍵幀采集頻率。其中,自適應頻率設置方式通過設備相關狀態、采集頻率歷史記錄數據、采集環境、采集參數及多媒體采集設備實時采集的多媒體信息的相關內容中的一項或多項信息來確定;其中,設備相關狀態包含以下至少一項:設備電量狀態、設備存儲狀態、采集多媒體信息時的設備運動狀態;多媒體采集設備實時采集的多媒體信息的相關內容包括場景亮度、語義內容中的至少一項。關于預設頻率設置,可以按照系統固定頻率選取關鍵幀,例如將采集頻率固定為給定頻率,例如1次/秒,如果視頻采集頻率為30幀/秒,即為每30幀采集一個圖像。關于根據實時采集的相關內容自適應設定,可根據環境亮度變換自適應選取關鍵幀采集頻率,實時檢測環境的亮度均值,如果相鄰幀的亮度均值之差大于第一閾值,例如50,則啟動關鍵幀選取。可以根據語義內容自適應選取關鍵幀,提取環境的整體特征描述因子,包括而不限于以下幾種:顏色直方圖、梯度直方圖、紋理直方圖和神經網絡訓練出的特征,計算相鄰幀的特征描述因子之差,如果描述因子之差大于第二閾值,則啟動關鍵幀選取。可以結合環境亮度或內容和給定頻率選取關鍵幀,同樣是定頻率采集場景環境,但采集頻率根據場景變動進行自適應調整。如果場景環境亮度或內容頻繁進行更替,則將關鍵幀采集頻率增大,相反,如果場景環境亮度或內容基本保持不變,則將關鍵幀采集頻率減低。關于根據設備相關狀態選取關鍵幀采集頻率,設備相關狀態包括電量、 存儲(如內存)、設備運動狀態等。可以根據電量設定關鍵幀采集頻率,例如當電量小于第一預定電量時,例如50%,則減低關鍵幀采集頻率,當電量大于第二預定電量,如80%時,則提高關鍵幀采集頻率,其中,第一預定電量小于第二預定電量。可以根據內存設置關鍵幀頻率,例如當內存小于第一預定值時,例如500m,則降低關鍵幀采集頻率,當內存大于第二預定值時,例如700m,則提高關鍵幀采集頻率。也可以根據終端設備運動狀態調整采集頻率,根據終端設備內部傳感器判斷終端設備的運動狀態,如果運動幅度大于某一閾值,則提高關鍵幀采集頻率,以保證得到足夠的高質量關鍵幀圖像。步驟3,對視頻信息進行分辨率增強。根據采集到的關鍵幀圖像信息將采集到的視頻信息劃分為若干個視頻片段;利用視頻片段兩側的關鍵幀圖像信息對相應的視頻片段對應的需要增強的指標進行增強處理。具體地,當需要增強的指標包括分辨率、顏色、亮度中的至少一項時,增強處理的方式包括基于多視圖重建的增強方式,和/或基于機器學習構建增強模型的增強方式。其中,基于多視圖重建的增強方式,具體包括:建立采集到的視頻信息的視頻像素和關鍵幀圖像信息的圖像像素的匹配關系,通過圖像像素替換相匹配的視頻像素。其中,基于機器學習構建增強模型的方式,具體包括:在采集到的視頻信息的關鍵幀圖像所在位置處提取視頻像素;以機器學習方式建立視頻像素與關鍵幀圖像信息的圖像像素的映射增強模型;在采集到的視頻信息的非關鍵幀圖像所在位置,通過映射增強模型來轉換視頻像素。步驟4,增強后的視頻的存儲。第一類多媒體信息為圖像信息,第二類多媒體信息為視頻信息時,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:根據采集的圖像信息對采集的視頻信息進行存儲處理,其中,存儲內容包括以下至少一種情形:根據采集的圖像信息對采集的視頻信息進行增強處理后的視頻信息;采集到的視頻信息和圖像信息;采集到的視頻信息和對視頻信息進行增強處理時的增強模型;根據采集的圖像信息對采集的視頻信息進行增強處理后的視頻信息以及采集到的圖像信息。在本實施例中終端設備生成四類數據:采集的原始視頻信息、關鍵幀圖像信息、分辨率增強的映射增強模型和增強后的視頻信息。第一種是在步驟3之后,直接存儲增強后的視頻信息,不保存關鍵幀圖像信息,即在存儲前完成增強處理,在存儲時,視頻框中顯示原始視頻幀中的畫面,上面顯示緩沖圖標,表示正在進行增強處理,緩沖完成后,存儲結束。第二種是先保存原始視頻信息以及學習到的增強模型,不保存關鍵幀圖像信息。在用戶打開視頻時進行步驟3的增強處理。由于每個視頻片段有一個增強模型,將所有的增強模型單獨存儲,建立一個增強模型和視頻幀號的映射表。第三種是先存儲原始視頻信息以及拍攝的關鍵幀圖像信息,這種方式不需要在存儲前對原始視頻信息進行處理,完成拍攝,可即刻完成存儲。終端設備自動根據處理器的忙閑來安排處理時間,學習增強模型對原始視頻信息進行步驟3的增強處理,增強處理完成后刪除關鍵幀圖像信息。該存儲方式也是本發明提出的一種高清視頻壓縮存儲的方法。為了節省視頻的存儲空間,可以存儲低分辨率視頻信息和高分辨率圖像信息來取代直接存儲高分率視頻信息。低分辨率視頻信息和高清圖像信息可以分別由本發明中兩個攝像頭同時采集視頻信息和圖像信息得到,也可以直接將高分辨率視頻信息進行關鍵幀提取得到高分率圖像信息,然后將原始高分辨率視頻信息壓縮得到低分辨率視頻信息。基于低分辨率視頻信息和關聯的高分率圖像信息,可以利用分辨率增強方法得到高清分辨率視頻信息。第四種是經過步驟3增強處理之后,存儲增強后的視頻信息,同時保存關鍵幀圖像信息,增強后視頻信息的獲取方式可以是前三種存儲方式的任意一種得到,關鍵幀圖像信息可以跟視頻信息同時保存在視頻序列中,也可以保存在照片列表中,建立視頻信息和圖像信息的關聯關系。保存關 鍵幀圖像信息可以給用戶提供一些高清的圖像信息供用戶進行其他操作。存儲方式通過以下至少一項來設置:根據檢測到的設置操作來確定存儲方式;根據預先設置(如系統默認設置)來確定存儲方式;依據自適應存儲設置方式來自適應確定存儲方式。具體地,自適應存儲設置方式通過設備相關狀態、存儲設置歷史記錄數據中的至少一項來確定。設置操作通過用戶的語音、按鍵、按鍵、手勢、對外部控制器的操控來實現。設備相關狀態包括存儲空間、電量等設備信息。即針對如何設置第一存儲方式,本發明給出三種設置方法,終端設備可以根據以下三種中的一種來對第一存儲方式進行選擇。第一種是終端設備默認設置;第二種是終端設備接受用戶通過語音、按鍵或外部控制器等方式以及這些方式的組合來設備或更改存儲方式;第三種是終端設備通過存儲空間、電量或歷史數據自適應設置存儲方式。關于系統默認設置,終端設備設置四種存儲方式中的一種作為默認值,在終端設備沒有接收到更改存儲方式的指令前都使用該默認存儲方式對視頻和圖像進行存儲。關于用戶交互下的語音設置,例如終端設備預先設定語音指令“儲存增強后的視頻”,如果接收到該指令,則對聲控指令進行語音識別,確定設置存儲方式為存儲增強后的視頻信息。關于用戶交互下的按鍵設置,按鍵可以為硬件按鍵,例如音量上下鍵來對四種存儲方式進行選擇,home鍵來確定當前選擇的存儲方式為最終的存儲方式。按鍵也可以為虛擬按鍵,例如屏幕上的按鈕、菜單,交互界面上的虛擬鍵盤等,終端設備檢測到用戶點擊該虛擬按鍵的事件后,確認選擇的存儲方式。關于用戶交互下的手勢設置,終端設備預先設定某種手勢來選擇增強方式。手勢包括屏幕手勢,例如從左向右或者從右向左滑動屏幕來更換存儲方式。手勢還包括隔空手勢,包括搖晃/傾斜終端,搖晃/傾斜時的不同方向表示不同的含義,如上下搖晃更換存儲方式,左右傾斜來更換存儲方 式,上述手勢可以是單一的手勢,也可以是任意手勢的任意組合,例如右手橫向滑動選擇增強方式,同時上下搖晃表示確定當前選擇的存儲方式為最終的存儲方式。關于用戶通過外部控制器設置,外部控制器包括而不限于手寫筆、遙控器、智能手表、智能眼鏡、智能頭盔、智能衣服、或遠程設備等,這些控制器通過wifi和/或紅外和/或藍牙和/或網絡跟交互界面交通,例如,遙控器上某些按鍵代表設置不同的存儲方式,檢測到用戶點擊了按鍵,發送到交互控制系統,設置存儲方式。關于根據存儲空間的自適應設置,根據存儲空間,可以選擇不同的存儲方式,如果剩余存儲空間小于某一閾值,例如低于終端設備存儲空間的50%,則設置為第三種壓縮存儲方式;反之,如果剩余存儲空間高于某一閾值,例如高于終端設備存儲空間的50%,則存儲方式不受存儲空間影響。關于根據電量的自適應設置,可以根據電量控制存儲方式,當電量小于某一閾值,例如低于50%時,則選擇耗電量小的存儲方式,即第三種存儲方式,即直接存儲原始視頻信息和關鍵幀圖像信息者第二種存儲方式,即原始視頻和學習模型,不對視頻進行增強處理;當電量小于第二預定電量,例如低于15%時,則選擇耗電量最小的第三種存儲方式,即原始視頻信息和關鍵幀圖像信息;如果電量高于某一閾值,例如高于50%,則存儲方式不受電量影響。關于根據存儲設置歷史記錄數據的自適應設置,例如根據用戶以往設置的存儲方式,來對用戶喜好進行分析,設置為用戶偏好的存儲方式。步驟5,視頻的播放。響應于接收到的播放觸發操作,基于與存儲內容相匹配的播放方式對視頻信息進行播放;其中,播放方式包括以下至少一項:當存儲增強處理后的視頻信息時,直接播放增強處理后的視頻信息;當存儲采集到的視頻信息和圖像信息時,根據采集的圖像信息對采集的視頻信息進行增強處理后播放;當存儲采集到的視頻信息和增強模型時,通過增強模型對采集的視頻信息進行增強處理后播放;當存儲增強處理后的視頻信息和采集到的圖像信息時,將增強處理后的視頻信息和采集到的圖像信息關聯播放。例如,終端設備根據檢測到的播放觸發操作,對存儲的視頻進行播放。方案一:該播放方式對應的存儲方式為存儲增強后的視頻信息。終端設備檢測到用戶打開視頻的操作,直接打開增強后的視頻信息。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,即可馬上進行視頻播放,這樣,用戶直接可以查看增強后的效果。方案二:該播放方式對應的存儲方式為存儲原始視頻信息和增強模型。終端設備檢測到用戶的打開操作,打開原始視頻信息和增強模型的組合。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,終端設備開始基于增強模型對原始視頻信息進行增強處理。在允許的緩沖時間內完成操作,然后播放增強后的視頻信息。方案三:該播放方式對應的存儲方式為存儲原始視頻信息和關鍵幀圖像信息。終端設備檢測到用戶的打開操作,打開原始視頻信息和拍攝的關鍵幀圖像信息組合。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,如果終端設備已經完成了增強處理,則可以直接播放視頻查看增強后的視頻信息。如果終端設備在后臺只是做了部分工作,沒有完成增強步驟,則接收到用戶點擊播放操作后需要時間緩沖來進行視頻增強,完成增強后開始播放增強后的視頻信息,用戶可以看到增強后的視頻信息。方案四:該播放方式對應的存儲方式為存儲增強后的視頻信息和關鍵幀圖像信息。終端設備檢測到用戶的打開操作,打開增強后的視頻信息和關鍵幀圖像信息的組合,增強的視頻信息的播放方式不僅包括了前三種的播放方式,而且基于關鍵幀圖像信息可以得到更多的播放方式。在建立視頻信息和圖像序列的關聯關系后,可以通過圖像序列鏈接到視頻信息,也可以通過視頻信息鏈接到圖像序列,通過長按關鍵幀圖像序列或者視頻播放按鈕完成這種圖像和視頻間的跳轉,也可以通過語音,手勢等設置來完成跳轉。方案五:終端設備檢測到用戶的打開操作,打開增強后的視頻和關鍵 幀的組合。在存儲時記錄每個關鍵幀在視頻中出現的位置,用戶可以通過點擊關鍵幀序列中的某張圖像鏈接到相應的視頻位置,從該位置開始播放視頻。可以但不限于長按視頻,出現關鍵幀序列,點擊序列中的某張圖像開始播放視頻。查看視頻時,呈現給用戶的是一個圖像組合,用戶可以點開圖像序列進行查看,然后點擊圖像進行視頻播放。方案六:終端設備檢測到用戶的打開操作,例如檢測到用戶點擊播放的操作,顯示緩沖標志,進行分辨率轉換,該轉換可以包括但不限于以下幾種方法:一是將整個視頻片段轉換成高分辨率視頻信息后從頭播放;二是緩沖一部分就開始播放,邊播放邊進行視頻轉換,受限于手機的處理能力,播放中可能會出現中斷來完成緩沖;三是可以點擊關鍵幀圖像信息中的某一張,只從該張圖像信息對應的視頻位置為起點之后的視頻片段進行轉換,緩沖方式可以是前兩種的任意一種,從圖像信息對應的視頻位置進行播放;四是用戶可以選擇播放低分辨率視頻信息進行查看,如果對視頻很感興趣,可以通過按鈕或者其他操作進行高分辨率視頻播放,選擇高分辨率播放后,可以按照前三種播放方法進行播放。也可以將壓縮視頻進行分享,減少手機能源消耗,在對方進行播放時可以進行多種播放選擇。實施例二:增強處理模式為圖像增強視頻模式中的顏色增強模式從視頻亮度和顏色增強方面來說,目前,終端設備在低光照情形下拍攝的視頻普遍亮度暗、質量差。現有技術大都是通過一些先驗模型對視頻進行處理,比如,設置非線性映射表,如圖2所示,對每幀圖像根據亮度信息計算得到該幀圖像的直方圖均衡映射表,根據預設映射表以及計算得到的映射表加權得到一個轉換曲線,根據這一曲線對視頻幀中的像素點亮度進行調整來對視頻幀進行增強。另一種方式為對視頻進行伽馬校正進行預處理得到視頻的傳輸參數,使用改進的圖像退化還原模型根據原始視頻和預處理得到的傳輸參數處理得到最終的增強結果。上述方法都是基于視頻自帶信息來進行增強的,增強強度要通過人為設置參數來進行調整。在視頻亮度及顏色調整方面,利用一些預設的映射曲線對視頻中每幀圖像進行調整可以達到亮度顏色的變化,但是其變化的基礎也受限于預設的參數, 而且變化趨勢是否適用于各種場景也有待斟酌。在不同的光照條件下,調節的參數需要自適應的進行調整,預設的映射曲線有可能會出現不真實的變化結果,比如夜間拍攝的視頻被調整的過亮或者一些圖像區域顏色失真。該實施例的基本流程為:首先開啟圖像增強視頻模式中的顏色增強模式,啟動兩個攝像頭分別采集圖像信息和視頻信息;其次,設置主、輔攝像頭,設置攝像頭的采集參數和增強策略參數,以及設置關鍵幀圖像信息的選取,同時根據增強策略參數和關鍵幀圖像信息對視頻進行顏色增強,最后對采集結果進行壓縮、傳輸和播放。步驟1:開啟圖像增強視頻模式中的顏色增強模式。在本實施例中,步驟1采用與實施例一中類似的開啟方式,區別在于開啟功能的指令描述內容,例如,語音開啟中的指令為“啟動增強視頻顏色”,按鍵開啟的指令為長按home鍵,虛擬按鍵中增強視頻顏色的按鈕,手持開啟指令為搖晃終端等,在此不再贅述。步驟2:使用雙目攝像頭的一個攝像頭拍攝圖像信息,另一個攝像頭拍攝視頻信息。該步驟主要包括采集參數及增強策略參數的設置,主、輔攝像頭的設置,采集圖像和視頻的參數設置,以及關鍵幀圖像信息的選取。步驟2.1,設置主、輔攝像頭。在本實施例中,設置主、輔攝像頭的方式可以采用實施例一步驟2.1中類似的設置主、輔攝像頭方式,在此不再贅述。步驟2.2,設置攝像頭的采集參數和增強策略參數。在本實施例中,設置攝像頭的采集參數和增強策略參數的方式可以采用實施例一步驟2.2中類似的設置采集參數和增強策略參數的方式,在此不再贅述。步驟2.3,自適應設置關鍵幀采集頻率。在本實施例中,關鍵幀的選取方式可以采用實施例一步驟2.3中類似的關鍵幀選取方式,在此不再贅述。步驟3,對視頻信息進行顏色增強處理。以關鍵幀為界限將視頻劃分為一個個片段,用片段兩側的關鍵幀圖像 對該視頻片段進行增強。顏色增強方式包括而不限于以下兩種:一種基于多視圖重建的方法,一種基于機器學習的方法。關于基于多視圖重建的顏色增強,以多視圖重建方法建立視頻像素和圖像像素的匹配關系,用圖像像素來替換生成視頻像素。關于基于機器學習的顏色增強,在關鍵幀處以機器學習方式建立視頻像素和圖像像素的映射模型,在非關鍵幀處以該映射模型來轉換視頻像素。步驟4,視頻的存儲。在本實施例中終端設備生成四類數據:采集的原始視頻信息、關鍵幀圖像信息、顏色增強模型和增強后的視頻信息。針對不同的數據類型,存儲方式包括而不限于以下四種。本實施例中的四種存儲方式和實施例一中步驟4介紹的四種存儲方式相同,在此不再贅述。設置存儲方式的方法采用與實施例一中步驟4類似的設置方法,不同的是該增強模式不改變視頻分辨率,在四種存儲方式中,第一種存儲增強后的視頻信息占用空間最小,當存儲空間小于某一閾值,例如小于終端設備存儲空間的50%,則設置第一種存儲方式。其他設置方法相同,在此不再贅述。步驟5,視頻的播放。在對雙目攝像頭采集的數據進行壓縮、存儲和傳輸后,在播放階段中解壓并播放高質量視頻信息。針對不同的存儲方式,其播放方式包括而不限于實施例一中步驟5介紹的前五種中的一種,五種播放模式與實施例一步驟5中前五種描述相同,在此不再贅述。實施例三:增強處理模式為圖像增強視頻模式中的亮度增強模式該實施例的基本流程為:首先開啟圖像增強視頻模式中的亮度增強模式,啟動兩個攝像頭分別采集圖像信息和視頻信息,其次設置攝像頭的采集參數和增強策略參數,以及設置關鍵幀圖像信息的選取,同時根據增強策略參數和關鍵幀圖像信息對視頻進行亮度增強,最后對采集結果進行壓縮、傳輸和播放。步驟1:開啟圖像增強視頻模式中的亮度增強模式。在本實施例中,步驟1的開啟方式采用實施例一中類似的開啟方式,區別在于開啟功能的指令描述內容,例如,語音開啟中的指令為“啟動增強視頻亮度”,按鍵開啟的指令為長按end鍵,虛擬按鍵中增強視頻亮度的按鈕,手持開啟指令為抖動終端等,在此不再贅述。步驟2:使用雙目攝像頭的一個攝像頭拍攝圖像信息,另一個攝像頭拍攝視頻信息;該步驟主要包括采集參數及增強策略參數的設置,主、輔攝像頭的設置,采集圖像和視頻的參數設置,以及關鍵幀圖像信息的選取。步驟2.1,設置主、輔攝像頭。在本實施例中,設置主、輔攝像頭的方式可以采用實施例一步驟2.1中類似的設置主、輔攝像頭的方式,在此不再贅述。步驟2.2,設置攝像頭參數和增強策略參數。在本實施例中,設置攝像頭的采集參數和增強策略參數的方式可以采用實施例一步驟2.2中類似的設置采集參數和增強策略參數的方式,在此不再贅述。步驟2.3,選取關鍵幀。在本實施例中,關鍵幀的選取方式可以采用實施例一步驟2.3中類似的關鍵幀選取方式,在此不再贅述。步驟3,對視頻進行亮度增強。亮度增強在lab顏色模型的l通道,或者hsv顏色模型的v通道中執行,首先將圖像或視頻進行顏色空間轉換,然后提取l或者v通道分量進行獨立增強。以關鍵幀為界限將視頻劃分為一個個視頻片段,用視頻片段兩側的關鍵幀圖像對該視頻片段進行增強。增強方式包括而不限于以下兩種:一種基于多視圖重建的方法,一種基于機器學習的方法。關于基于多視圖重建的亮度增強,以多視圖重建方法建立視頻像素和圖像像素的匹配關系,用圖像像素亮度來替換生成視頻像素亮度。關于基于機器學習的亮度增強,在關鍵幀處以機器學習方式建立視頻像素亮度和圖像像素亮度的映射模型,在非關鍵幀處以該映射模型來轉換 視頻亮度。步驟4,視頻的存儲。在本實施例中終端設備生成四類數據:采集的原始視頻信息、關鍵幀圖像信息、亮度增強模型和增強后的視頻信息。針對不同的數據類型,存儲方式包括而不限于以下四種。本實施例中的四種存儲方式和實施例二中步驟4介紹的四種存儲方式相同,在此不再贅述。步驟5,視頻的播放。在本實施例中,視頻的解壓播放的方式可以采用實施例二步驟5中相同的視頻播放的方式,在此不再贅述。實施例四、增強處理模式為圖像增強視頻模式中的去噪增強模式從視頻去噪和去模糊方面來說,由于視頻每幀曝光時間很短,視頻噪聲較圖像噪聲更多。現有技術大都采用圖像去噪的方法對視頻幀進行降噪處理,最終實現視頻去噪的目的。假定噪聲類型為高斯噪聲,通過一些濾波方法對噪聲進行去除,也有使用字典學習的方法對噪聲進行去除。導致視頻模糊可能有以下幾個因素:1)手持手機拍攝視頻時,由于手的抖動會導致畫面模糊;2)降噪處理使得一些區域變得模糊;3)聚焦不準造成的散焦模糊等。現有技術大都是對模糊圖像的模糊核進行估計,利用得到的模糊核對模糊圖像進行反卷積得到清晰圖像;如圖3所示。同樣的拍攝環境下,相比于圖像信息,視頻幀視頻畫面噪聲比較明顯,本實施例通過具有相似內容的高質量關鍵幀圖像信息來對低質量視頻片段進行去噪來提高視頻質量。具體實施步驟如下:步驟1:開啟圖像增強視頻模式中的去噪增強模式。在本實施例中,步驟1采用與實施例一中類似的開啟方式,區別在于一些指令描述和閾值設置的不同,具體區別描述如下。在用戶開啟視頻去噪模式中使用不同的指令描述,例如,語音開啟中的指令為“啟動視頻去噪”,按鍵開啟的指令為長按home鍵,虛擬按鍵中視頻去噪的按鈕,手持開啟指令為搖晃終端等,在此不再贅述。在終端設備根據設備相關狀態和模式開啟歷史記錄數據自適應開啟模式中使用不同的閾值設置,例如,電量閾值,次數閾值等。其他描述方式相同,在此不再贅述。在終端設備自適應模式匹配方式自適應開啟視頻去噪增強模式中給出三種方法,一種方法是終端設備利用已有方法對拍攝到的環境進行檢測,如果拍攝環境被檢測為低光照環境,例如夜景拍攝,則開啟去噪增強模式;第二種方法是終端設備對相機拍攝參數進行檢測,如果感光度高于某一閾值,則開啟去噪增強模式;第三種可以是前兩種方法的組合,兩個條件同時滿足則開啟去噪增強模式,即拍攝環境中光照強度低于某一閾值,且感光度高于某一閾值則開啟去噪增強模式。在終端設備根據實時采集內容自適應開啟視頻去噪模式中計算拍攝幀的信噪比,信噪比低于某一閾值則開啟視頻去噪模式。步驟2:使用雙目攝像頭的一個攝像頭拍攝圖像,另一個攝像頭拍攝視頻。該步驟主要包括采集參數及增強策略參數的設置,主、輔攝像頭的設置,采集圖像和視頻的參數設置,以及關鍵幀圖像信息的選取。步驟2.1,設置主、輔攝像頭。在本實施例中,設置主、輔攝像頭的方式可以采用實施例1步驟2.1中類似的設置主、輔攝像頭的方式,在此不再贅述。步驟2.2,設置攝像頭的采集參數和增強策略參數。在本實施例中,設置攝像頭的采集參數和增強策略參數可以采用實施例一步驟2.2中類似的設置攝像頭的采集參數和增強策略參數方式,在此不再贅述。除了前述的參數設置方式,本實施例針對去噪模式提出了新的參數設置方法。在本實施例中是利用雙目攝像頭中一個采集圖像信息,一個采集視頻信息,對視頻信息進行去噪。在此主要是對圖像采集的分辨率,曝光時間,感光度進行設置,出于節能以及算法設計兩方面的考慮,輔攝像頭采集圖像信息的分辨率應與視頻信息的分辨率設置保持一致,如果圖像信息的最低分辨率比當前視頻信息的分辨率高,則采用圖像信息的最低分辨率進行采集。 如果在電量允許的前提下,曝光時間可以根據終端設備運動狀態進行調整。如果終端設備內部傳感器檢測到終端設備處于平穩的拍攝狀態,則提高曝光時間,例如取曝光時間范圍中的最大值,提高圖像信息和視頻信息亮度,降低噪聲干擾;如果傳感器檢測到終端設備存在抖動或者其他運動趨勢,則適當減少曝光時間,避免圖像信息出現模糊,影響視頻信息去噪效果。步驟2.3,選取關鍵幀圖像信息。在本實施例中,關鍵幀選取方式可以采用實施例一步驟2.3中類似的關鍵幀選取方式,在此不再贅述。針對去噪模式,本實施給出新的關鍵幀圖像信息選取方式。如果光照強度越低,則關鍵幀采集頻率提高,反之光照強度越高,則降低關鍵幀采集頻率;利用終端設備自身傳感器檢測終端設備運動狀態,如果運動幅度大于某一閾值,則提高采集頻率,以保證得到足夠的高質量關鍵幀圖像。如果關鍵幀采集時終端設備出現運動,則在運動結束時采集另一張關鍵幀圖像信息作為前一幀關鍵幀圖像信息的備選,當前一幀關鍵幀圖像信息出現模糊時,則可以利用備選關鍵幀圖像信息對視頻片段進行去噪,以保證去噪效果。步驟3:使用關鍵幀序列去除視頻的噪聲。當需要增強的指標包括噪聲時,增強處理的方式包括基于字典重構的方式,和/或基于深度學習的方式。在原始視頻信息中檢測到待處理的模糊幀時,確定對待處理的模糊幀進行去模糊增強處理;其中,通過以下至少一種信息來檢測待處理的模糊幀:多媒體采集設備的運動狀態;在原始視頻信息中對焦失敗的幀;通過分類器對原始視頻信息進行分類的分類結果。具體地,每一個高質量關鍵幀對應一個視頻子序列,假設視頻關鍵幀1,其對應的視頻子序列中包含60幀,利用相鄰的1幀或者多幀關鍵幀圖像對視頻進行去噪,例如用關鍵幀1對這60幀圖像進行去噪,去噪的方式包括但不限于以下方式之一:一種是基于字典重構的方法,如nlm(nonlocalmeans)算法;一種是基于深度學習的方法,如卷積神經網絡cnn(convolutionalnetwork)。與傳統去噪方法相比,本實施例使用一個參考圖像,即關鍵幀圖像,對噪聲視頻進行去噪,針對這一個特性,對現有方法進行了改進。下面對上述兩種方法進行詳細介紹。1)基于字典重構的方法,即改進的nlm如果輸入的關鍵幀圖像與視頻幀圖像的分辨率不一致,首先將關鍵幀圖像與視頻的尺度進行統一,將視頻進行放縮或者關鍵幀圖像進行放縮,或者同時對視頻和關鍵幀圖像進行放縮,使得關鍵幀圖像和視頻具有相同的尺寸。利用立體匹配的方法計算關鍵幀圖像與視頻片段中每幀的視差,對視頻幀中的像素和關鍵幀圖像的像素進行對齊,即圖像間一致性像素的位置關系。如果輸入的關鍵幀圖像和視頻幀圖像的分辨率一致,則直接利用立體匹配的方法計算視差進行圖像對齊。在得到關鍵幀圖像和視頻幀圖像像素間的位置關系后,在圖像間查找相似塊。對于每個視頻幀,以該幀圖像中一個像素點為中心取一個大小為a*a的像素塊p,其中a可以預先設定,也可以根據圖像大小或者其他因素進行自適應調整。基于得到的視頻幀與關鍵幀圖像一致性像素間的位置關系,找到視頻幀中該像素在關鍵幀圖像中的位置,以該位置為中心,取b*b大小的鄰域,其中b可以預先設定,也可以根據圖像大小等其他因素進行自適應調整。以該鄰域塊中的每個像素為中心取一個大小為a*a像素塊q,一共可以得到b*b個像素塊,計算像素塊p與b*b個像素塊間的距離,距離計算公式可以采用但不限于歐式距離平方和,即塊間相同位置的像素值差的平方和為,如a取值8,像素塊距離即為低質量像素塊中64個像素與關鍵幀像素塊中64個像素值差的平方和。如果距離小于某一閾值則認為兩個像素塊相似。找到的所有小于該閾值的相似塊,標記為集合ω。然后需要計算相似塊的權重,根據這些相似塊的距離計算每塊的權重w,距離越大權重越小,反之則越大。權重可采用但不限于高斯函數來計算。最后,利用這些相似的像素塊對高噪聲的像素塊進行重建,即對相似塊進行加權平均,在此也可以對原始像素塊分配一定權重,在重構中占有一定比例來保證重構后的像素塊與原始像素塊的一致性。對視頻幀中的每個像素都按此方法進行基于塊重構的方法進行重新估計來達到對每張視頻幀的去噪,對視頻片段中的每幀去噪來對整個視頻片段進行去噪。由于關鍵幀圖像與視頻幀存在視差,有些視頻幀的像素在關鍵幀中找不到對應的像素,對于這些像素也就沒有辦法在高質量的圖像中查找相似的像素塊進行重構。對于這些像素點,可以采用最初的nlm方法在自身所在的視頻幀中查找相似像素塊重構進行去噪處理。同時為了節省處理時間,可以考慮視頻幀間的關系,如果視頻片段中幀間內容變化不大,則可以同時對多個視頻幀中像素進行重構,即不同幀中相同的像素點可以利用統一的相似像素塊進行重構,達到對多個像素點同時去噪的效果。2)基于深度學習的方法如果輸入的關鍵幀圖像與視頻幀圖像的分辨率不一致,與第一種方法中采取一樣的步驟對關鍵幀圖像與視頻的尺度進行統一。利用立體匹配的方法計算關鍵幀圖像與視頻片段中每幀的視差,對視頻幀中的像素和關鍵幀圖像的像素進行對齊。根據對齊結果,對關鍵幀圖像和視頻幀進行裁剪,得到一對具有相同尺寸,相同內容的圖像對,一張從關鍵幀圖像中裁剪得到的無噪聲圖像,另一張從視頻幀圖像中裁剪得到的噪聲圖像,兩張圖像同一位置中的像素點內容一致,但是一個是來自高質量的關鍵幀圖像,稱為無噪聲的像素點,一個是來自低質量的視頻幀圖像,稱為噪聲像素點。基于多對圖像,取對應的像素塊,可以得到很多對像素塊。基于這些像素塊,利用現有的基于深度學習的方法,訓練得到一個具有去噪功能的卷積網,對視頻幀中的像素塊進行去噪。該模型可以線下采集大量樣本訓練得到一個初始模型預裝在終端設備中,然后再利用得到的圖像對,對該模型進行修正,來對視頻幀進行去噪;也可以在線訓練一個模型對視頻幀進行去噪。步驟4:視頻的存儲。在本實施例中終端設備生成四類數據:采集的原始視頻信息、關鍵幀圖像信息、去噪增強模型和增強后的視頻信息。針對不同的數據類型,存儲方式包括而不限于以下四種。本實施例中的四種存儲方式和實施例二中步驟4介紹的四種存儲方式相同,在此不再贅述。設置存儲方式的方法采用與實施例二中步驟4相同的設置方法,在此不再贅述。步驟5,視頻的播放。在對雙目攝像頭采集的數據進行壓縮、存儲和傳輸后,在播放階段中解壓和瀏覽高質量視頻。針對不同的存儲方式,其播放方式包括而不限于實施例二中步驟5介紹的五種中的一種,五種播放模式與實施二步驟5中描述相同,在此不再贅述。實施例五、增強處理模式為圖像增強視頻模式中的去模糊增強模式在拍攝視頻時,多種因素會導致畫面模糊,主要有:1)手持終端設備拍攝中手的抖動,2)運動物體導致的畫面模糊,3)對焦失敗導致的目標區域模糊。本實施例通過雙目攝像頭中的一個攝像頭采集圖像,另一個攝像頭采集視頻,利用圖像對視頻進行去模糊,得到一個高質量的視頻。具體步驟如下:步驟1:終端設備確定需要使用雙目攝像頭實現圖像輔助視頻去模糊,開啟像增強視頻模式中的去模糊增強模式。在本實施例中,步驟1采用與實施例一中類似的開啟方式,區別在于一些指令描述和閾值設置的不同,具體區別描述如下:在用戶開啟去模糊增強模式中使用不同的指令描述,例如,語音開啟中的指令為“啟動視頻去模糊”,按鍵開啟的指令為長按home鍵,虛擬按鍵中視頻去模糊的按鈕,手持開啟指令為搖晃終端等,在此不再贅述。在終端設備根據設備相關狀態和模式開啟歷史記錄數據自適應開啟模式中使用不同的閾值設置,例如,電量閾值,次數閾值等。其他描述方式相同,在此不再贅述。在終端設備根據采集環境(即拍攝環境)和參數自適應開啟視頻去模糊增強模式中給出三種方法,一種方法是終端設備利用已有方法對拍照終端運動趨勢進行檢測,如果拍攝終端處于運動狀態,如手持終端手的抖動引起的拍攝終端的抖動,則開啟視頻去模糊增強模式;第二種方法是終端設備對拍攝參數進行檢測,如果視頻采集曝光時間高于某一閾值,例如,高于300ms,則開啟視頻去模糊增強模式;第三種可以是前兩種方法的組合,兩個條件同時滿足則開啟視頻去模糊增強模式,即拍攝終端處于運動狀態,且曝光時間 高于某一閾值則開啟視頻去模糊增強模式。在終端設備根據實時采集的相關內容自適應開啟視頻去模糊增強模式中計算拍攝幀的模糊度指標,低于某一閾值則開啟視頻去模糊增強模式。步驟2:使用雙目攝像頭的一個攝像頭拍攝圖像,另一個攝像頭拍攝視頻。該步驟主要包括采集參數及增強策略參數的設置,主、輔攝像頭的設置,采集圖像和視頻的參數設置,以及關鍵幀圖像信息的選取。步驟2.1,設置主、輔攝像頭。在本實施例中,設置主、輔攝像頭的方式可以采用實施例一步驟2.1中類似的設置主、輔攝像頭的方式,在此不再贅述。步驟2.2,設置攝像頭的采集參數和增強策略參數。在本實施例中,設置攝像頭的采集參數和增強策略參數可以采用實施例一步驟2.2中類似的設置攝像頭的采集參數和增強策略參數方式,在此不再贅述。除了前述參數設置方式,本實施列針對去模糊模式提出了新的設置方法。在本實施例中是利用雙目攝像頭中的一個攝像頭采集圖像,一個攝像頭采集視頻,對視頻進行去模糊。在此主要是對圖像采集的分辨率,曝光時間,感光度進行設置,出于節能以及算法設計兩方面的考慮,輔攝像頭采集圖像的分辨率應與視頻的分辨率設置保持一致,如果圖像的最低分辨率比當前視頻的分辨率高,則采用圖像的最低分辨率進行采集。如果拍照環境亮度正常,或者高于某一閾值,則縮短視頻和圖像曝光時間,適當提高感光度,降低出現畫面模糊的概率;如果終端設備傳感器檢測到終端設備存在抖動或者其他運動趨勢,則適當減少曝光時間,避免圖像出現模糊,影響視頻去模糊效果。步驟2.3,選取關鍵幀圖像信息。在本實施例中,關鍵幀圖像信息選取方式可以采用實施例一步驟2.3中類似的關鍵幀圖像信息選取方式,在此不再贅述。針對去模糊模式,本實施給出新的關鍵幀選取方式。如果曝光時間變長,視頻出現模糊的概率變高,則關鍵幀采集頻率提高,反之曝光時間變短,則降低關鍵幀采集頻率;利用終端設備自身傳感器檢測終端設備運動狀態,如 果關鍵幀采集時終端設備出現運動,則在運動結束時采集另一張關鍵幀作為前一幀關鍵幀的備選,當前一幀關鍵幀出現模糊時,則可以利用備選關鍵幀對視頻片段進行去模糊,保證了去模糊的效果。步驟3:使用關鍵幀序列去除視頻的模糊。當需要增強的指標包括模糊時,增強處理的方式包括基于模糊核估計的方式,和/或基于深度學習的方式。在采集到的視頻信息中檢測到待處理的模糊幀時,確定對待處理的模糊幀對應的模糊指標進行增強處理;其中,通過以下至少一種信息來檢測待處理的模糊幀:采集視頻幀時的設備運動狀態;采集視頻幀時的對焦信息;通過分類器對采集的視頻信息進行分類的分類結果。具體地,首先需要判斷哪些視頻幀畫面出現模糊,可以采用但不限于以下三種方案中的一種:一,根據終端設備內置傳感器監測終端設備自身的運動狀態,如果運動幅度大于某一閾值則判定在此時間段拍攝的視頻幀為待處理的模糊幀;二,檢測對焦失敗的幀,如果用戶指定了焦點區域,拍攝中間焦點發生移動,即焦點沒有對準目標區域,則認為該目標區域為待處理的模糊區域;三,通過機器學習的方法,利用大量的模糊圖像與清晰圖像訓練得到一個分類器,用得到的分類器對視頻幀進行分類,被歸類到模糊圖像的視頻幀就是待處理的模糊幀。如果檢測到模糊幀,則對這些模糊幀進行去模糊處理。首先找到與這些視頻幀內容相似的且清晰的關鍵幀圖像,去模糊的方式包括但不限于以下兩種。一種是基于模糊核估計的方法,一種是基于深度學習的方法。與傳統去模糊方法相比,本實施例使用一個參考圖像,即關鍵幀圖像信息,對模糊的視頻信息進行去模糊,針對這一個特性,對現有方法進行了改進。下面對上述兩種方法進行詳細介紹。1)基于模糊核估計如果輸入的關鍵幀圖像與視頻幀圖像的分辨率不一致,與去噪方法中采取一樣的步驟對關鍵幀圖像與視頻的尺度進行統一。利用立體匹配的方法計 算關鍵幀圖像與視頻片段中每幀的視差,對視頻幀中的像素和關鍵幀圖像的像素進行對齊。根據對齊結果,對關鍵幀圖像和模糊的視頻幀進行裁剪,得到一對具有相同尺寸,相同內容的圖像對,一張從關鍵幀圖像中裁剪得到的干凈圖像,另一張從視頻幀圖像中裁剪得到的模糊圖像。可以裁剪一張大尺寸的圖像對,可以裁剪多對小尺度的圖像對。利用最小二乘優化方法或者其他優化方法來對每隊圖像來估計模糊核,如果多對圖像則可以估計得到多個模糊核。如果得到一個模糊核,利用該模糊核對該幀圖像進行去模糊;如果得到多個模糊核,可以多個模糊核加權平均得到一個平均的模糊核,利用該模糊核對該幀圖像進行去模糊。考慮到視頻幀的連續性,如果連續的幾幀圖像都需要去模糊處理,本實施例給出兩種處理方式。一種是分別對每張圖像進行上述去模糊操作;一種是挑選幾幀不連續的圖像來估計模糊核,即每兩幀圖像之間隔了幾幀模糊圖像,如果挑選出的最近得兩幀估計得到的模糊核相似則可以認為這兩幀之間的圖像也是有相似的模糊核導致的,則可以使用同樣的模糊核進行去模糊。如果兩幀的模糊核相似性不高,則需挑選之間的幀中的一幀或者幾幀重新計算模糊核進行去模糊。為了盡量減少計算時間,盡可能減少計算核的次數,可以采用二分的方法,但不限于該方法,選取關鍵幀來計算模糊核,如果二分區間兩頭的模糊核相似,則可以同時將區間中的視頻幀用統一的模糊核進行去模糊,如果二分區間兩頭的模糊核不相似,則繼續將區間進行二分,依此進行下去,直到對所有視頻幀完成去模糊處理。2)基于深度學習的方法預處理方法跟第一種方法中采取一樣的步驟,將關鍵幀圖像與視頻的尺度進行統一。利用立體匹配的方法對視頻幀中的像素和關鍵幀圖像的像素進行對齊。根據對齊結果,對關鍵幀圖像和視頻幀進行裁剪,得到一對具有相同尺寸,相同內容的圖像對,一張從關鍵幀圖像中裁剪得到的干凈圖像,另一張從視頻幀圖像中裁剪得到的噪聲圖像。基于多對圖像,或者將多對圖像中提取對應的像素塊,可以得到很多對像素塊。基于這些像素塊對或者圖像對,利用現有的基于深度學習的方法,訓練得到一個具有去模糊功能的卷積網,對視頻幀進行去模糊。該模型可以線下采集大量樣本訓練得到一個初始 模型預裝在終端設備中,然后再利用得到的圖像對,對該模型進行修正,來對視頻幀進行去模糊;也可以在線訓練一個模型對視頻幀進行去模糊。步驟4:視頻的存儲。在本實施例中終端設備生成四類數據:采集的原始視頻信息、關鍵幀圖像信息、去模糊增強模型和增強后的視頻信息。針對不同的數據類型,存儲方式包括而不限于以下四種。本實施例中的四種存儲方式和實施例二中步驟4介紹的四種存儲方式相同,在此不再贅述。設置存儲方式的方法采用與實施例二中步驟4相同的設置方法,在此不再贅述。步驟5,視頻的播放。在對雙目攝像頭采集的數據進行壓縮、存儲和傳輸后,在播放階段中解壓和瀏覽高質量視頻。針對不同的存儲方式,其播放方式包括而不限于實施例二中步驟5介紹的五種中的一種,五種播放模式與實施二步驟5中描述相同,在此不再贅述。實施例六:多模式聯合的圖像增強視頻模式(聯合增強模式)本方法還包括:確定在分辨率增強模式、顏色增強模式、亮度增強模式、去噪增強模式及去模糊增強模式中的至少兩種增強模式的聯合增強模式,并確定與至少兩種增強模式相應的模式增強順序。通過以下至少一項來確定聯合增強模式及相應的模式增強順序的方式包括以下至少一項:系統默認設置;自適應模式設置方式;模式設置觸發操作。其中,自適應模式設置方式通過設備相關狀態、模式設置歷史記錄信息、多媒體采集設備實時采集的相關內容及各個增強模式之間的影響關系中的一項或多項信息來確定;其中,多媒體采集設備實時采集的相關內容包括場景亮度、語義內容中的至少一項。模式設置觸發操作通過與用戶交互下的語音、按鍵、手勢、通過外部 控制器等來實現。如前所述,圖像增強視頻模式包括分辨率、顏色、亮度、去噪和去模糊增強。本實施例用圖像對視頻的這五個模式進行聯合增強,基本流程為:首先開啟多模式聯合的視頻增強,其次設置主、輔攝像頭分別采集圖像信息和視頻信息,并設置攝像頭的采集參數、增強策略參數、選取關鍵幀圖像信息和選取待增強的模式,同時根據增強策略參數、關鍵幀圖像信息和增強模式對視頻進行增強,最后將采集結果壓縮、傳輸和播放。步驟1:開啟多模式聯合的視頻增強在本實施例中,開啟方式采用實施例一步驟1中類似的開啟方式,區別在于開啟功能的指令描述內容,例如,語音開啟中的指令為“啟動視頻多模式聯合增強”,按鍵開啟的指令為按f1鍵,虛擬按鍵為多模式聯合增強的按鈕,手持開啟指令為屏幕畫圓等,在此不再贅述。步驟2:使用雙目攝像頭中的一個攝像頭拍攝圖像,另一個攝像頭拍攝視頻。該步驟包括設置主、輔攝像頭,設置攝像頭的采集參數和增強策略參數,選取關鍵幀圖像信息,以及選取待增強的模式和模式增強順序。步驟2.1,設置主、輔攝像頭。在本實施例中,設置主、輔攝像頭的方式可以采用實施例一步驟2.1中類似的主、輔攝像頭設置方式,在此不再贅述。步驟2.2,設置攝像頭的采集參數和增強策略參數。在本實施例中,攝像頭的采集參數和增強策略參數的設置方式可以采用實施例一步驟2.2中類似的采集參數和增強策略參數的設置方式,在此不再贅述。步驟2.3,選取關鍵幀圖像信息。在本實施例中,關鍵幀圖像信息的選取方式可以采用實施例一步驟2.3中類似的關鍵幀選取方式,在此不再贅述。步驟2.4,選取聯合增強的模式和模式增強順序。關于默認系統設置,終端設備默認設置增強某些模式和這些模式的增強順序,例如啟動時僅為開啟顏色增強和亮度增強,并且先進行顏色增強, 再進行亮度增強。關于用戶交互下的語音設置,例如,用戶預先設定語音指令“多模式聯合增強,開啟視頻顏色增強”,終端設備接受到該指令,則對聲控指令進行語音識別,確定開啟顏色增強功能,用戶再發出語音指令“多模式聯合增強,關閉視頻顏色增強”,終端設備接受到該指令,則確定關閉視頻顏色增強,其中,模式增強順序跟語音指令的發出順序一致。關于用戶交互下的按鍵設置,按鍵可以為硬件按鍵,例如f1表示開啟/關閉顏色增強,f2表示開啟/關閉亮度增強,f3表示開啟/關閉分辨率增強,f4表示開啟/關閉去模糊,f5表示開啟/關閉去噪。按鍵也可以為虛擬按鍵,例如屏幕上的按鈕、菜單,交互界面上的虛擬鍵盤等,系統檢測到用戶點擊該虛擬按鍵的事件后,確認開啟/關閉某一增強模式。用戶按下還可以結合按的壓力、速度、時間、頻率等多種特征信息表示不同的含義,例如輕按代表關閉某一增強模式,重按代表開啟某一增強模式。其中,模式增強順序跟用戶按鍵的點擊順序一致。關于用戶交互下的手勢設置,系統預先設定某一手持來開啟/關閉某一增強模式。手勢包括屏幕手勢,例如從左向右滑動屏幕表示開啟/關閉顏色增強,從右向左滑動屏幕代表開啟/關閉亮度增強。手勢還包括隔空手勢,包括搖晃/翻轉/傾斜終端,搖晃/翻轉/傾斜時的不同方向,角度,速度,力度可以表示不同的含義,如上下搖晃、左右搖晃、空著畫圓等,上述手勢可以是單一的手勢,例如左手橫向滑動表示開啟/關閉顏色增強,也可以是任意手勢的任意組合,例如右手橫向滑動并空著畫圓表示開啟/關閉分辨率增強。其中,視頻模式增強順序跟用戶手勢的控制順序一致。關于通過外部控制器的設置,外部控制器包括但不限于手寫筆、遙控器、智能手表、智能眼鏡、智能頭戴式設備、智能衣服、或遠程設備等,這些控制器通過wifi和/或紅外和/或藍牙和/或網絡跟終端設備通信,例如,遙控器上某些按鍵代表啟動不同增強模式,終端設備檢測到用戶點擊了按鍵,開啟/關閉其增強模式。其中,視頻模式增強順序跟外部控制器的指令發出順序一致。關于根據實時采集內容的自適應模式聯合增強,實時采集的內容包括 場景亮度、運動物體、語義內容等。可以根據場景亮度來開啟/關閉某些增強模式,例如檢測到場景光線偏暗,則啟動亮度、顏色、分辨率增強和去噪,當光線變亮,則關閉亮度、顏色、分辨率增強和去噪。可以根據運動物體來開啟/關閉某些增強模式,例如檢測到場景運動物體有/無模糊,則自動啟動/關閉去模糊模式,檢測到場景運動物體尺度小于一定閾值,例如運動物體長度小于圖像長度的1/10,則自動啟動分辨率增強模式。可以根據語義內容來開啟/關閉某些增強模式,例如檢測視頻場景從室內切換到室外,則開啟顏色增強以適應白平衡變化,例如檢測到視頻場景中有/無車輛、人體和文字,則開啟/關閉分辨率增強模式。關于根據實時采集的相關內容的自適應模式增強順序設置,如果終端設備自適應選擇了多個模式進行增強,需要對增強模式進行優先級排序,排序的原則是在該拍攝環境下,哪個模式更需要增強,即增強后對視頻質量的提升影響最大。例如在夜間光照不夠的情形下拍攝視頻,不考慮運動因素,則亮度增強模式的優先級最高,去噪模式的優先級次之,接下來是顏色增強,然后是去模糊,最后是分辨率增強;又例如在運動的拍攝環境下,光照強度正常,則去模糊優先級最高,其他增強模式可以根據其他條件進行排序;又如在更復雜的拍照環境下,既存在光照不足問題,還存在終端設備的運動,用戶可以對增強模式進行排序,也可以根據用戶的歷史數據對用戶關注的模式進行排序,用戶關注最多的模式排序越靠前。關于根據設備相關狀態的自適應設置,設備狀態包括電量、內存等。可以根據五個增強模式的電量消耗進行模式設定和增強排序,假設排序結果為分辨率>去模糊>去噪>顏色增強>亮度增強,如果電量小于第一閾值,例如50%,則不進行分辨率增強,如果電量小于第二閾值,例如40%,則不進行去模糊,如果電量小于第三閾值,例如30%,則不進行去噪,如果電量小于第四閾值,例如20%,則不進行顏色增強,如果電量小于第五閾值,例如10%,則不進行亮度增強。可以根據內存的自適應設置,例如根據五個增強模式的緩儲空間進行模式設定和增強排序,假設排序結果為分辨率>去模糊>去噪>顏色增強>亮度增強,如果內存小于第一閾值,例如500m,則不進行分辨率增強,如果內存小于第二閾值,例如400m,則不 進行去模糊,如果內存小于第三閾值,例如300m,則不進行去噪,如果內存小于第四閾值,例如200m,則不進行顏色增強,如果內存小于第五閾值,例如100m,則不進行亮度增強。關于根據模式設置歷史記錄信息的自適應設置,記錄所有增強模式被用戶選擇的次數,按照該次數進行優先級排序,例如,排序結果為分辨率>去模糊>去噪>顏色增強>亮度增強,當下次啟動時,優先進行分辨率增強,再進行去噪、去模糊、顏色增強和亮度增強。或者根據上一次拍攝時的增強模式來確定本次拍攝需要增強的模式。此外,五個增強模式之間存在影響關系,如表1所示。在表1中,“x”代表模式之間不相干,“o”代表模式a的增強會影響模式b的效果。考慮到模式之間的相關性,如果增強某一個模式,相關模式可以選擇性的不進行增強或者進行增強,例如如果增強分辨率,則視頻幀相比較清晰,可以不去模糊,如果夜景下亮度增強后,則噪聲也會相應變得明顯,則需要去噪。表1.增強模式之間的影響關系分辨率顏色亮度去噪去模糊分辨率-xxxo顏色x-xxx亮度xx-ox去噪oxx-o去模糊oxxx-步驟3,對視頻信息進行多模式聯合增強。在步驟2.4確定增強的模式后,該步驟對增強模式進行一一增強,在此考慮模式增強的順序,即對步驟2.4中選擇出的模式確定增強順序。然后以增強順序根據之前實施例一至五中的增強方法對選擇的增強模式一一進行處理即可。步驟4,視頻的存儲。在本實施例中,如果增強模式包括分辨率增強,則視頻存儲方式可以采用實施例一中步驟4中相同的視頻存儲方式,在此不再贅述。存儲方式的設置方法也與實施例一中步驟5中的設置方法相同,在此不再贅述。視頻的存儲方式可以采用實施例二中步驟4中相同的視頻存儲方式,在此不再贅述。存儲方式的設置方法也與實施例二中步驟5中的設置方法相同,在此不再贅述。步驟5,視頻的播放。在本實施例中,播放方式和存儲方式對應,如果增強模式包括分辨率增強,則視頻的播放方式采用實施例一步驟5中相同的視頻播放方式,在此不再贅述。如果增強模式不包括分辨率增強,則視頻播放方式采用實施例二步驟5中相同的視頻播放的方式,在此不再贅述。下面以一個具體實施例詳細介紹視頻聯合增強模式,該模式包括開啟步驟,模式增強步驟,參數設置步驟,存儲步驟,播放步驟。圖4中14個子步驟涵蓋了這五個步驟。步驟1):開始終端設備的照相機,進入拍照界面,通過語音控制,用戶說“開啟視頻增強”,終端設備接收到“開啟視頻增強”,終端設備進入視頻增強模式。步驟2):視頻增強模式開啟后,拍照界面上面出現紅色字體的“視頻增強模式”,下面出現“視頻增強”按鈕,用戶單擊該按鈕,進入增強模式選擇界面。步驟3):進入模式選擇界面,“視頻增強”字樣變成黃色字體,出現六個選項,分別對應“亮度”,“顏色”,“去噪”,“去模糊”,“分辨率”,“自動”。前五個選項分別對應不同的增強模式,用戶可以通過勾選一個或者任意多個來進行模式增強,也可以選擇最后一個“自動”讓終端設備根據拍照環境等其他因素自適應的選擇需要增強的模式。勾選完成后,再次單擊“增強模式”按鈕,進入攝像頭設置界面。步驟4):拍照界面顯示兩個攝像頭的采集畫面,用戶可以通過切換攝像頭查看拍照場景,用戶可自由設定哪個攝像頭為主攝像頭拍攝原始視頻,另外一個攝像頭為輔攝像頭拍攝關鍵幀照片。步驟5):選定攝像頭后,點擊設置按鈕,可以攝像頭進行采集參數設置,切換攝像頭,可以完成對兩個攝像頭采集參數的設置。采集參數包括但不限于曝光時間,感光度。完成采集參數設置后,單擊“錄像”按鈕,進入下一個步驟。步驟6):進入錄像界面,開始錄像,主攝像頭拍攝視頻,輔攝像頭開始拍攝關鍵幀照片。在錄像界面,完成拍攝后,用戶按下“停止”按鈕結束拍攝,通過不同的交互方式可以進行不同的存儲播放模式。單擊“停止”按鈕跳轉到圖中步驟7,直接存儲增強后的視頻;長按“停止”按鈕,跳轉到步驟10,存儲原始視頻信息和關鍵幀圖像信息。步驟7):視頻進行增強處理,界面右下角圖像框中顯示原始視頻信息,并顯示緩沖標志,提示用戶視頻增強的進度,增強完成,緩沖圖標消失,圖像框中顯示增強后的視頻信息。完成存儲后進入正常拍攝界面。步驟8):拍攝的視頻增強完成,且存儲在終端設備中,在進行下次拍攝前,右下角圖像框顯示最近時間內拍攝的視頻,可以點擊該圖像框對增強后的視頻信息進行查看。步驟9):進入視頻播放界面,點擊播放按鈕即進行視頻播放。步驟10):直接存儲原始視頻信息和關鍵幀圖像信息,右下角圖像框中顯示原始視頻信息。后臺會根據處理器使用情況來對視頻增強進行選擇性處理,如果處理器有空閑則對視頻進行增強處理。單擊右下角圖像框查看視頻。終端設備接到單擊指令后,首先判斷視頻增強是否完成,如果后臺完成了增強步驟,則跳轉到步驟11),如果后臺未完成增強步驟,則跳轉到步驟12)。步驟11):視頻增強已經完成,顯示增強后的視頻播放界面,單擊播放按鈕即可播放視頻。步驟12):視頻增強未完成,終端設備繼續對視頻進行增強,背景圖像可以顯示原始視頻信息,同時出現緩沖標志提示增強進度。增強完成后,緩沖圖標自動消失,跳轉到步驟13)。步驟13):顯示增強后的視頻播放界面,單擊播放按鈕進入步驟14)。步驟14):播放視頻。實施例七:手持終端中的多模式聯合的圖像增強視頻模式下面以一個具體實施例詳述手持智能終端中視頻聯合增強模式的執行流程。步驟1):用戶拿起手持智能終端,發出語音指令“開啟視頻增強”,手持智能終端啟動兩個攝像頭,默認某一側攝像頭a采集圖像,另一側攝像頭b采集視頻,如圖5所示。步驟2):如圖6(a)所示,通過預覽當前拍攝場景,手持智能終端檢測到場景為白天,設置白平衡為日光,檢測到場景亮度偏高,自適應設置圖像曝光度偏低,手持智能終端默認設置視頻采集頻率為30fps,尺寸為640*480,圖像尺寸為1920*1080,關鍵幀采集頻率設為1次/分鐘。步驟3):根據用戶在視頻增強主屏幕下的操作,手持智能終端響應于以下事件,包括:打開設置功能,然后在觸摸屏上選取白平衡設置,如圖6(b)所示,用滑動條滾動調整了白平衡,并調整曝光量,更改視頻采集頻率為25fps,關鍵幀采集頻率為2次/分鐘。步驟4):根據用戶點擊交互面板上的capture圖標的操作,如圖6(c)所示,智能終端啟動視頻采集,并且默認開始時的模式組合為亮度增強和顏色增強。步驟5):當場景中有一個快速移動的小孩,視頻幀出現了模糊,智能終端自適應地啟動了去模糊模式,并將關鍵幀采集頻率提升為4次/分鐘。步驟6):隨著小孩移動出畫面和視頻幀模糊消失,智能終端自適應地關閉了去模糊模式,并將關鍵幀采集頻率恢復為2次/分鐘。步驟7):此時,由于室外日光越來越亮手持智能終端檢測到亮度增強,從而自適應地減低了曝光量。步驟8):當用戶進入室內光線也隨之變暗,手持智能終端檢測亮度減弱,從而自適應地提高了曝光量。步驟9):用戶發出語音指令“啟動高動態范圍圖像”,手持智能終端將普通亮度采集切換為高動態范圍采集。步驟10):雖然光線再次變弱,視頻中出現大量噪聲,手持智能終端檢測到噪聲增強自適應地啟動了去噪模式。步驟11):這時,電量低于30%,手持智能終端自適應地關閉高動態范圍拍攝,當電量低于10%,手持智能終端又關閉了顏色增強模式,當電量低于5%,系統將關閉所有增強模式。步驟12):用戶發出語音指令“關閉視頻增強”,手持智能終端識別出聲控指令關閉了視頻增強,并壓縮存儲增強后的視頻;步驟13):此后,用戶每次打開該增強視頻,手持智能終端都識別并進行該視頻的播放觀看。實施例八:監控終端中的多模式聯合的圖像增強視頻模式在室外環境下,目前的監控設備往往具有采集分辨率低、采集亮度差,對光線敏感,陰雨天噪聲大等缺點。本實施例給出一種將單目監控攝像頭替換為雙目監控攝像頭的方案,并在后臺進行視頻質量增強處理,提高分辨率、顏色、亮度和去噪去模糊。在高速公路上搭建了一個雙攝像頭監控的智能終端設備,如圖7(a)所示,對過往車輛進行拍攝監控,其中一路攝像頭采集視頻,視頻尺寸固定為480*320,另一路攝像頭采集圖像,圖像尺寸固定為1920*1080,通過網絡將兩路數據傳輸到監控后端。監控后端有一臺處理器、一個顯示屏和一套控制面板,如圖6(b)所示,其中后臺處理器對兩路數據進行實時處理,顯示屏幕上展示當前監控視頻、已采集關鍵幀和虛擬控制面板,硬件控制面板包括鼠標和鍵盤等裝置,對參數、增強模式組合、關鍵幀選取進行設置。下面以一個實施例介紹監控情況下視頻質量增強方法。首先,操作員通過按鍵f1啟動“視頻增強”,根據場景情況執行以下步驟:步驟1),默認關鍵幀采集模式為系統自適應調整,如果操作員不進行設置,則跳轉到步驟2),否則,操作員通過虛擬控制面板設置關鍵幀采集模式是n幀/秒;步驟2),默認模式組合為分辨率增強和去模糊增強,如果操作員不 進行設置,則跳轉到步驟3),否則,操作員通過虛擬控制面板選取和組合五個增強模式。步驟3),顯示屏幕上實時顯示原始采集視頻、增強視頻以及一組最近采集的關鍵幀。顯示效果有三個:如圖6(c)所示的原始視頻,如圖6(d)所示的顏色增強和去噪增強,如圖6(e)所示的亮度增強。操作員通過菜單可以選取任意一種展示方式。步驟4),當監控終端發現場景有一個超速車輛,可以自適應提高關鍵幀采集率獲取更多高清晰圖像,可以調節圖像曝光量增減場景亮度,可以設置對焦區域為車輛車牌,可以選取白平衡來調整色差。步驟5),當拍攝場景為夜色、陰雨天,監控終端根據時間和亮度自適應啟動去噪和亮度增強模式。步驟6),每隔6個小時,監控終端將前6個小時采集的視頻、關鍵幀、模式增強組合方式、和設置參數壓縮存儲到數據庫中。步驟7),為了調用觀看之前存儲的數據,用戶通過數據庫查詢到某段數據,智能終端在顯示屏幕上展示增強前后的視頻和關鍵幀。實施例九、增強處理模式為視頻增強圖像模式中的去模糊增強模式當第一類多媒體信息為視頻信息,第二類多媒體信息為圖像信息時,獲取一個多媒體采集設備采集的圖像信息,以及另一多媒體采集設備依據設置的視頻幀采集頻率采集的與圖像信息相對應的視頻片段;其中,根據采集的第一類多媒體信息,對采集的第二類多媒體信息進行相應處理,具體包括:根據采集的視頻片段對采集的圖像信息對應的需要增強的指標進行增強處理。優選地,還包括:當檢測到采集圖像信息的多媒體采集設備進入預覽狀態時,或當檢測到采集圖像信息多媒體采集設備開始采集圖像信息時,另一多媒體采集設備依據設置的視頻幀采集頻率采集的與圖像信息相對應的視頻片段;當檢測到采集的視頻片段中的視頻幀數達到對應的上限值時,另一多媒 體采集設備停止采集視頻信息。其中,根據采集的視頻片段對采集的圖像信息對應的需要增強的指標進行增強處理,具體包括:在采集的視頻片段中確定視頻關鍵幀;基于模糊核估計的方式,根據視頻關鍵幀對采集到的圖像信息進行增強處理。優選地,通過自適應關鍵幀確定方式來確定視頻關鍵幀;其中,自適應關鍵幀確定方式通過畫面模糊程度、內容相似度、視頻幀質量中的一項或多項信息來確定。優選地,還包括:對采集到的圖像信息進行清晰度分析;若圖像信息屬于模糊圖像,則根據采集到的視頻片段對采集到的圖像信息對應的需要增強的指標進行增強處理;其中,需要增強的指標包括于模糊。當第一類多媒體信息為視頻信息,第二類多媒體信息為圖像信息時,根據采集的視頻信息對采集的圖像信息進行存儲處理,其中,存儲內容包括以下至少一種情形:根據采集的視頻信息對采集的圖像信息進行增強處理后的圖像信息;采集到的視頻信息和圖像信息;采集到的圖像信息以及采集到的視頻信息中用于對圖像信息進行增強處理的視頻關鍵幀;采集到的圖像信息和對圖像信息進行增強處理時的增強模型;根據采集的視頻信息對采集的圖像信息進行增強處理后的圖像信息以及采集到的視頻信息。可選地,響應于接收到的顯示觸發操作,基于與存儲內容相匹配的顯示方式對圖像信息進行顯示;其中,顯示方式包括以下至少一項:當存儲增強處理后的圖像信息時,直接顯示增強處理后的圖像信息;當存儲采集到的視頻信息和圖像信息時,根據采集的視頻信息對采集的圖像信息進行增強處理后顯示;當存儲采集到的圖像信息和進行增強處理的視頻關鍵幀時,根據視頻關鍵幀確定增強模型,并通過增強模式對采集的圖像信息進行增強處理后顯示;當存儲采集到的圖像信息和增強模型時,通過增強模型對采集的圖像信息進行增強處理后顯示;當存儲增強處理后的圖像信息和采集到的視頻信息時,將增強處理后的圖像信息和采集到的視頻信息關聯顯示。本實施例是通過雙目攝像頭中的一個攝像頭采集圖像,另一個攝像頭采集視頻,得到高質量圖像。為了拍一張高亮度清晰的圖像,用戶往往會采用長曝光拍照,在沒有三腳架固定的情況下,手持智能終端容易產生抖動,拍攝畫面會出現模糊。在拍照的同時啟動另一個攝像頭拍攝一小段視頻,視頻每幀曝光時間短,邊緣和紋理信息保持較好,而且相比于圖像,視頻是動態的,可以利用視頻的這一特性來對靜態圖像進行增強。通過視頻幀和照片可以估計出運動模糊核,進而對圖像進行去模糊,得到一張高亮度清晰的圖像。主要步驟如下。步驟1:開啟視頻增強圖像模式中的去模糊增強模式。在本實施例中,步驟1采用與實施例一中類似的開啟方式,區別在于一些指令描述和閾值設置的不同,具體區別描述如下。在用戶開啟圖像去模糊增強模式中使用不同的指令描述,例如,語音開啟中的指令為“啟動圖像去模糊”,按鍵開啟的指令為長按home鍵,虛擬按鍵中圖像去模糊的按鈕,手持開啟指令為搖晃終端等,在此不再贅述。在終端設備根據設備相關狀態和模式開啟歷史記錄數據自適應開啟模式中使用不同的閾值設置,例如,電量閾值,次數閾值等。其他描述方式相同,在此不再贅述。在終端設備根據拍攝環境和采集參數自適應開啟圖像去模糊模式中給出三種方法,一種方法是智能終端利用現有方法對終端設備運動趨勢進行檢測,如果拍攝終端設備處于運動狀態,如手持終端設備的手的抖動引起的手持終端設備產生抖動,則開啟圖像去模糊增強模式;第二種方法是終端設備對拍攝參數進行檢測,如果圖像采集的曝光時間高于某一閾值,例如高于300ms,則開啟圖像去模糊增強模式;第三種可以是前兩種方法的組合,兩個條件同時滿足則開啟圖像去模糊增強模式,即拍攝終端處于 運動狀態,且曝光時間高于某一閾值則開啟圖像去模糊增強模式。在終端設備根據實時采集的相關內容自適應開啟圖像去模糊模式中計算拍攝圖像的模糊度指標,低于某一閾值則開啟圖像去模糊模式,用于后續圖像的拍攝。步驟2:使用雙目攝像頭的一個攝像頭拍攝圖像,另一個攝像頭拍攝視頻。該步驟主要包括采集參數及增強策略參數的設置,主、輔攝像頭的設置,采集圖像和視頻的參數設置,以及視頻關鍵幀的選取。步驟2.1,設置主、輔攝像頭。在本實施例中,設置主、輔攝像頭的方式可以采用實施例一步驟2.1中類似的設置主、輔攝像頭的方式,在此不再贅述。在本實施中主攝像頭負責拍攝圖像,輔攝像頭負責拍攝視頻。步驟2.2,設置攝像頭的采集參數和增強策略參數本實施例中參數是雙目攝像頭采集圖像和視頻片段需要設置的參數,除了實施列一中提到的攝像頭的采集參數,增加了視頻幀采集頻率,即每秒采集的視頻幀數,以及圖像去模糊算法中的參數等。設置攝像頭的采集參數和增強策略參數可以采用實施例一類似的設置方式,不同的是增加了對視頻幀采集頻率的設置以及針對圖像去模糊進行的自適應參數調整,下面分別對新增加的設置方法進行介紹。關于終端設備的系統默認設置,將視頻幀采集頻率設置為某一默認值,在接收到修改視頻幀采集頻率指令之前視頻幀采集頻率設置為默認值,其他方式相同,在此不再贅述。關于用戶交互設置,對于視頻幀采集頻率,用戶可以通過語音,滑動條,按鍵,文本輸入等方式來設置視頻片段幀數。采集參數受到終端設備自身取值范圍的限制,用戶手動設置也需要在一定范圍內選擇,否則接收到終端設備發出的警告,具體內容在此不再贅述。關于根據環境的自適應設置,例如,終端設備檢測到拍攝終端處于運動狀態,則增加輔攝像頭采集的視頻幀采集頻率。關于根據電量的自適應設置,例如由電量控制視頻幀采集頻率,電量 小于某一閾值,例如,小于50%,則減少每秒采集的視頻幀的幀數,小于5%則固定幀數為最小值。關于根據存儲空間的自適應設置。根據存儲空間,可以調整視頻幀采集頻率,如果剩余存儲空間大于某一閾值,例如,大于終端設備總存儲空間的50%或者大于500m,則自動調整為高的視頻幀采集頻率,例如一秒30幀,反之,則調整為低的視頻幀采集頻率,例如一秒25幀。根據存儲空間,可以調整視頻幀采集頻率的多少,如果剩余存儲空間大于某一閾值,例如,大于終端設備總存儲空間的30%或者大于300m,則增加輔攝像頭采集的視頻幀采集頻率,反之則減少輔攝像采集的視頻幀采集頻率。關于根據歷史數據的自適應設置,例如根據用戶喜好設置視頻幀采集頻率,可以采用但不限于下面這種方法:統計最近n次圖像去模糊中設置視頻的視頻幀采集頻率,終端設備推薦設置視頻幀采集頻率為之前設置過的采集頻率的均值。關于根據采集到的相關內容來自適應的設置采集參數,在本實施例中是利用雙目攝像頭中一個采集圖像,一個采集視頻,對圖像進行去模糊。在此主要是對視頻和圖像采集的分辨率,曝光時間,感光度進行設置,出于節能以及算法設計兩方面的考慮,輔助攝像頭采集視頻的分辨率應與圖像的分辨率設置保持一致,如果視頻的最高分辨率比當前圖像的分辨率低,則采用視頻的最高分辨率進行采集。如果拍照環境亮度正常,或者高于某一閾值,則縮短圖像和視頻曝光時間,適當提高感光度,降低出現畫面模糊的概率;如果傳感器檢測到終端設備存在抖動或者其他運動趨勢,則適當減少曝光時間,避免圖像和視頻出現模糊,影響圖像最終的效果。步驟2.3,視頻片段的采集該步驟介紹輔助攝像頭何時開始進行視頻拍攝,可以采用但不限于以下兩種方式中的一種:一種是在圖像拍攝前,即瀏覽界面時進行拍攝;一種是照片開始拍攝時同時啟動視頻拍攝。在瀏覽界面進行拍攝時,為了節省視頻存儲空間以及保證視頻畫面與照片內容的強相關性,瀏覽界面拍攝的視頻只保留部分幀,該部分視頻的幀數可以用戶通過語音,滑動條,文本輸入等方式進行設置,也可以根據 總的視頻幀數來自適應的調節該部分視頻的幀數,例如,設置為總幀數的10%。總的視頻幀數多,則該部分可以保存的視頻幀數就多,反之則變少。設置一個緩沖序列來存儲這部分視頻幀,將該序列存儲的最大幀數設置為終端設備設置的視頻片段的幀數,當該序列存滿時,來了新的視頻幀,則去除序列中的最早拍攝的視頻幀,如果視頻序列中的視頻幀是按照拍攝時間存儲的,則去除第一幀,留出空間存儲新的視頻幀,按照此方法依此進行視頻序列的更新,只保留最新的視頻片段。拍照開始時繼續拍攝視頻,可以根據以下兩種判斷條件停止視頻拍攝,一是拍攝的幀數與之前幀數之和達到視頻總幀數上限時停止視頻拍攝;二是在拍照完成時,視頻幀數未到達幀數上限也停止拍攝,存儲得到的總的視頻幀數即可。在拍照啟動時,同時啟動視頻拍攝,視頻幀數達到終端設備設置的視頻幀數時停止視頻拍攝,如在拍照完成時,視頻幀數未達到終端設備設置的視頻幀數也停止拍攝,存儲得到的視頻片段即可。步驟3:使用視頻去除圖像的模糊;得到圖像和視頻片段后,終端設備對圖像畫面清晰度進行分析,可以通過照片拍攝期間,終端傳感器獲得的參數,或者視頻片段是否存在運動目標,或者文獻中的已有的分類器對圖像進行分類。如果畫面屬于清晰圖像,則不進行去模糊處理,否則繼續下面的去模糊處理。為了節省處理時間,可以選擇視頻片段中的幾幀對圖像進行去模糊,即確定視頻關鍵幀。視頻關鍵幀幀數可以根據畫面模糊程度進行自適應調整,也可以設置為一個固定值或者一個固定的比例,例如,設置為總的幀數的五分之一等。視頻關鍵幀的選擇可以通過內容相似度,選擇最相似的幾幀;也可以通過視頻幀質量,選擇質量排在前的幾幀;也可以使用組合的指標來選擇視頻幀,例如對視頻質量進行排序,然后根據模糊程度設置關鍵幀幀數。得到視頻關鍵幀之后,首先將視頻關鍵幀與圖像的尺度進行統一,將視頻關鍵幀進行放縮或者圖像進行放縮,或者同時對視頻關鍵幀和圖像進行放縮,使得圖像和視頻幀具有相同的尺寸。利用立體匹配的方法計算關鍵幀與圖像的視差,對視頻幀和圖像進行對齊,找到視頻幀與圖像的對應 區域,將每幀視頻,即非模糊圖像,與模糊圖像的對應區域建立一個模糊圖像到清晰圖像的對應關系,基于每對對應區域,可以利用文獻中已有的模糊核估計方法求解多個模糊核。將求解得到的所有模糊核進行加權平均得到一個最終的模糊核,在此每個核的權重可以平均分配;也可以根據內容相似度進行分配,相似度高的權重高,相似度小的,權重小;也可以根據視頻幀的質量進行權重分配,質量越高權重越高。最后,利用上述模糊核對拍攝圖像進行去模糊。也可以采用深度學習方法利用這些圖像對學習一個去模糊模型,對圖像進行去模糊。除了利用圖像與視頻幀的內容關系計算模糊核之外,也可以利用現在算法基于連續的視頻幀來估計運動目標或者終端設備自身的運動軌跡,來對模糊核進行修正,提高模糊核的精度,達到更好的去模糊效果。步驟4:圖像的存儲;在本實施例中終端設備生成四類數據:原始圖像信息、視頻片段,去模糊模型和去模糊后的高質量圖像。其存儲方式包括而不限于以下五種中的一種。第一種是直接將增強后的圖像存儲,不保存視頻片段,即在存儲前完成增強處理,在存儲時,照片框中顯示原始圖像,上面顯示緩沖圖標,表示正在進行增強處理,緩沖完成后,完成存儲;第二種是存儲原始圖像以及學習到的去模糊模型;第三種是存儲原始圖像以及選擇的視頻關鍵幀,即用于學習去模糊模型的視頻幀,這種方式降低了存儲前圖像的處理時間,只需找出視頻關鍵幀,計算去模糊模型可以在存儲完成后,終端設備自動根據終端處理器的忙閑來自己安排處理時間,計算完去模糊模型或者直接將圖像去模糊后,即可以刪除存儲的視頻關鍵幀;第四種是直接存儲原始圖像以及保存的視頻片段,所以增強步驟都是終端設備在存儲之后執行;第五種是在存儲增強圖像的同時也將視頻關鍵幀保存,增強圖像的得到方式可以是前四種存儲方式的任意一種得到,保存的關鍵幀序列播放可以看到一張動態圖的效果。針對如何設置存儲方式,本發明給出三種設置方式,終端設備可以根據以下三種中的一種來對存儲方式進行選擇。第一種是終端設備默認設置;第二種是終端設備接收用戶通過語音、按鍵或外部控制器等方式以及這些方式的組合來更改存儲方式;第三種是終端設備通過存儲空間、電量或歷史數據自適應設置存儲方式。關于系統默認設置,終端設備設置五種存儲方式中的一種作為默認值,在終端設備沒有接受到更改存儲方式的指令前都使用該默認存儲方式對視頻和圖像進行存儲。關于用戶交互下的語音設置,例如用戶預先設定語音指令“儲存增強后的圖像”,如果接受到該指令,則對聲控指令進行語音識別,確定設置存儲方式為第一種存儲方式,即存儲增強后的圖像。其他用戶交互方法與實施一中步驟4中采用相同的設置方法,在此不再贅述。關于根據存儲空間的自適應設置,根據存儲空間,可以選擇不同的存儲方式,如果剩余存儲空間小于某一閾值,例如低于終端設備存儲空間的10%,則設置為第一種存儲方式;如果剩余存儲空間小于某一閾值,例如低于終端設備存儲空間的40%,則可以設置為前三種和第五種中的一種;如果剩余存儲空間高于某一閾值,例如高于終端設備存儲空間的50%,則存儲方式不受存儲空間影響。關于根據電量的自適應設置,可以根據電量控制存儲方式,當電量小于第一預定電量時,例如低于50%時,則選擇耗電量小的存儲方式,即第二或者第三種存儲方式,即直接存儲原始圖像和視頻關鍵幀或者學習模型,不對圖像進行增強處理;當電量小于第二預定電量時,第二預定電量小于第一預定電量,例如低于15%時,則選擇耗電量最小的第四種存儲方式,即原始圖像和視頻片段;如果電量高于某一閾值,例如高于50%,則存儲方式不受電量影響。關于根據存儲方式歷史記錄數據的自適應設置,例如根據用戶以往設置的存儲方式,來對用戶喜好進行分析,設置為用戶偏好的存儲方式。步驟5,圖像的顯示終端設備根據檢測到的來自用戶的顯示操作操作,對存儲的圖像進行 顯示。在顯示存儲的圖像時,對應不同的存儲方式,有不同的顯示方式,本發明給出五種顯示模式。終端設備可以選擇但不限于以下五種顯示方式中一種。第一種:針對第一種存儲方式,終端設備檢測到用戶的打開操作,直接顯示去模糊后的圖像。檢測到用戶點擊查看的操作,例如,檢測到用戶點擊查看按鈕的操作,即可馬上進行圖像顯示,這樣,用戶直接可以查看去模糊后的效果。第二種:針對第二種存儲方式,終端設備檢測到用戶的打開操作,打開原始圖像和去模糊模型的組合。檢測到用戶點擊查看的操作,例如,檢測到用戶點擊查看按鈕的操作,終端設備開始基于去模糊模型對圖像進行去模糊處理。在允許的緩沖時間內完成操作,然后顯示增強后的圖像。第三種:針對第三種和第四種存儲方式,終端設備檢測到用戶的打開操作,例如,檢測到用戶點擊查看按鈕的操作,如果終端設備已經完成了去模糊處理,則可以直接顯示圖像查看增強后的效果。如果終端設備在后臺只是做了部分工作,沒有完成去模糊步驟,則接收到用戶點擊查看操作后需要時間緩沖來進行圖像去模糊處理,完成處理后開始顯示圖像,用戶可以看到去模糊后的圖像。第四種:針對第五種存儲方式,終端設備檢測到用戶的打開操作,打開去模糊后的圖像和視頻關鍵幀的組合。去模糊后的圖像的顯示方法和第一種顯示方法相同,不同的是多了動態圖的顯示。關鍵幀序列播放可以呈現一張動態圖的效果,可以通過長按照片查看與該圖像關聯的動態圖,但不限于長按這種控制方式,語音,手勢等設置都可以來顯示動態圖。下面以一個具體實施列詳述圖像去模糊增強模式。1)開啟交互步驟如圖8所示:步驟1):開啟終端設備的照相機,進入拍照界面,通過長按屏幕開啟視頻增強圖像模式。步驟2):視頻增強圖像模式開啟后,拍照界面顯示兩個攝像頭的采集畫面,用戶可以通過切換攝像頭查看拍照場景來自由設定哪個攝像頭為 主攝像頭拍攝照片,另外一個攝像頭為輔攝像頭拍攝視頻。步驟3):選定攝像頭后,可以分別對兩個攝像頭進行采集參數設置,為了拍攝高亮度圖像,可以提高曝光時間,降低感光度,提高畫面質量。完成參數設置后進入下一個步驟。步驟4):結束交互參數設置,進入拍照界面,畫面顯示的是主攝像頭視域內的畫面。2)模式增強,存儲和播放步驟如下:步驟1):在拍照界面,用戶看到有興趣的畫面時,按下拍照按鈕進行拍照,通過不同的操作方式可以進行不同的存儲播放模式。單擊跳轉到圖9中步驟2),直接存儲增強后的照片;長按跳轉到步驟5),存儲原始圖像和視頻片段;步驟2):對圖像進行增強處理,左上角圖像框中顯示原始圖像,并顯示緩沖標志,提示用戶圖像增強的進度,增強完成,緩沖圖標消失,圖像框中顯示增強后的圖像。步驟3):拍攝的照片增強完成,且存儲在終端設備中,在拍攝下一張之前,左上角圖像框顯示最近時間內拍攝的照片,可以點擊該圖像框對增強后的圖像進行查看。步驟4):點擊圖像框后,顯示增強后的圖像。步驟5):直接存儲原始圖像和視頻片段,左上角圖像框中顯示原始圖像。后臺會根據處理器使用情況來對圖像增強進行選擇性處理,如果處理器有處理能力則對圖像進行增強處理。單擊左上角圖像框查看圖像。終端設備接到單擊指令后,首先判斷圖像增強是否完成,如果后臺完成了增強步驟,則跳轉到步驟6),如果后臺未完成增強步驟,則跳轉到步驟7)。步驟6):圖像增強已經完成,顯示增強后的圖像。步驟7):圖像增強未完成,終端設備繼續對圖像進行增強,背景圖像可以顯示原始圖像,同時出現緩沖標志提示增強進度。增強完成后,緩沖圖標自動消失,跳轉到步驟8)。步驟8):顯示增強后的圖像。實施例十、多焦點區域聯合播放模式本實施例的目的是幫助用戶拍攝具有多個焦點的視頻。多個焦點的視頻可以是全局區域與用戶感興趣的某個局部區域,也可以是兩個感興趣的局部區域。例如,在拍攝家人或者朋友進行舞蹈演出時,希望既可以對全局景象進行拍攝,又希望對自己的家人或者朋友進行特寫拍攝,或者希望同時對多個朋友進行特寫拍攝,目前的視頻拍攝方式不僅需要用戶頻繁地進行手動放大及縮小的操作過程,這樣極易造成拍攝的視頻出現模糊或者抖動,而且在同一時間也僅能看到全局或者看到某個放大的局部區域,無法同時拍攝全局圖像和清晰的某個局部圖像,或者無法同時拍攝多個感興趣的局部。本發明中,利用兩個攝像頭分別設置不同的對焦區域,其中一個攝像頭對焦全局,另一個攝像頭對焦局部感興趣區域或者一個攝像頭對焦某個局部感興趣區域,另一個攝像頭對焦另一個局部感興趣區域,然后兩個攝像頭同時進行拍攝,得到一個兼具全局和局部感興趣區域的多焦點視頻,或者兩個清晰的局部區域視頻。需要說明的是,下述實施例的詳述中,將根據第一類多媒體信息對第二類多媒體信息進行相應處理的方式,具體為采集到的對焦于一個焦點區域的視頻信息對采集到的對焦于另一個焦點區域的視頻信息進行聯合播放處理的多焦點區域聯合播放模式。在本實施例中,第一類多媒體信息與第二類多媒體信息為對焦于不同焦點區域的視頻信息;其中,焦點區域包括全局區域和/或局部區域。具體地,根據采集到的對焦于一個焦點區域的視頻信息,對采集到的對焦于另一個焦點區域的視頻信息進行聯合播放處理。其中,通過以下至少一種方式來確定焦點區域:當檢測到用戶選定一個局部區域時,則確定已選定的局部區域為焦點區域,另一焦點區域為全局區域;當檢測到用戶選定兩個局部區域時,則確定已選定的兩個局部區域為焦點區域。優選地,通過用戶選定的焦點對象,檢測用戶選定的局部區域。其中,全局區域和/或局部區域可通過分屏的布局方式進行聯合播放。(1)開啟多焦點區域聯合播放模式包括兩種方式,一種是用戶主動開啟多焦點視頻,另一種是終端設備根據拍攝的視頻內容,提示用戶是否需要開啟多焦點視頻拍攝。與前文所述類似,用戶可以通過語音,按鍵,手勢,生物特征,外部控制器等以及這些交互方式的任意組合方式啟動多焦點視頻拍攝模式。關于使用語音開啟,例如用戶可以預先設定語音開啟指令:“開啟多焦點視頻拍攝”,如果終端設備接收到用戶發出的聲控指令“開啟多焦點視頻拍攝”,則對該聲控指令進行內容識別,從而確定此時需要開啟多焦點視頻拍攝。關于按鍵開啟,按鍵可以為硬件按鍵,例如音量鍵或home鍵,用戶通過長按音量鍵或home鍵開啟多焦點拍攝模式,終端接收到用戶的上述長按操作事件后,確認此時需要切換至多焦點視頻拍攝模式。按鍵也可以為虛擬按鍵,例如屏幕上的虛擬控件按鈕,菜單等,終端可以在視頻拍攝的預覽界面顯示多焦點拍攝虛擬按鍵,接收到用戶點擊該虛擬按鍵的事件后,確認此時需要切換至多焦點視頻拍攝界面。通過按鍵開啟時,還可以結合用戶按的壓力、速度、時間、頻率等多種特征信息表示不同的含義,如輕按表示更換對焦點目標人物,重按表示修改對焦人物放大倍數,又如長按表示開啟多個對焦點目標人物拍攝模式等等。關于通過手勢開啟,手勢包括屏幕手勢,例如雙擊屏幕/長按屏幕等,通過屏幕手勢開啟時可以結合用戶手勢的壓力、速度、時間、頻率的不同表示不同含義,如輕按表示更換對焦點目標人物,重按表示修改對焦人物放大倍數,又如長按表示開啟多個對焦點目標人物拍攝模式等等。手勢還包括隔空手勢,如搖晃終端/翻轉終端/傾斜終端,搖晃/翻轉/傾斜時的不同方向,角度,速度,力度可以表示不同的含義,如上下搖晃表示更換對焦點目標人物,左右搖晃表示更改拍攝時參數,又如向左傾斜表示切換展示方式,向右傾斜表示切換存儲方式。上述手勢可以是單一的手勢,也可以是任意手勢的任意組合。如長按屏幕并搖晃終端表示開啟多焦點視頻拍攝并可以實時更換對焦點目標人物進行拍攝。關于通過生物特征開啟,包括但不限于手寫特征、指紋特征、聲紋特 征。例如,終端在視頻拍攝預覽界面時,若指紋檢測器或者聲紋檢測器檢測到的指紋或者聲紋與預先注冊的用戶一致,則此時需要切換至提示開啟多焦點視頻拍攝模式。關于通過外部控制器開啟,外部控制器可以是與終端設備相關聯的手寫筆,話筒等設備,例如,終端設備檢測到手寫筆被取出又被快速插回終端,或者手寫筆的預設按鍵被按下,或者用戶使用手寫筆做出預設的空中手勢,則確認此時需要切換至多焦點視頻拍攝模式;外部控制器可以是智能手表,智能眼鏡等,其他設備可以為手機或其他配件或附件或獨立的設備,上述可穿戴設備可以通過wifi和/或nfc和/或藍牙和/或數據網絡訪問終端設備,上述可穿戴設備或其他設備通過按鍵,手勢,生物特征中的至少一種交互方式確認用戶想要切換至多焦點視頻拍攝模式,并通知上述終端設備。(2)確定多焦點區域當終端設備開啟多焦點視頻拍攝模式后,在拍攝預覽界面,用戶可以手動指定多個區域,如果用戶僅指定了一個區域,則此時的多焦點區域為拍攝預覽界面捕獲到的整個圖像和指定的這個區域。如果用戶指定了兩個以上區域,此時的多焦點區域視頻在拍攝時,會交替對準某個指定的區域,從而得到用戶指定的多個感興趣區域組成的視頻。除了上述用戶手動指定的方式外,終端設備可以根據當前拍攝場景中的對象(如人物)自動確定多焦點區域。例如,檢測場景中人物數量,將人物數量最多的區域作為一個感興趣區域,整個場景作為全局區域。也可以由用戶選定焦點對象。將用戶選定的焦點對象所在區域確認為焦點區域。當用戶開啟多焦點視頻拍攝模式時,關于對焦點人物的選擇可以有多種方式。例如,當進入多焦點視頻拍攝的預覽模式時,自動進行全局區域內的人臉檢測,用戶通過單擊或者拖動檢測到的人臉區域的方式確定拍攝的對焦點區域。在進入拍攝模式時,運用人臉跟蹤及識別技術,可以實時跟蹤到用戶感興趣的對焦人物,使用雙目攝像頭的其中之一拍攝全局區域視頻,另一個攝像頭拍攝跟蹤到的用戶感興趣的對焦人物視頻。當 用戶希望更換感興趣的目標人物時,可以通過雙擊屏幕,此時即可啟動全局區域視頻中的人臉檢測,用戶可以選擇檢測到的人臉中的某個人物,或者手動指定感興趣的區域。同時也可以動態地對感興趣區域的包圍框進行修正。例如將人臉區域擴大為臉部及肩部區域,或者人物的上半身區域,或者人物的整個身體區域。(3)用戶交互方式根據用戶拍攝多焦點視頻時,手持終端設備的橫屏或者豎屏狀態提供不同的交互方式。通過重力傳感器檢測到終端設備如果處于橫屏狀態拍攝視頻時,使用如圖10所示的左右屏顯示的視頻布局方式。左側為“全局區域視頻”,右側為“局部對焦感興趣目標人物視頻”,或者左側為“局部對焦感興趣目標人物視頻”,右側為“全局區域視頻”均可。同時根據對焦點人物的數量不同,左側或者右側的“局部對焦感興趣目標人物視頻”區域可以顯示多個目標人物。如果檢測到當前終端設備處于豎屏狀態拍攝視頻時,使用如圖11所示的上下屏顯示的視頻布局方式。上方為“全局區域視頻”,下方為“局部對焦感興趣目標人物視頻”,或者上方為“局部對焦感興趣目標人物視頻”,下方為“全局區域視頻”均可。同時根據對焦點人物的數量不同,上方或者下方的“局部對焦感興趣目標人物視頻”區域可以顯示多個目標人物。當用戶更希望關注全局區域,并且希望將自己感興趣的目標人物存儲下來用于后續播放時,可以選擇如圖12所示的大小屏播放模式。全局視頻幾乎占據整個屏幕,局部對焦的感興趣目標人物視頻處于屏幕中的一小塊位置,可以是右下角、左下角、右上角或左上角。或者可以由用戶指定擺放的位置。(4)多焦點視頻存儲優選地,根據第一類多媒體信息對第二類多媒體信息進行相應處理,具體包括:根據采集到的對焦于一個焦點區域的視頻信息,對采集到的對焦于另一個焦點區域的視頻信息進行存儲處理,其中,存儲內容包括以下至少一種情形:1)采集到的對焦于不同焦點區域的兩個視頻信息;2)根據采集到的對焦于一個焦點區域的視頻信息,對采集到的對焦于另一個焦點區域的視頻信息進行合成處理后的合成視頻信息;3)確定出的對焦于不同焦點區域的兩個視頻信息中的感興趣視頻內容;4)采集到的對焦于全局區域的視頻信息以及該全局區域的視頻信息中局部區域的位置信息。基于多焦點拍攝方式,本實施列給出以下四種存儲方式:方式一:將兩個攝像頭拍攝的多焦點視頻分別存儲下來,得到兩個視頻文件。如果兩個攝像頭一個是全局對焦,一個是局部對焦,則存儲得到的兩個視頻中一個對應全局對焦視頻,一個對應局部對焦視頻;如果兩個攝像頭都是局部對焦,則兩個視頻分別對應兩個攝像頭得到的局部對焦視頻。方式二:該存儲方式提供了一種可見即可得的視頻合成存儲方法,存儲內容與終端設備顯示屏幕呈現的畫面相同,視頻中的每幀畫面都同時將兩個攝像頭的拍攝畫面同時呈現,例如,圖10-12中給出的三種屏幕呈現方式,對于圖12所示的大小屏方式,存儲得到的視頻中每幀都是一個大小屏的畫面,該畫面內容與對應時刻屏幕中呈現的內容,畫面中大屏和小屏分別對應兩個攝像頭拍攝的內容。方式三:該存儲方式提供了一種用戶興趣驅動的視頻合并存儲方法,該方式針對屏幕劃分為主屏幕和副屏幕的呈現方式,如圖3所示的大小屏,大屏為主屏幕,主屏幕中顯示的內容表示用戶當前感興趣的視域,存儲的最終視頻為主屏幕中顯示的內容,視頻中的每幀都是直接呈現用戶該時刻感興趣的區域。方式四:該存儲方法是針對拍攝的全局對焦和局部對焦的拍攝方式,存儲時可以存儲全局拍攝的視頻,再加上實時跟蹤得到的局部區域在全局中的包圍框上的四個點位置信息確定的局部感興趣區域物體。如圖13所示,在全局區域視頻中,將全局區域視頻保存,并將全局區域中實時跟蹤到的矩形框,例如圖13中的黃色區域的四個角點,位置保存下來。并以 此矩形框大小作為標準,保存另一個攝像頭拍攝到的局部對焦區域的內容。針對如何設置存儲方式,本發明給出三種設置方法,終端設備可以根據以下三種中的一種來對存儲方式進行選擇。第一種是終端設備的系統默認設置;第二種是終端設備接受用戶通過語音、按鍵或外部控制器等觸發操作的方式以及這些方式的組合來更改存儲方式;第三種是終端設備通過設備相關信息,如存儲空間,或歷史記錄數據自適應設置存儲方式。關于系統默認設置,終端設備設置四種存儲方式中的一種作為默認值,在終端設備沒有接收到更改存儲方式的指令前都使用該默認存儲方式對視頻進行存儲。關于用戶交互的設置方式,采用實施例一中步驟4類似的設置方法,區別在于指令描述內容,例如,語音設置中的指令為“視頻分別存儲”,如果終端設備接收到該指令,則對聲控指令進行語音識別,確定設置存儲方式為第一種存儲方式。其他用戶交互的設置方式相同,在此不再贅述。關于根據存儲空間的自適應設置,根據存儲空間,可以選擇不同的存儲方式,如果剩余存儲空間小于某一閾值,例如低于終端設備存儲空間的50%,則設置為后三種存儲方式中的一種;反之,如果剩余存儲空間高于某一閾值,例如高于終端設備存儲空間的50%,則存儲方式不受存儲空間影響。關于根據歷史記錄數據的自適應設置,例如根據用戶以往設置的存儲方式,來對用戶喜好進行分析,設置為用戶偏好的存儲方式。(5)多焦點視頻播放方式優選地,響應于接收到的播放觸發操作,基于與存儲內容相匹配的播放方式對視頻信息進行播放;其中,播放方式包括以下至少一項:1)當存儲采集到的對焦于不同焦點區域的兩個視頻信息時,將兩個視頻信息分別單獨播放或聯合播放;2)當存儲合成視頻信息時,播放合成視頻;3)當存儲確定出的對焦于不同焦點區域的兩個視頻信息中的感興趣視頻內容時,播放感興趣視頻內容;4)當存儲全局區域的視頻信息以及該全局區域的視頻信息中局部區 域的位置信息時,通過位置信息確定局部區域的視頻信息,并將全局區域的視頻信息和局部區域的視頻信息分別單獨播放或聯合播放。與上述的存儲方式相對應,本發明給出四種播放方式,終端設備可以選擇但不限于以下四種中的一種:第一種:終端設備檢測到用戶的打開操作,針對分別存儲的兩個獨立的視頻。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,則可以針對兩個攝像頭拍攝得到的視頻分別進行播放。這兩個保存的視頻以一定的時間關聯存儲在終端設備的存儲器上。當用戶選擇播放拍攝的視頻時,可以對這兩個獨立的視頻分別全屏展示播放,也可以由終端設備自適應地將兩個視頻畫面關聯起來同時播放,可以參照“交互方式”中介紹的“上下屏”、“左右屏”和“大小屏”三種方式對兩個視頻畫面進行播放。第二種:終端設備檢測到用戶的打開操作,針對存儲的合成視頻。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,則對合成的視頻進行播放。用戶可以看到兩個攝像頭拍攝的多焦點視頻。第三種:終端設備檢測到用戶的打開操作,針對存儲的合并視頻。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,則對由雙攝像頭視頻片段合并的視頻進行播放。用戶可以看到視頻錄制時主屏幕中呈現的感興趣畫面的多焦點視頻。第四種:終端設備檢測到用戶的打開操作,針對存儲的全局區域視頻和感興趣區域矩形坐標的組合。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,用戶可以單獨播放全局區域視頻和四個坐標點對應的大小的局部區域視頻;或者可以將兩個視頻關聯播放。關聯播放的方式可以分為兩種:一種是參照“上下屏”、“左右屏”、“大小屏”三種形式將兩個視頻畫面同時播放,在“大小屏”這種形式播放時,大屏顯示的是全局區域視頻或者局部對焦區域,小屏顯示的是局部對焦感興趣區域或者全局區域視頻,用戶可以通過單擊大圖或者小圖的方式來切換這兩個塊屏幕的顯示內容。并且,小屏在大屏上處于的位置也可以是由用戶指定擺放的,如圖14所示。當用戶沒有指定小屏擺放的位置時,終端設 備可以自動將小屏放置在屏幕四個角的任意一個位置。當用戶希望改變小屏的位置時,終端設備通過檢測用戶的手勢或者操作來決定如何擺放。下面以一個實施例詳細介紹多焦點區域聯合播放模式的具體實現方案。步驟1.開啟交互步驟:1).開啟終端設備的照相機,進入視頻拍攝預覽界面,通過雙擊屏幕開啟多焦點視頻模式。2).多焦點視頻模式開啟后,如圖15所示,預覽界面顯示兩個攝像頭采集到的畫面,其中占據全屏的是全局區域畫面,在全局區域畫面當中,顯示出場景中所有的人臉區域。用戶單擊感興趣的人臉區域,并交互地拉動檢測框,可以框住整個感興趣區域。此時屏幕中,一部分為全局區域畫面,另一部分為局部感興趣區域畫面。這兩部分畫面的布局如前所述,可以是左右屏,上下屏或者大小屏,這里以大小屏為例展示。3).選定好用戶感興趣的局部區域后,兩個攝像頭分別對焦全局區域和指定的局部區域后,即可開始進行多焦點視頻的拍攝。步驟2.多焦點視頻拍攝,存儲和播放步驟如下:步驟2.1多焦點視頻拍攝1).在多焦點視頻拍攝界面,用戶看到全局區域畫面和局部感興趣區域畫面時,用戶按下拍攝按鈕進行視頻拍攝,通過不同的操作方式可以進行不同的存儲播放模式。單擊界面中的拍攝按鈕跳轉到2),將直接記錄當前終端設備屏幕拍攝到的畫面;長按全局區域中感興趣的包圍框將跳轉到5),存儲全局區域視頻和實時跟蹤得到的包圍框上的四個點位置,并存儲四個點位置確定存儲另一個攝像頭對焦拍攝的局部感興趣區域的大小的視頻。如果同時觸摸全局區域視頻和局部區域視頻,跳轉到7),將全局區域視頻和局部感興趣區域分別存儲。2).直接記錄當前終端設備屏幕上拍攝到的畫面,全局區域畫面占據整個終端設備的屏幕,局部區域畫面位于一個小窗口上。該小窗口的位置可以由用戶實時移動改變。步驟2.2多焦點視頻存儲3).當前屏幕上顯示的即為全局區域和局部區域組成的多焦點視頻,存儲在終端設備中。在拍攝下一段多焦點視頻之前,左上角圖像框顯示最近時間內拍攝的多焦點視頻,可以點擊該圖像框對最近一次拍攝的多焦點視頻進行查看。步驟2.3多焦點視頻播放4).點擊左上角圖像框后,在終端設備上顯示最近一次拍攝的多焦點視頻,此時的播放方式與拍攝時看到的內容相同。5).存儲全局區域視頻和實時跟蹤得到的包圍框上的四個點位置,并存儲由四個點位置確定存儲另一個攝像頭對焦拍攝的局部感興趣區域的大小的視頻。用戶可以單獨播放全局區域視頻和四個坐標點對應的大小的局部區域視頻;或者可以將兩個視頻關聯播放。采取“大小屏”的關聯方式將兩個視頻畫面同時播放,大屏顯示的是全局區域視頻或者局部對焦區域,小屏顯示的是局部對焦感興趣區域或者全局區域視頻,用戶可以通過單擊大圖或者小圖的方式來切換這兩塊屏幕的顯示內容。并且,小屏在大屏上處于的位置也可以是由用戶指定擺放的。當用戶沒有指定小屏擺放的位置時,終端設備可以自動將小屏放置在屏幕四個角的任意一個位置。視頻存儲完成后,在屏幕的左上角圖框中顯示最近一次拍攝的多焦點視頻,如果進行播放,則跳轉到6)。6).長按屏幕上左上角圖框中的內容,則播放最近一次拍攝的多焦點視頻。7).分別存儲了全局區域視頻和局部感興趣區域視頻,終端設備在播放時可分別播放兩部分視頻。也可以由終端設備自適應地將兩個視頻畫面關聯起來同時播放,可以參照“交互方式”中介紹的“上下屏”、“左右屏”和“大小屏”三種方式對兩個視頻畫面進行播放。實施例十一、增強處理模式為目標對象凸顯播放模式目標對象包括感興趣人物及物體。在下述實施例中以感興趣人物為例進行實施例的闡述。在日常生活和工作的視頻拍攝中,經常由于拍攝的人物較多而導致感 興趣的人物不突出,不僅圖像上不易定位感興趣說話人的位置,人物的聲音也經常混淆。目前的視頻拍攝方式中并未突出感興趣人物,而雙目鏡頭和多麥克風的使用,可以定位場景中人物的深度及聲音的方位,為拍攝時突出感興趣人物提供了必要的條件。本發明中,通過雙目攝像頭及兩個或多個麥克風的配合,將拍攝視頻時圖像中人物與每個人物的說話聲音相關聯,進而實現僅播放視頻中感興趣的某個人物的動作和聲音的目的,得到凸顯感興趣目標人物的效果。從而實現在拍攝得到的多人場景視頻中,凸顯某一個人物的動作及聲音。需要說明的是,下述實施例的詳述中,將根據第一類多媒體信息對第二類多媒體信息進行相應處理的方式,具體為根據采集到的音頻信息,對采集到的視頻信息進行音視頻凸顯處理的目標對象凸顯播放模式。當第二類多媒體信息為視頻信息,第一類多媒體信息為與視頻信息相對應的音頻信息時,根據采集到的音頻信息,對采集到的視頻信息進行音視頻凸顯處理。具體地,從采集到的視頻信息中確定目標對象;針對目標對象對應的視頻信息和/或音頻信息進行凸顯處理。其中,通過以下至少一種方式從采集到的視頻信息中確定目標對象:根據檢測到的目標對象指定操作來確定目標對象;依據采集到的視頻信息中多個對象的數量及所處位置信息來確定目標對象。優選地,針對目標對象對應的音頻信息進行凸顯處理,具體包括:對采集到的視頻信息進行檢測以確定所述視頻信息中的對象數量、各個對象的位置及方位信息;依據各個對象的位置及方位信息,確定各個對象分別對應的音頻信息;確定目標對象對應的音頻信息,并進行凸顯處理。優選地,在采集到的視頻信息中確定目標對象所在的視頻片段,且依據對應關系在采集到的音頻信息中確定與該目標對象對應的音頻片段。本發明提出,在拍攝得到的多人場景視頻中,凸顯某一個或者某幾個感興趣人物的動作及聲音。通過雙目攝像頭及兩個或多個麥克風的配合,將視頻 圖像中出現的人物與他們各自的說話聲音相關聯,進而實現僅播放或凸顯播放視頻中感興趣的某個人物或者某幾個人物的動作和聲音的目的,得到凸顯感興趣人物的效果。具體方案如下:首先,終端針對拍攝得到視頻,檢測視頻圖像幀中的人臉區域,針對檢測到的人臉數量,可以獲得當前場景中總的目標人物數量;其次,根據檢測到的某個人臉區域可以得到該人物與拍攝相機之間的方位信息;然后,結合雙目相機通過立體匹配的方法得到該人物距離相機的深度信息,即可以得到場景中每個人物相對于相機坐標系的位置及方位信息;進一步,利用手機上的兩個或多個麥克風,得到場景中每個說話人物相對于麥克風坐標系的位置及方位信息;最后,通過預先標定好相機坐標系和麥克風坐標系之間的變換關系,可得到圖像上每個人物和音頻的對應關系。得到圖像上每個人物和音頻的對應關系后,當用戶點擊播放圖像中的某個或者某幾個感興趣人物時,視頻圖像中的其他區域將會被虛化或者將感興趣區域進行放大,從而凸顯感興趣人物區域。該實施例的具體實現及展示方式由開啟興趣人物凸顯視頻拍攝模式、確定感興趣人物方式、對感興趣人物圖像和語音存儲的方式、對感興趣人物的圖像和語音進行播放的方式四個部分組成。(1)開啟興趣人物凸顯視頻拍攝模式該模式包括兩種方式,一種是用戶主動開啟興趣人物凸顯視頻拍攝模式,另一種是終端設備根據拍攝的視頻內容,自動提示用戶是否需要開啟興趣人物凸顯視頻拍攝模式。1)用戶主動開啟的方法主要通過語音,手勢交互等。例如當用戶說“錄興趣人物”時,終端設備即開啟興趣人物凸顯視頻拍攝模式,此時啟動人臉檢測功能,在視頻拍攝預覽界面顯示出目前拍攝場景內的所有人物,用戶可以單擊選擇某個感興趣人物進行錄制,并且可以改變錄制的感興趣人物;或者將當前視頻中檢測到的所有人物都實時記錄下來,以備后續播放時選擇特定的感興趣人物進行播放;或者在僅錄制某一個、某幾個或者全部人物都錄制的模式之間進行切換。2)終端設備自動檢測視頻內容,主要是基于視頻理解技術,例如通 過分析視頻中的內容,判斷當前視頻主要拍攝的場景是進行多人會議、演講等場合時,終端設備自動提示用戶是否需要開啟興趣人物凸顯視頻拍攝模式。在開啟興趣人物凸顯視頻拍攝模式后,即可通過用戶的手勢或者語音交互確定是錄制單個感興趣人物,或者是錄制整個場景中的所有人物,或者在兩種方式之間切換。(2)確定興趣人物方式用戶拍攝興趣人物凸顯視頻,指定感興趣人物的方式分為用戶主動的通過語音、手勢或外部設備的交互方式,或者終端設備自動地確定感興趣人物。1)用戶主動確定感興趣人物的方式包括語音、手勢和外部設備交互等。語音交互:用戶通過語音交互開啟錄制,錄制時,也可以通過語音確定錄制的是單個人物,還是多個人物,并且可以在這兩種方式之間切換。例如,當用戶說“錄單個人物”時,終端設備僅對用戶指定的某個感興趣人物的圖像和聲音進行錄制;當用戶說“全錄”時,終端設備將對場景中檢測到的所有人物圖像和聲音進行錄制。手勢交互:用戶可以通過單擊檢測到的某個人物,指定感興趣的目標人物進行錄制;可以通過雙擊另一個人物,更換感興趣的目標人物;可以通過單擊屏幕,指定錄制整個場景中的所有感興趣人物;可以通過連續單擊多個目標人物,指定錄制多個感興趣的人物。外部設備交互:上述通過手勢交互的操作,均可通過外部設備交互來實現。例如通過與終端設備關聯的手寫筆,耳機等設備,實現指定某個感興趣目標人物,或指定多個目標人物,或指定整個場景中的所有人物為目標人物。2)終端設備自動地根據當前拍攝的場景確定感興趣人物。終端設備在開啟感興趣人物拍攝模式時,在圖像預覽界面檢測圖像中出現的人物,根據出現的人物數量和人物所處的位置,確定用戶感興趣的人物。例如,將場景中出現的每個人物都作為感興趣人物,將場景中所有人物及人物對應的聲音都存儲下來;或者將位置處于畫面中靠近中心的人物作為感興趣 人物,并以顯著地標示提示拍攝者目前中心人物為感興趣人物,如果用戶希望改變當前終端設備確定的感興趣人物,可以通過雙擊自身感興趣的人物來進行改變。其中,興趣人物的圖像和語音通過終端設備的雙目攝像頭及多個麥克風進行對應。(3)對感興趣人物圖像和視頻存儲方式優選地,根據采集到的音頻信息,對采集到的視頻信息進行存儲處理,其中,存儲內容包括以下至少一種情形:1)采集到的視頻信息及音頻信息;2)目標對象對應的視頻信息及音頻信息。存儲方式主要有兩種:第一種:將攝像頭及麥克風實時采集得到的內容都存儲下來,并且記錄了不同時間用戶指定的感興趣人物,以備在播放時適應多種方式。第二種:僅將拍攝時錄制的感興趣人物的圖像和聲音存儲下來。即:僅錄制拍攝時用戶指定的某個人物、多個人物或全部場景中人物的圖像和聲音。以上兩種方式,主要針對錄制場景在當前終端設備攝像頭采集區域內,如果在當前終端設備的另一側,即攝像頭拍攝區域背面發出的聲音,以另一個文件進行存儲。此時可以由用戶在播放時選擇是否需要去掉來自攝像頭拍攝區域背面發出的聲音。通過終端設備上的麥克風,可以檢測到聲音的朝向是來自于攝像頭拍攝區域的正面,還是來自于攝像頭拍攝區域的背面。如果當前的聲音來自于攝像頭拍攝區域的背面,則該聲音可能并不想被拍攝者記錄下來,例如,該聲音可能是“開始錄了”,或者是當前接聽電話時的談話內容。所以可以將這部分語音內容單獨存儲。針對如何設置存儲方式,本發明給出三種設置方法,終端設備可以根據以下三種中的一種來對存儲方式進行選擇。第一種是終端設備默認設置;第二種是終端設備接受用戶通過語音、按鍵或外部控制器等方式以及這些方式的組合來更改存儲方式;第三種是終端設備通過存儲空間或歷史數據自適應設置存儲方式。關于默認設置,終端設備設置兩種存儲方式中的一種作為默認值,在 終端設備沒有接收到更改存儲方式的指令前都使用該默認存儲方式對視頻進行存儲。關于用戶交互的設置方式,采用實施例一中步驟4類似的設置方法,區別在于指令描述內容,例如,語音設置中的指令為“感興趣視頻存儲”,如果終端設備接收到該指令,則對聲控指令進行語音識別,確定設置存儲方式為第一種存儲方式。其他用戶交互的設置方式相同,在此不再贅述。關于根據存儲空間的自適應設置,根據存儲空間,可以選擇不同的存儲方式,如果剩余存儲空間小于某一閾值,例如低于終端設備存儲空間的50%,則設置為第二種存儲方式;反之,如果剩余存儲空間高于某一閾值,例如高于終端設備存儲空間的50%,則存儲方式不受存儲空間影響。關于根據歷史數據的自適應設置,例如根據用戶以往設置的存儲方式,來對用戶喜好進行分析,設置為用戶偏好的存儲方式。(4)對感興趣人物圖像和語音播放方式優選地,響應于接收到的播放觸發操作,基于與存儲內容相匹配的播放方式對視頻信息及音頻信息進行播放;其中,播放方式包括以下至少一項:1)當存儲采集到的視頻信息及音頻信息時,將采集到的視頻信息及音頻信息相關聯地播放;2)當存儲采集到的視頻信息及音頻信息時,將采集到的視頻信息中的目標對象與相對應的音頻信息相關聯地播放;3)當存儲采集到的視頻信息及音頻信息時,將采集到的視頻信息中的各個對象與相對應的音頻信息相關聯地播放;4)當存儲目標對象對應的視頻信息及音頻信息時,將目標對象對應的視頻信息及音頻信息相關聯地播放。與上述的存儲方式相對應,有對應的兩種播放方式,終端設備可以選擇但不限于以下兩種中的一種:第一種:終端設備檢測到用戶的打開操作,針對第一種存儲的完整的視頻。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,對視頻進行播放。第一種存儲方法將場景中所有人物的圖像和聲音都 有記錄,且各時間段用戶指定的感興趣人物也都記錄了下來。則在播放時,可以:1)按照用戶錄制時指定的視頻內容播放:例如前30秒對人物1感興趣,則僅播放目標人物1的圖像和聲音,其他人物和背景圖像均被模糊和/或靜止;或者將目標人物的圖像區域放大,其他區域模糊和/或靜止。接下來60秒對人物2感興趣,則僅播放目標人物2的圖像和聲音。這里的感興趣人物的選擇是在錄制時確定的,并且終端設備記錄了用戶在哪些時間段對哪個或者哪些人物感興趣;2)不做處理的播放所錄制到的所有圖像和聲音內容;3)由于記錄了場景中所有人物的圖像和聲音,在播放時,用戶可以改變播放的感興趣人物的順序,例如前30秒對人物2感興趣,則僅播放目標人物2的聲音和圖像,其他人物和背景圖像均被模糊和/或靜止。接下來60秒對人物1感興趣,則僅播放目標人物1的圖像和聲音。第二種:終端設備檢測到用戶的打開操作,針對第二種存儲的感興趣人物的視頻。檢測到用戶點擊播放的操作,例如,檢測到用戶點擊播放按鈕的操作,對視頻按照錄制時選擇的感興趣人物順序進行播放,即與拍攝時指定的感興趣區域相同的方式進行播放。上述兩種播放方式主要針對攝像頭拍攝的正面區域的圖像和聲音內容,針對“存儲方式”中提到的來自于攝像頭拍攝的背面區域的聲音內容,可以由用戶通過某些特定的語音或者手勢指令告訴終端設備是否需要播放。例如,可以通過單擊屏幕中的背景區域打開播放來自于攝像頭拍攝背面區域的聲音內容,播放的時間即按照文件中記錄的時間序列與其他播放視頻關聯起來。也可以通過雙擊屏幕中的背景區域關閉播放來自于攝像頭拍攝背面區域的聲音內容。下面以一個實施例詳細介紹興趣人物凸顯視頻實施例的具體方案。步驟1.開啟交互步驟:1).開啟終端設備的照相機,進入視頻拍攝預覽界面,通過長按屏幕開啟興趣人物凸顯視頻拍攝模式。2).興趣人物凸顯視頻模式開啟后,預覽界面顯示左攝像頭采集到的畫面,該畫面占據整個屏幕。此時啟動人臉檢測功能,在視頻拍攝預覽界 面顯示出目前拍攝場景內的所有人物,將當前視頻中檢測到的所有人物都實時記錄下來,已備后續播放時選擇特定的感興趣人物進行播放。3).當檢測出場景中的人物后,將啟動一側攝像頭,配合另一側攝像頭計算得到場景中檢測到的人物的深度及方向信息,即可開始進行興趣人物凸顯視頻的拍攝。步驟2.興趣人物凸顯視頻拍攝,存儲和播放方式如下:步驟2.1興趣人物凸顯視頻拍攝1).在興趣人物凸顯視頻拍攝界面,用戶看到畫面中檢測到的人臉區域為綠色時,表明此時場景中人物所處的角度及位置信息已被估計,用戶按下拍攝按鈕進行視頻拍攝,通過不同的操作方式可以進行不同的存儲播放模式。單擊界面中的拍攝按鈕跳轉到2),將直接記錄當前終端設備拍攝到的畫面;長按畫面中某個目標人物將跳轉到5),存儲興趣人物凸顯視頻和相對應的各個時間點對應的感興趣人物。同時,實時檢測在當前終端設備攝像頭拍攝區域背面發出的聲音,如果檢測到背面發出聲音,跳轉到7),將攝像頭采集區域內視頻和攝像頭背面采集到的音頻分別存儲。2).直接記錄當前屏幕上拍攝到的畫面,一側攝像頭拍攝的畫面占據整個終端設備的屏幕。實時顯示當前場景中的人物區域。如果在拍攝過程當中沒有指定某個感興趣的人物,則可以在播放階段進行感興趣人物的選擇,跳轉到5),播放指定的感興趣人物的畫面和音頻。步驟2.2興趣人物凸顯視頻存儲3).當前屏幕上顯示的即為興趣人物凸顯視頻,存儲在終端設備中。在拍攝下一段興趣人物凸顯視頻之前,左上角圖像框顯示最近時間內拍攝的興趣人物凸顯視頻,可以點擊該圖像框對最近一次拍攝的興趣人物凸顯視頻進行查看。步驟2.3興趣人物凸顯視頻播放4).點擊左上角圖像框后,在終端設備上顯示最近一次拍攝的興趣人物凸顯視頻,此時的播放方式與拍攝時看到的內容相同。如果點擊當前播放視頻中某個人物時,則跳轉到步驟5進行播放。5).如果在拍攝階段沒有指定某個或某幾個感興趣的人物,則在播放 時可以由用戶單擊感興趣的人物區域,此時僅播放該人物對應的圖像和音頻,其他區域均靜止和/或模糊。如果在拍攝階段指定了某一段時間感興趣的人物,則將用戶指定的時長及感興趣人物次序記錄下來,播放時按照拍攝時指定的感興趣人物次序及時長進行播放。6).長按屏幕上左上角圖像框內的內容,則播放最近一次拍攝的興趣人物凸顯視頻。7).分別存儲了興趣人物凸顯視頻和來自于攝像頭背面區域的音頻,終端設備在播放時可分別播放兩部分內容。如圖16(a)-(c)所示,如果對來自于攝像頭背面區域的音頻不感興趣,可以直接將該音頻內容刪除;如果用戶希望保留來自于攝像頭背面區域的音頻,可以在播放時按照時間序列,將對應的音頻和視頻關聯起來共同播放。本發明還提供了一種多媒體增強處理的裝置,如圖17所示,該裝置包括:多媒體信息獲取模塊1701、處理模塊1702。多媒體信息獲取模塊1701獲取兩個多媒體采集設備分別采集的第一類多媒體信息和第二類多媒體信息;處理模塊1702根據第一類多媒體信息對第二類多媒體信息進行相應處理。本發明的方案中,提供的多媒體信息處理的裝置中各模塊的具體功能實現,可以參照圖1提供的多媒體信息處理的方法的具體步驟,在此不再詳述。本
技術領域:
技術人員可以理解,本發明包括涉及用于執行本申請中所述操作中的一項或多項的設備。這些設備可以為所需的目的而專門設計和制造,或者也可以包括通用計算機中的已知設備。這些設備具有存儲在其內的計算機程序,這些計算機程序選擇性地激活或重構。這樣的計算機程序可以被存儲在設備(例如,計算機)可讀介質中或者存儲在適于存儲電子指令并分別耦聯到總線的任何類型的介質中,所述計算機可讀介質包括但不限于任何類型的盤(包括軟盤、硬盤、光盤、cd-rom、和磁光盤)、rom(read-onlymemory,只讀存儲器)、ram(randomaccessmemory,隨即存儲器)、eprom(erasableprogrammableread-onlymemory,可擦寫可編程只讀存儲器)、 eeprom(electricallyerasableprogrammableread-onlymemory,電可擦可編程只讀存儲器)、閃存、磁性卡片或光線卡片。也就是,可讀介質包括由設備(例如,計算機)以能夠讀的形式存儲或傳輸信息的任何介質。本
技術領域:
技術人員可以理解,可以用計算機程序指令來實現這些結構圖和/或框圖和/或流圖中的每個框以及這些結構圖和/或框圖和/或流圖中的框的組合。本
技術領域:
技術人員可以理解,可以將這些計算機程序指令提供給通用計算機、專業計算機或其他可編程數據處理方法的處理器來實現,從而通過計算機或其他可編程數據處理方法的處理器來執行本發明公開的結構圖和/或框圖和/或流圖的框或多個框中指定的方案。本
技術領域:
技術人員可以理解,本發明中已經討論過的各種操作、方法、流程中的步驟、措施、方案可以被交替、更改、組合或刪除。進一步地,具有本發明中已經討論過的各種操作、方法、流程中的其他步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。進一步地,現有技術中的具有與本發明中公開的各種操作、方法、流程中的步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。以上所述僅是本發明的優選實施方式,應當指出,對于本
技術領域:
的普通技術人員來說,在不脫離本發明原理的前提下,還可以作出若干改進和潤飾,這些改進和潤飾也應視為本發明的保護范圍。當前第1頁12