專利名稱：：多視點自由立體成像系統中的色度替換方法
技術領域：
：本發明屬于多視點自由立體成像
技術領域：
，進一步涉及多視點自由立體成像系統中的色度替換方法。
背景技術：
：人類獲取信息最有效的渠道是通過視覺。由于人的雙眼看到的是自然界中真實的三維景物，因此能夠在屏幕上再現這種真實的三維景物一直是人類夢寐以求的理想。隨著二維圖像壓縮、傳輸、顯示技術的曰趨完善，人類追求再現真實自然景物的下一個目標就是再現景物的立體信息。可以預言立體信息再現技術一定會成為繼語音、數據、平面圖像業務之后信息技術發展的下一個熱點。立體成像技術就是基于這樣的需求逐步發展起來的，它可以記錄、傳輸和顯示立體彩色圖像，使觀眾能夠產生身臨其境的感覺，應用前景非常廣泛，可以用于科研、軍事、教育、工業、醫療等諸多領域。立體拍攝所得的原始立體素材具有巨大的數據量，為了有效利用傳輸帶寬和存儲空間，對立體圖像進行壓縮是非常必要的。已知常見的一般圖像在像素域存在三種主要圖像冗余，包括編碼冗余、像素間冗余和心理視覺冗余。編碼冗余通過重新編碼源信息(如灰度級像素值)，以較少的比特表示較常出現的信源值，從而減少描述圖像所需的比特數，如包括霍夫曼編碼和算術編碼的熵編碼。像素間冗余可以利用像素間的相關性進行消除，這種相關性包括幀內冗余(幀內的相鄰像素間)、幀間冗余(連續幀間)和視圖間冗余(左、右視圖間)。更值得關注的是心理視覺冗余，這種冗余是在觀看中可以忽略的圖像信息。心理視覺研究表明，人眼對各種視覺信息的反應靈敏度是不同的，雙目視覺的特性，如雙目視差靈敏度、人眼色度靈敏度等特性，都可用于判斷立體圖像對中的心理視覺冗余數據。特別地，就人眼對圖像色度信號的靈敏度而言，已知人眼視覺系統(HumanVisualSystem-HVS)中眼球的視網膜既有視桿細胞也有視錐細胞，稱為混合型視網膜。其中，視桿細胞對亮度敏感，視錐細胞對色度敏感。視網膜上約有1.2億個視桿細胞和6百萬個視錐細胞，由于視桿細胞的數量遠大于視推細胞的數量，所以眼睛對亮度的敏感程度大于對色度的敏感程度。這種敏感度的差異直接反應為人眼對彩色細節的分辨力遠比對黑白細節的分辨力低。已有的實驗表明，人眼對不同色調細節的分辨力也不相同。如果眼睛對黑白細節的分辨力為100%,則實驗測得人眼對各種彩色細節的分辨力分別為表l中所列數值。從該表中數據說明，人眼分辨景物彩色細節的能力很差。因此，常見的彩色電視系統在傳送彩色圖像時，可以只傳送一個粗線條(大面積)的彩色圖像，并配以亮度細節。這稱為大面積著色原理。視頻處理中常見的YUV4:2:0格式的視頻表示方法就是利用了人眼對色度不敏感的特征，將色度信號U和V的分辨率降低為Y信號分辨率的1/4,而一般情況下人眼不能察覺到實際顯示出的圖像質量色度信息的損失。表l人眼對彩色細節的分辨力<table>tableseeoriginaldocumentpage5</column></row><table>就人眼的生理視覺而言，Penam在1858年指出當人的雙眼注視一個外界對象時，另一遠于或近于雙眼單視界的物體，雖然沒有刺激到左、右眼視網膜的對應點上，但只要刺激在兩個視網膜對應點附近的一定范圍內，也可以在大腦中產生單一的視覺。視網膜對應點附近這個很小的范圍被叫做Penam融像區。如果幾個物體刺激兩個視網膜上形成的物像視差異較大，便會出現復視，即不能把該物體在左、右眼兩個視網膜上形成的像在大腦中融合成單一的視覺。Penam融像區說明并不是所有的在兩個視網膜上形成的含有雙眼視差異的圖像都能在大腦中形成單一的立體視覺，只有滿足一定雙眼視差異條件的圖像對才能被融合成單一的立體圖像。因此為了獲得最佳的立體圖像效果，必須控制全部景物的雙眼視差異使其構成的兩個圖像能夠在大腦皮層中融合成單一的圖像。上述原理稱為立體融像原理，這種立體融像原理對于人眼觀測到的雙視點圖像的色度信息同樣成立，處于Penam融像區的色度信息也會發生融合作用。
發明內容如附圖l所示，本發明結合在平面圖像和視頻處理中廣泛應用的大面積著色原理以及立體視覺融像原理，對它們在立體圖像處理中的應用進行研究并將其推廣至多視點立體圖像的色度替換方法。本發明的目的是在不影響立體成像效果的前提下，從原始素材的準備方面利用色度替換方法減少數據量，提高壓縮效率。對于多視點自由立體成像系統中的色度替換方法，包括以下步驟第一步將多視點圖像都準備成各視點圖像的BMP格式；第二步通過RGB到YUV的轉換矩陣，將每個視點BMP圖像中的RGB信息轉換為4:2:0格式的YUV圖像信息，此時將各視點圖像信息分離為亮度信息Y、色度信息U、V;第三步通過中間視點色度替換處理，用多視點中的中間視點圖像或接近中間的視點圖像的色度信息來替換所有其它視點的色度信自.巧、7第四步通過YUV到RGB的轉換矩陣，將替換后的各視點YUV信息轉換為RGB信息，并保存為各視點的BMP格式圖像；第五步對上述各視點的BMP圖像進行多視點立體合成處理，將色度替換后的多視點BMP圖像合成為一幅多視點立體圖像，用于立體顯示。對于雙視點自由立體成像系統中的色度替換方法，包括以下步第一步將雙視點圖像都準備成各視點圖像的BMP格式；第二步將各個立體測試圖像從BMP圖像格式中的RGB顏色空間變換到4:2:0的YUV顏色空間，此時將各視點圖像信息分離為亮度信息Y、色度信息U、V;第三步左視圖Y1、Ul、Vl各分量保持不變，右視圖的U2、V2分量分別用Ul、Vl代替；第四步通過YUV到RGB的轉換矩陣，將替換后的各視點YUV信息轉換為RGB信息，并保存為各視點的BMP格式圖像；第五步對上述雙視點的鹿P圖像進行雙視點立體合成處理，將色度替換后的雙視點BMP圖像合成為一幅雙視點立體圖像，用于立體顯示。本發明提出的立體成像系統中的色度替換方法對于立體圖像壓縮具有重要意義(1)主觀評測的結果表明U、V分量具有較高的相似度，色度替換后并沒有影響立體圖像的成像效果，原始圖像與變換后圖像的成像效果變化肉眼不可察覺；(2)對于雙視點自由立體成像系統，在幾乎不損失任何立體信息的前提下，在未進行Y分量的視點間空間相關性壓縮之前，已經將數據量壓縮至原始圖像的約五分之二；(3)對于多視點自由立體成像系統(以九視點為例)，在幾乎不損失任何立體信息的前提下，在未進行Y分量的視點間空間相關性壓縮之前，已經將數據量壓縮至原始圖像的約三分之一。圖i色度替換方法所基于的人眼視覺的基本特性和原理；圖2九視點自由立體成像系統中的色度替換方法的流程圖。具體實施例方式下面以九視點圖象為例說明本發明的具體實施過程。第一步將九視點圖像都準備成各視點圖像的BMP格式，獲得9個BMP格式文件；第二步通過RGB到YUV的轉換矩陣，將每個視點BMP圖像中的RGB信息轉換為4:2:0格式的YUV圖像信息，此時將各視點圖像信息分離為亮度信息Y、色度信息U、V;9組YUV數據如下Yl、Ul、VI,Y2、U2、V2,Y3、U3、V3，Y4、U4、V4，Y5、U5、V5，Y6、U6、V6，Y7、U7、V7，Y8、U8、V8,Y9、U9、V9;第三步通過中間視點色度替換處理，用視點5圖像的色度信息來替換所有其它視點的色度信息，9組替換后的YUV數據如下Yl、U5、V5,Y2、U5、V5，Y3、U5、V5，Y4、U5、V5，Y5、U5、V5,Y6、U5、V5,Y7、U5、V5,Y8、U5、V5，Y9、U5、V5;第四步通過YUV到RGB的轉換矩陣，將9個視點4:2:0格式的YUV圖像信息轉換為BMP圖像，并保存9個視點經替換處理后的BMP格式圖像；第五步對上述9個視點經替換處理后的BMP圖像合成為一幅九視點立體圖像，用于立體顯示。其中，第三步的某個視點的YUV(4:2:0)信息相比BMP格式的圖像信息數據量下降了50%，經過中間視點的色度替換處理后，多視點的實際有效信息進一步下降，以九視點為例，替換后的多視點有效信息是替換前多視點YUV(4:2:O)信息的70%,數據量進一步下降了30%。總體上說，經過中間視點色度替換的多視點信息比原始多視點BMP信息數據量下降了2/3,替換后的有效信息為原始數據量的1/3。同樣，本專利提出的色度替換方法適用于大于或小于9個視點的多視點立體圖像。以上實施方式僅僅為了說明而非限定本發明。實際上，只要符合
發明內容部分描述的條件，都可以實現本發明。因此，本發明保護范圍仍以權利要求書為準。權利要求1、一種多視點自由立體成像系統中的色度替換方法，包括以下步驟第一步將多視點圖像都準備成各視點圖像的BMP格式；第二步通過RGB到YUV的轉換矩陣，將每個視點BMP圖像中的RGB信息轉換為4:2:0格式的YUV圖像信息，此時將各視點圖像信息分離為亮度信息Y、色度信息U、V；第三步通過中間視點色度替換處理，用多視點中的中間視點圖像或接近中間的視點圖像的色度信息來替換所有其它視點的色度信息；第四步通過YUV到RGB的轉換矩陣，將替換后的各視點YUV信息轉換為RGB信息，并保存為各視點的BMP格式圖像；第五步對上述各視點的BMP圖像進行多視點立體合成處理，將色度替換后的多視點BMP圖像合成為一幅多視點立體圖像，用于立體顯示。2、如權利要求1所述一種多視點自由立體成像系統中的色度替換方法，其特征在于所述多試點為雙視點，替換方法包括以下步驟第一步將雙視點圖像都準備成各視點圖像的BMP格式；第二步將各個立體測試圖像從BMP圖像格式中的RGB顏色空間變換到4:2:0的YUV顏色空間，此時將各視點圖像信息分離為亮度信息Y、色度信息U、V;第三步左視圖Y1、Ul、Vl各分量保持不變，右視圖的U2、V2分量分別用Ul、Vl代替；第四步通過YUV到RGB的轉換矩陣，將替換后的各視點YUV信息轉換為RGB信息，并保存為各視點的BMP格式圖像；第五步對上述雙視點的BMP圖像進行雙視點立體合成處理，將色度替換后的雙視點BMP圖像合成為一幅雙視點立體圖像，用于立體顯示。3、如權利要求1所述一種多視點自由立體成像系統中的色度替換方法，其特征在于所述多試點為九視點，替換方法包括以下步驟第一步將九視點圖像都準備成各視點圖像的BMP格式，獲得9個BMP格式文件；第二步通過RGB到YUV的轉換矩陣，將每個視點BMP圖像中的RGB信息轉換為4:2:0格式的YUV圖像信息，此時將各視點圖像信息分離為亮度信息Y、色度信息U、V;9組YUV數據如下Yl、Ul、VI,Y2、U2、V2,Y3、U3、V3,Y4、U4、V4,Y5、U5、V5，Y6、U6、V6，Y7、U7、V7,Y8、U8、V8，Y9、U9、V9;第三步通過中間視點色度替換處理，用視點5圖像的色度信息來替換所有其它視點的色度信息，9組替換后的YUV數據如下Yl、U5、V5,Y2、U5、V5，Y3、U5、V5,Y4、U5、V5，Y5、U5、V5，Y6、U5、V5,Y7、U5、V5,Y8、U5、V5，Y9、U5、V5;第四步通過YUV到RGB的轉換矩陣，將9個視點4:2:0格式的YUV圖像信息轉換為BMP圖像，并保存9個視點經替換處理后的BMP格式圖像；第五步對上述9個視點經替換處理后的BMP圖像合成為一幅九視點立體圖像，用于立體顯示。全文摘要本發明涉及一種多視點自由立體成像系統中的色度替換方法，屬于多視點自由立體成像
技術領域：
。該方法包括如下步驟第一步，準備各視點圖像的BMP格式；第二步，將每個視點BMP圖像中的RGB信息轉換為4∶2∶0格式的YUV圖像信息；第三步，用多視點中的中間視點圖像或接近中間的視點圖像的色度信息來替換所有其它視點的色度信息；第四步，將替換后的各視點YUV信息轉換為RGB信息，并保存為各視點的BMP格式圖像；第五步將色度替換后的多視點BMP圖像合成為一幅多視點立體圖像，用于立體顯示。本發明在保證原始圖像與變換后圖像的成像效果變化肉眼不可察覺的前提下，可實現立體圖象數據量的大幅壓縮。文檔編號H04N9/64GK101119500SQ200710057880公開日2008年2月6日申請日期2007年10月22日優先權日2007年10月22日發明者侯春萍,宋曉煒,蕾楊申請人:天津大學