專利名稱：經(jīng)改進(jìn)的基于塊平均的圖像分段的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理，具體來說，涉及基于諸如顏色和紋理之類的特征對(duì)像素區(qū)域進(jìn)行分類和分段。
公開了一種用于提高被分段成多個(gè)已知大小的塊的視頻圖像的質(zhì)量的方法和系統(tǒng)。該方法包括步驟將一個(gè)值與所述各塊中的每一個(gè)塊相關(guān)聯(lián)起來；以及當(dāng)與一個(gè)所選擇塊(該所選擇塊從所述各塊中選擇)相鄰的各塊的每一個(gè)所述相關(guān)值都不同于所述選擇塊的相關(guān)值時(shí)，改變與所述選擇塊相對(duì)應(yīng)的所述相關(guān)值。
在附圖中附
圖1表示被組織成8×8像素塊的圖像的一個(gè)圖段(segment)；附圖2表示按照本發(fā)明原理的改良分段方法的一個(gè)示范性處理的流程圖；附圖3表示按照本發(fā)明原理的改良分段方法的第二個(gè)示范性處理的流程圖；附圖4表示用于執(zhí)行圖2和3中所示的處理的系統(tǒng)。
應(yīng)當(dāng)理解，這些附圖僅僅用于解釋說明本發(fā)明的概念，并非意欲限定本發(fā)明。附圖1到4中所示的和在后附的詳細(xì)說明中描述的各實(shí)施例是要用作解釋說明性的實(shí)施例，不應(yīng)將其理解為實(shí)現(xiàn)本發(fā)明的唯一方式。相同的附圖標(biāo)記(根據(jù)需要，可能附有參考文字)用于表示相似的元件。
視頻圖像(比如電視圖像)的分段是這樣的處理其中將圖像序列的每一幀再分成區(qū)域或圖段。每個(gè)圖段包括一簇像素，該簇像素包含具有共同屬性或特征的圖像區(qū)域。例如，圖段可以通過共同的顏色、紋理、形狀、幅度范圍或者時(shí)間變化而區(qū)分出來。已經(jīng)知道若干種采用這樣的處理的圖像分段方法在該處理中，由二元判定確定如何對(duì)圖像進(jìn)行分段。按照這樣的處理，區(qū)域內(nèi)的所有像素要么滿足一個(gè)用于分段的共同標(biāo)準(zhǔn)并且因此包含在該段中，要么不滿足該標(biāo)準(zhǔn)并且被完全排除在外。雖然諸如此類的分段方法對(duì)于某些用途是令人滿意的，但是對(duì)于許多其它的用途而言，它們是無法被接受的。在運(yùn)動(dòng)圖像序列的情況下，外觀、光照或遠(yuǎn)景的小變化可能僅僅引起圖像的整體外觀的小變化。不過，應(yīng)用諸如上面介紹的那樣的分段方法傾向于使得應(yīng)當(dāng)看起來相同的圖像區(qū)域在一幀中滿足分段標(biāo)準(zhǔn)，而在另一幀中不滿足該分段標(biāo)準(zhǔn)。
對(duì)圖像進(jìn)行分段的主要原因之一是要對(duì)分段出的部分進(jìn)行增強(qiáng)操作。當(dāng)按照諸如前面介紹過的那樣的二元分段法對(duì)圖像進(jìn)行分段時(shí)，隨后應(yīng)用的增強(qiáng)操作經(jīng)常會(huì)在圖像增強(qiáng)中產(chǎn)生隨機(jī)變化，一般在分段區(qū)域的邊緣產(chǎn)生所述隨機(jī)變化。在運(yùn)動(dòng)序列中，這樣的隨機(jī)變化代表令收看者不悅的干擾偽像。電視機(jī)中的圖像增強(qiáng)包括全局和局部方法。雖然局部增強(qiáng)方法是公知的，但是它們目前是由全局參數(shù)控制的。例如，邊緣增強(qiáng)算法可適用于局部邊緣特性，但是支配該算法的參數(shù)(即，濾波器頻率特性)是全局的所應(yīng)用的增強(qiáng)操作對(duì)圖像的所有區(qū)域是相同的。使用全局參數(shù)限制了可應(yīng)用于任何給定圖像的最有效的增強(qiáng)。如果可以對(duì)該算法進(jìn)行訓(xùn)練以識(shí)別在圖像的不同圖段中所展示的特征、并且因此使得對(duì)于每種類型的圖像特征來說最優(yōu)的圖像增強(qiáng)算法和參數(shù)能夠被動(dòng)態(tài)選擇，則就可獲得改良的增強(qiáng)。
不過，對(duì)于現(xiàn)有技術(shù)的一個(gè)原理性問題是，它本質(zhì)上是基于像素的。由于圖段內(nèi)諸如顏色和亮度之類的特征從像素到像素可能會(huì)發(fā)生明顯變化，所確定的圖段概率函數(shù)可能包括顯著的“像噪聲的”指示項(xiàng)(indicator)。當(dāng)輸入視頻信號(hào)也包括噪聲時(shí)，結(jié)果得到的圖段概率函數(shù)變得更加像噪聲。減少概率分布中的像噪聲的指示項(xiàng)的一種方法是使用低通濾波器對(duì)其進(jìn)行處理。不過，這樣的處理具有除掉圖像的圖段中的紋理的不理想副作用。
因此，需要一種用于在保留圖像紋理的同時(shí)減小所確定的圖段概率函數(shù)中的噪聲的影響的方法和系統(tǒng)。
我們知道，視頻圖像可能具有可被識(shí)別為具有基本上相同的特征(如顏色、亮度、紋理等)的顯著區(qū)域或圖段。例如，圖像的圖段可以包含與天空有關(guān)的信息，即藍(lán)顏色、光滑紋理。同樣地，草地可以通過其綠顏色和半光滑紋理來識(shí)別。在共同轉(zhuǎn)讓、共同未決的相關(guān)專利申請(qǐng)序列號(hào)＿＿和共同轉(zhuǎn)讓、共同未決的相關(guān)專利申請(qǐng)序列號(hào)＿＿(它們公開了為所識(shí)別的每個(gè)這樣的圖段確定概率函數(shù))中，更加完整地討論了對(duì)視頻圖像的區(qū)域或圖段的這種識(shí)別。
附圖1表示被識(shí)別為具有相似的顏色、紋理或亮度的圖像圖段的一部分的像素單元視圖100。將會(huì)理解，本發(fā)明的原理可以應(yīng)用于視頻圖像幀中確定的每個(gè)圖段。在該示范性圖解說明中，將任意選擇的圖段中的像素單元組織成了8×8的像素單元塊。將會(huì)意識(shí)到，雖然是針對(duì)8×8像素單元塊對(duì)本發(fā)明進(jìn)行討論的，但是塊的大小可以是任何大小或任意的像素單元數(shù)量，比如7×7、9×9、16×16等。傳統(tǒng)上，塊大小是使用2的冪選擇的，即8×8、16×16、32×32等，因?yàn)檫@樣做能夠通過簡單的二進(jìn)制移位(即，除以2的冪)實(shí)現(xiàn)從一種塊大小到另一種塊大小的變換。
而且，應(yīng)當(dāng)理解，塊大小并非必須像所示的那樣是對(duì)稱的，而是可以在長度或?qū)挾确较蛏习魏螖?shù)量的像素單元。僅僅為了清晰說明和討論本發(fā)明的目的，將所選擇圖段的圖像像素單元分組成8×8塊，表示為塊110-180。
附圖2表示按照本發(fā)明原理的一個(gè)示范性處理200的流程圖。在這個(gè)示范性處理200中，在方框210中，將像素單元組織成塊，比如附圖1中所示的那些塊。在方框215中，使用公知的平均或加權(quán)函數(shù)，對(duì)為塊中的每個(gè)像素計(jì)算的概率函數(shù)進(jìn)行平均或加權(quán)。在方框220中，將與每個(gè)塊相關(guān)的概率函數(shù)的平均或經(jīng)加權(quán)的值與一個(gè)閾值進(jìn)行比較。當(dāng)塊的概率函數(shù)的平均值大于該閾值時(shí)，在方框225中，將第一新值與該像素塊關(guān)聯(lián)起來。不過，當(dāng)塊的平均值小于該閾值時(shí)，則在方框230中，將第二新值與該像素塊關(guān)聯(lián)起來。例如，當(dāng)塊的平均或經(jīng)加權(quán)的概率函數(shù)值大于閾值時(shí)，可以將邏輯1與該塊關(guān)聯(lián)起來，而當(dāng)塊的平均或經(jīng)加權(quán)的概率函數(shù)值小于閾值時(shí)，可以將邏輯0與該塊關(guān)聯(lián)起來。類似地，可以將第一新值選擇為邏輯“0”，而將相應(yīng)的第二新值選擇為邏輯“1”。
按照本發(fā)明的一個(gè)優(yōu)選方面，可以將閾值確立為塊中的視頻信號(hào)噪聲比(SNR)的函數(shù)。表1列出了在0到255的刻度上的示范性閾值和SNR值，其中255是最大值。
表1圖3表示按照本發(fā)明原理的用于改善圖像分段的一個(gè)示范性處理300的流程圖。在這個(gè)示范性處理中，在方框310中選擇一個(gè)像素塊。在方框320中，選擇一個(gè)相鄰像素塊。在方框330中，選擇下一個(gè)/后續(xù)像素塊。在方框340中，確定與所選擇的各相鄰像素塊相關(guān)聯(lián)的值是否基本相同。如果答案是否定的，則對(duì)所選擇像素塊的處理完成。
不過，如果答案是肯定的，則在方框350中選擇下一個(gè)/后續(xù)相鄰像素塊。在方框360中，確定與在方框310中選擇的塊相鄰的每個(gè)像素塊是否都已經(jīng)被處理。如果答案是否定的，則確定所選擇的下一個(gè)/后續(xù)塊的值是否與之前在方框340中選擇的相鄰塊基本相同。所述處理如前所述那樣繼續(xù)進(jìn)行。
不過，如果在方框360中答案是肯定的，則在方框370中確定在方框310中選擇的塊的值是否與在方框320中選擇的相鄰塊的值基本相同。如果答案是肯定的，則對(duì)在方框310中選擇的塊的處理完成。不過，如果答案是否定的，則將在方框310中選擇的塊的值改變?yōu)榕c在方框320中選擇的相鄰塊的值相一致。由此，消除了與所選擇塊相關(guān)的異常值，并且使其與各相鄰塊的值相當(dāng)。
例如，與邏輯0值相關(guān)聯(lián)的塊的所有相關(guān)的相鄰像素塊可能全部具有相反的邏輯1值。在這種情況下，通過將與異常的邏輯0值相關(guān)聯(lián)的塊的相關(guān)值設(shè)置為與所有的相鄰塊相關(guān)值相似的邏輯1值，而“去除”該異常的邏輯0值。同樣，如果具有孤立的邏輯1值的塊由與邏輯0值相關(guān)的塊包圍，則通過將該值設(shè)置為邏輯0而去除該異常的邏輯1值。
回過頭來再看附圖1，例如，當(dāng)與塊110、115、120、135、125、140、145和150中的每一個(gè)相關(guān)的值都基本相同并且不同于與塊130相關(guān)的值時(shí)，可以改變與塊130相關(guān)的值。
按照本發(fā)明的一個(gè)方面，與每個(gè)塊相關(guān)的值可以用于控制要對(duì)該塊中的每個(gè)像素進(jìn)行的處理。例如，可以執(zhí)行的像素級(jí)處理的一種形式是，確定在對(duì)塊內(nèi)的每個(gè)像素的處理過程中是否必須要打開噪聲濾波器。這種方法可以很好地把握減少圖像噪聲和保持適當(dāng)?shù)募y理信息之間的平衡。按照另一個(gè)方面，與每個(gè)塊相關(guān)的值可用于控制處理的形式，諸如不同于其它區(qū)域地修改區(qū)域的邊緣銳度或顏色。
附圖4表示可用于實(shí)現(xiàn)本發(fā)明原理的系統(tǒng)400的示范性實(shí)施例。系統(tǒng)400可以代表電視發(fā)射或接收系統(tǒng)、桌上型、膝上型或掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、視頻/圖像存儲(chǔ)設(shè)備(比如卡帶式錄像機(jī)(VCR)、數(shù)字錄像機(jī)(DVR)、TiVO設(shè)備等)以及這些和其它裝置的部分或組合。
系統(tǒng)400可以包含一個(gè)或多個(gè)源410，這些源410經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)420與處理器系統(tǒng)401進(jìn)行通信。處理器系統(tǒng)401然后進(jìn)一步經(jīng)由網(wǎng)絡(luò)440與一個(gè)或多個(gè)電視顯示器450或監(jiān)視器460進(jìn)行通信。處理器系統(tǒng)401可以包含一個(gè)或多個(gè)輸入/輸出裝置402、處理器403和存儲(chǔ)器404，其可以訪問一個(gè)或多個(gè)包含視頻圖像的源410。源410可以存儲(chǔ)在永久性或半永久性介質(zhì)中，比如電視發(fā)射機(jī)或接收機(jī)、VCR、RAM、ROM、硬盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器或其它視頻圖像存儲(chǔ)裝置、包含模擬或數(shù)字圖像的實(shí)時(shí)顯示器?；蛘咭部梢酝ㄟ^一個(gè)或多個(gè)用于通過例如全球計(jì)算機(jī)通信網(wǎng)絡(luò)(比如因特網(wǎng))、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、地面廣播系統(tǒng)、有線網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、無線網(wǎng)絡(luò)或者電話網(wǎng)絡(luò)以及這些或其它類型網(wǎng)絡(luò)的部分或組合從一個(gè)服務(wù)器或多個(gè)服務(wù)器接收視頻的網(wǎng)絡(luò)420連接來訪問源410。
輸入/輸出裝置402、處理器403和存儲(chǔ)器404可以通過通信介質(zhì)406進(jìn)行通信。通信介質(zhì)406可以代表例如總線、通信網(wǎng)絡(luò)、電路、電路卡或其它設(shè)備的一個(gè)或多個(gè)內(nèi)部連接以及這些或其它通信介質(zhì)的部分和組合。來自源410的輸入數(shù)據(jù)依據(jù)一個(gè)或多個(gè)可以存儲(chǔ)在存儲(chǔ)器404中并且由處理器403執(zhí)行的程序加以處理。處理器403可以是任何裝置，比如通用或?qū)Ｓ糜?jì)算系統(tǒng)，或者可以是硬件配置，比如膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、手持式計(jì)算機(jī)、專用邏輯電路、集成電路、可編程陣列邏輯(PAL)、特定用途集成電路(ASIC)等，其響應(yīng)于已知的輸入提供已知的輸出。
按照一種實(shí)施例，采用本發(fā)明原理的編碼和解碼可以通過由處理器403執(zhí)行的計(jì)算機(jī)可讀代碼來實(shí)現(xiàn)。該代碼可以存儲(chǔ)在存儲(chǔ)器404中或者從諸如CD-ROM或軟盤(未示出)之類的存儲(chǔ)介質(zhì)中讀取/下載。按照另一種并且是優(yōu)選的實(shí)施例，可以使用硬件電路代替或結(jié)合軟件指令來實(shí)現(xiàn)本發(fā)明。例如，本文所示出的元件也可以被實(shí)現(xiàn)為分立硬件元件或適于執(zhí)行代碼的可編程裝置。
在對(duì)輸入數(shù)據(jù)進(jìn)行了處理之后，處理器403可以使得經(jīng)過處理的數(shù)據(jù)得以經(jīng)由網(wǎng)絡(luò)470發(fā)送到電視顯示器480或監(jiān)視器490。將會(huì)意識(shí)到，網(wǎng)絡(luò)420和440可以是各部件之間的內(nèi)部網(wǎng)絡(luò)(例如ISA總線、微通道總線、PCMCIA總線等)，或者是外部網(wǎng)路(比如局域網(wǎng)、廣域網(wǎng)、POTS網(wǎng)絡(luò)或因特網(wǎng))。
按照本發(fā)明的一個(gè)方面，術(shù)語計(jì)算機(jī)或計(jì)算機(jī)系統(tǒng)可以代表與一個(gè)或多個(gè)存儲(chǔ)器單元和其它裝置(例如外圍設(shè)備)進(jìn)行通信的一個(gè)或多個(gè)處理單元，所述處理器單元和其它裝置(例如外圍設(shè)備)與至少一個(gè)處理單元電連接并且與之進(jìn)行通信。而且，這些裝置可以通過內(nèi)部總線(例如ISA總線、微通道總線、PCI總線、PCMCIA總線等)或者電路、電路卡或其它裝置的一個(gè)或多個(gè)內(nèi)部連接以及這些和其它通信介質(zhì)或外部網(wǎng)絡(luò)(例如因特網(wǎng)和內(nèi)聯(lián)網(wǎng))的部分或組合而與一個(gè)或多個(gè)處理單元電連接。
權(quán)利要求
1.一種用于提高被分段成多個(gè)塊(110，115，120)的視頻圖像(100)的質(zhì)量的方法，該方法包括以下步驟將一個(gè)值與所述各塊中的每一個(gè)塊相關(guān)聯(lián)；和當(dāng)與所述各塊中的一個(gè)所選擇塊相鄰的各塊的每一個(gè)所述相關(guān)值都不同于所述選擇塊的相關(guān)值時(shí)，改變與所述選擇塊相對(duì)應(yīng)的所述相關(guān)值。
2.按照權(quán)利要求1所述的方法，其中，當(dāng)所述塊的概率分布大于一個(gè)所選擇閾值時(shí)，所述塊的相關(guān)值是第一值(225)，否則所述塊的值為第二值(230)。
3.按照權(quán)利要求2所述的方法，其中，所述塊的概率分布(215)代表與所述塊中的每個(gè)像素相關(guān)的概率分布的平均。
4.按照權(quán)利要求2所述的方法，其中，將所述閾值選擇為所述塊的概率分布的一個(gè)百分比。
5.按照權(quán)利要求2所述的方法，其中，所述閾值與所述塊中的信號(hào)噪聲比相關(guān)。
6.一種用于提高被分段成多個(gè)已知大小的塊(110，115，120)的視頻圖像(100)的質(zhì)量的系統(tǒng)，包括用于將一個(gè)值與所述各塊中的每一個(gè)塊相關(guān)聯(lián)的裝置；和用于實(shí)現(xiàn)這樣的操作的裝置當(dāng)與所述各塊中的一個(gè)所選擇塊相鄰的各塊的每一個(gè)所述相關(guān)值都不同于所述選擇塊的相關(guān)值時(shí)，改變與所述選擇塊相對(duì)應(yīng)的所述相關(guān)值。
7.按照權(quán)利要求6所述的系統(tǒng)，其中，當(dāng)所述塊的概率分布大于一個(gè)所選擇閾值時(shí)，所述塊的相關(guān)值是第一值(225)，否則所述值為第二值(230)。
8.按照權(quán)利要求7所述的系統(tǒng)，其中，所述塊的概率分布代表與所述塊中的每個(gè)像素相關(guān)的概率分布的平均。
9.按照權(quán)利要求7所述的系統(tǒng)，其中，將所述閾值選擇為所述塊的概率分布的一個(gè)百分比。
10.按照權(quán)利要求9所述的系統(tǒng)，其中，所述閾值是與所述塊中的信號(hào)噪聲比相關(guān)地選擇的。
全文摘要
公開了一種用于提高被分段成多個(gè)已知大小的塊(110，115，120)的視頻圖像(100)的質(zhì)量的方法和系統(tǒng)。該方法包括步驟將一個(gè)值與所述各塊中的每一個(gè)塊相關(guān)聯(lián)；和當(dāng)與所述各塊中的一個(gè)所選擇塊相鄰的各塊的每一個(gè)所述相關(guān)值都不同于所述選擇塊的相關(guān)值時(shí)，改變與所述選擇塊相對(duì)應(yīng)的所述相關(guān)值。當(dāng)所述塊的概率分布大于一個(gè)閾值時(shí)，所述塊的值是第一值，否則將其設(shè)置為第二值。
文檔編號(hào)G06T5/00GK1726516SQ200380105994
公開日2006年1月25日 申請(qǐng)日期2003年12月5日 優(yōu)先權(quán)日2002年12月13日
發(fā)明者S·赫曼, E·貝爾勒斯 申請(qǐng)人:皇家飛利浦電子股份有限公司