專利名稱：著重區編碼方法和系統的制作方法
技術領域：
本發明涉及在靜態圖像編碼方案中著重區(ROI)編碼的方法和系統。該方法和系統特別適用于JPEG2000標準及其他基于小波的編碼器(如在MPEG4中)用以壓縮靜態圖像。
在JPEG2000中，轉換的圖像被按位面方式編碼。這意味著，有關高轉換系數的信息將比其余的信息較早地置于比特流中。目前，用于ROI編碼的“基于比例縮放的編碼方式”就是以此事實為基礎的。對應于ROI的系數在算術編碼之前被向上移位。這意味著與其不移位的情況相比，關于這些系數的信息將在比特流中更早地發送出去。在傳輸的早期，ROI將以比背景(BG)更好的質量重構。整個操作在分辨率和質量上都有改進。
而且，E.Atsumi和N.Farvardin發表的“基于在層次樹中設立分區的有損/無損著重區編碼”，見于1998年10月4日至7日在美國伊利諾伊州芝加哥舉辦的有關圖像處理的IEEE國際會議記錄(ICIP-98)，描述了基于比例縮放的編碼方法的總體思想。另外，ROI編碼是在1996年10月8目美國專利5,563,960中公開的，盡管該文中所述的ROI編碼方法僅執行對圖像數據的比例縮放而非對其系數的比例縮放。
使用上述方法對圖像以不同比特率編碼時，編碼器需要有關于圖象的哪部分應該以何比特率編碼的信息。鑒于ROI或許容易在空間域內描述，它在轉換域內將更復雜。至此編碼器和解碼器必須獲得有關ROI形狀的信息，因此在表示紋理信息的比特之外還需要額外的比特。另外，需要形狀編碼器(在發射機中)和形狀解碼器(在接收機中)，令整個系統實現起來更加復雜和昂貴。該解碼器還不得不產生ROI掩碼，即它不得不定義哪些是重建ROI所需的系數，參閱Charilaos Christopoulos(編者)于1998年10月5日出版的ISO/IECJTC1/SC29/WG1 N988 JPEG2000驗證模型2.0/2.1版，并且這增加了接收器的計算復雜性和存儲要求，而接收器本應該盡可能地簡單。
目前解決這些問題所用的方法是將對ROI的描述包含在比特流的空間域中。于是在編碼器和解碼器兩者中產生轉換域必需的ROI系數的掩碼(ROI掩碼)，參閱例如Charilaos Christopoulos(編者)于1998年10月5日出版的ISO/IEC JTC1/SC29/WG1 N988 JPEG2000驗證模型2.0/2.1版。該編碼器將形狀信息編碼并且攜帶形狀信息的編碼比特流被加至總比特流中，且被發送到接收機。該接收機從形狀信息中解碼得到形狀，產生ROI掩碼然后將圖像的紋理信息解碼。
在ROI形狀簡單(如矩形或圓)的情況下，形狀信息不需要很多比特。然而，既使在這些簡單情況下，接收機也不得不產生ROI掩碼，這意味著接收機需要具有與整個圖像(僅1比特/象素)一樣大的存儲空間，并且具有相當的計算復雜性(因為生成掩碼類似于作小波變換)。對于復雜的ROI，這意味著在編碼器和解碼器之間需要傳遞很多信息，且計算復雜性成為一個問題。關于形狀信息的附加的開銷是值得注意的，尤其是對于低比特率。
而且，共同未決的瑞典專利申請9703690-9和9800088-8描述了一種方法，其中編碼器和解碼器兩者都需要使用和定義ROI掩碼，即，需要找出哪些系數屬于該ROI或是該ROI所必需的。概要本發明的一個目的是提供一種方法和系統，從而無須在ROI編碼方案中發送形狀信息。
通過以下方法和系統來達到所述目的，在所述方法和系統中ROI系數被這樣編碼使得它們被最先發送出去并且能被接收機解碼而無須發送ROI的邊界。
在最佳實施例中，屬于ROI的系數被移位，使得最小的ROI系數比最大的背景系數還大。接收機則可執行相反程序并由此得到ROI。
通過指定該系數需要被移位多少以避免發送形狀信息，可以獲得幾點好處。由此，就可能避免發送形狀信息和避免在編碼器側進行形狀編碼。而且，在接收機側不需要形狀解碼器，也不需要接收機產生ROI掩碼。
而且在另一最佳實施例中，還避免了在編碼器和解碼器端所需的移位(或比例縮放操作)。
圖2是說明在依照第二實施例的編碼器中執行的步驟的流程圖。
圖3是說明在依照第三實施例的編碼器中執行的步驟的流程圖。
圖4是說明在依照第一和第二實施例的解碼器中執行的步驟的流程圖。
圖5是說明在依照第三實施例的解碼器中執行的步驟的流程圖。
圖6是說明在依照第四實施例的編碼器中執行的步驟的流程圖。
圖7是說明在依照第四實施例的解碼器中執行的步驟的流程圖。
圖8是所用的比特流語法的圖表說明。
圖9是另一可選的比特流語法的圖表說明。
詳細描述
圖1中示出說明依照第一實施例的編碼器中執行的步驟的流程圖。由此，首先在步驟101收到輸入圖像且指定其著重區(ROI)。接著，在步驟103，接收到ROI和背景(BG)所要求的比特率或質量。因此在步驟105，圖像被轉換到小波域。接著在步驟107，例如采用在Charilaos Christopoulos(編者)于1998年10月5日出版的ISO/IECJTC1/SC29/WG1 N988 JPEG2000驗證模型2.0/2.1版中所描述的方法，計算ROI掩碼。
因此在步驟109，得到在BG(背景)或整個圖像中最大小波系數(MAX-Coeff)。在步驟111中ROI掩碼中所有系數被移位如此之多以致ROI掩碼中最小系數大于MAX-Coeff。然后在步驟113，圖像被熵編碼直到獲得在步驟103指定的ROI質量或比特率和BG質量或比特率。
接著，在步驟115，移位值被加進比特流以便解碼器能發現并讀取它。這對于解碼器是需要的，因為解碼器需要知道系數應向下移位多少。隨后，在步驟117，加上對ROI掩碼中的系數編碼所需的字節數。在步驟119，步驟117的結果被用作編碼器的輸出。
如果這樣選擇移位值，使得ROI掩碼中最小系數大于BG中的最大系數，則在編碼中僅將ROI系數編碼，直到BG系數變得不容忽視。在該階段，所有ROI系數已被編碼并且必須在接收機中向下移位，而剩余的系數對應于BG并且無須向下移位。接收機需要知道對應于ROI系數全編碼(即在第一個BG系數開始被編碼的時刻)的字節(或比特)數。這個信息被放入比特流信頭中并由接收機提取。
作為例子，假設ROI系數被向左移位8次(即每個ROI系數乘上28)，這樣所有ROI系數則變得大于最大的BG系數。然后編碼開始并且當所有ROI系數都被編碼后，ROI系數所需的移位值和字節數(Nbytes-ROI)被放入比特流信頭。編碼又象平常一樣繼續。解碼器收到比特流并開始解碼。當解碼器解碼到少于Nbytes-ROI的一定字節數時，它把每個系數向下移位。
應該注意的是，有一些重建的BG系數為零，因為他們在此階段未被編碼，并且既然解碼器對此一無所知，他們將被向下移位。直到接收的字節數等于Nbytes-ROI時，所有系數在接收機中被向下移位。此階段之后，沒有系數被向下移位。此處應注意，ROI系數從他們為零編碼時起不再被更新。
使用這個方法，解碼器不需要任何形狀信息。解碼器不需要知道哪些系數對應于一個ROI，因為它將把所有系數向下移位，即BG系數將為零直至所有ROI系數被編碼。解碼器無須產生任何ROI掩碼，使編碼方案更加簡單。解碼器要做的唯一事情是將接收的ROI系數向下移位。
圖2中示出說明編碼器的第二實施例中執行的步驟的流程圖。圖2中流程圖與圖1中流程圖幾乎完全一樣，除了在步驟109和111中如步驟209和211所示，得到最大量化系數并將其移位。
使用依照第二實施例的方法和編碼器，存儲移位后的系數所需的存儲空間更少，因為量化系數小于初始系數。
圖3中示出說明編碼器的第三實施例中執行的步驟的流程圖。圖3中流程圖不同于圖1和圖2的流程圖，其中對ROI掩碼中系數編碼所需的字節數不存儲在比特流中。因而，圖3中流程圖不包括相當于步驟117和217的步驟317。即使該字節數被存儲，也不會在解碼器中用到。因而，第三實施例與第一和第二實施例類似，但需要存儲在比特流中的信息更少。
下面將說明對應于以上結合圖1-3所描述的不同編碼方案的解碼器操作。由此，圖4中示出說明依照第一和第二實施例的解碼器中執行的步驟。
首先，在步驟401，收到比特流的信頭，該信頭是按照結合圖1和圖2在上文描述的算法被編碼的。獲得了關于所用移位值的信息和對應于ROI系數(即那些被移位的)的字節數(ROI-bytes)。接著，在步驟403，收到比特流中的其余部分。在步驟405，如果收到的字節數小于ROI-bytes，在對系數進行熵解碼后，他們被按移位值向下移位。應注意，直到這個階段BG系數都是被編碼至零，所以向下移位不影響他們。通過逆小波變換可獲得中間重建的圖像。
接著，在步驟407，評估收到的字節數是否小于ROI-bytes，如果是，則返回步驟403；否則繼續進行到步驟409。在步驟409，收到比特流的剩余部分。現在這對應于BG數據，因而從該階段起，不再將系數向下移位。最后，在步驟411，逆小波變換給出重建的圖像。
應注意，對于解碼器并不真正需要知道字節數。這是因為解碼器可以按比例縮小以上所有系數，其中移位值shitf-value是上述所用的移位值。
圖5中示出說明被安排來將比特流解碼的解碼器中執行的步驟的流程圖，該比特流是按照結合圖3的上述第三實施例編碼的。
由此，首先在步驟501，收到該編碼的比特流。獲得有關所用移位值的信息。接著，在步驟503，評估收到的系數是否大于2(移位值)，如果是，則在步驟504按該移位值向下移位該系數；否則程序繼續進行至505。在步驟505，確定不向下移位該系數。最后，在步驟507，對從步驟504和505的輸出值作逆小波變換，給出重建的圖像。
應注意，在浮點小波中或許會出現一些問題，其中一些系數可能在0和1之間，因而他們在編碼器中移位后永遠不會變得大于2(移位值)。這意味著它們在解碼器從未被向下移位。為避免此類問題，可以采用依照第二實施例的編碼器，其中量化系數被移位，因為量化系數都是整數。
上述方法要求編碼器將系數向上移位，即把他們乘以一定的系數。盡管該操作的計算復雜性小，但另一種替代方法有時更好，它避免發送形狀信息和將解碼器的計算復雜性最小化，這也避免了解碼器中的向下移位操作。
圖6中示出說明在提供編碼的比特流而無須向下移位的編碼器中執行的步驟的流程圖。
由此，首先在步驟601，收到要被編碼的輸入圖像，其ROI已被指定。在步驟603，收到ROI和BG所要求的比特率或質量。接著，在步驟605圖像被轉換到小波域并且存儲到第一存儲器(MEM1)。
因此，在步驟607，如上文所述生成ROI掩碼。在步驟609，第一存儲器(MEM1)的內容被拷貝到第二存儲器(MEM2)。步驟609僅在BG信息要用在后來的階段上時才需要。然后在步驟611所有ROI掩碼外的MEM1的系數被置為零。在步驟613，利用 JPEG2000編碼方法將MEM1中小波系數編碼。
應注意，對于所有系數都作了編碼。然而，既然BG系數為零，實際上僅對ROI系數作了編碼(相當于零的BG系數也被編碼，但他們不占用很多比特率)。
MEM1的編碼一直執行，直到所要求的比特率(ROI質量的ROI率)，然后在步驟615，編碼器將切換并從MEM2中的系數開始編碼。在步驟617，所有ROI掩碼中的系數則在MEM2中被設置為零。這意味著BG系數將被編碼。
最后，在步驟619，執行MEM2(其中把ROI掩碼中的系數設置為零)的編碼直至獲得為BG指定的比特率或質量。
圖7中示出說明被安排來將比特流解碼的解碼器中執行的步驟的流程圖，該比特流被按照以上結合圖6所描述的實施例編碼。
由此，首先在步驟701，接收按照以上結合圖6所描述的算法編碼的比特流，直到獲得用于MEM1的字節數為止。執行熵解碼并且獲得MEM1系數。應注意，如果需要的話有可能執行一種逆小波變換以產生中間重建圖像。
接著，在步驟703，接收比特流剩余部分直至收到總字節數為止。執行熵解碼并且獲得MEM2系數。MEM2系數被加至MEM1系數。對于相加后的系數作逆小波變換產生帶有ROI和BG的重建圖像。
應注意，當收到對應于MEM2系數的比特時，接收機可以作小波變換以重建僅僅對應于MEM2的圖像(即僅有BG)。然后它能將MEM1和MEM2的重建圖像加在一起，代替上述在步驟403和503中將系數相加。
從編碼器發出的比特流必須具有關于在為MEM1圖象編碼處(該處BG被設置為零)有多少字節(或比特)的信息。這是因為接收機必須知道它何時開始接收MEM2(該處ROI掩碼中的系數被設置為零)。在這種情況下，接收機能將重建的MEM2系數加至重建的MEM1系數上。
這種方法避免了在編碼器和解碼器中完全移位系數，避免了發送形狀信息，避免了使用形狀編碼器和形狀解碼器，還避免了在解碼器中產生ROI掩碼。解碼器必須知道的僅為何時停止接收MEM1系數并開始接收MEM2系數，所以它能把這些系數加在一起。
對于實時編碼和發送(編碼與發送同時進行)，接收機可能不知道為ROI編碼而發送的總字節數。在這種情況下，發射機不得不在ROI編碼已結束的階段在傳輸過程中發出一個信號，通知接收機ROI系數已被編碼，并且此階段后，接收機不應再將任何系數向下移位。這可通過發送一個不能從算術編碼器仿真的碼流來實現。
應注意，當使用依照第三實施例的編碼器時，則在實時應用中不會出現問題。這是因為關于ROI系數的字節數不是真正需要的。需要的是移位值，它總是包含在比特流中。既然解碼器將上述所有系數向下移位，它完全不需任何信號。因而，依照第三實施例的編碼器與其他方案相比具有優勢。
還應當注意，盡管上述的方法都考慮了存在一個ROI，實際上可能有不止一個。這些方法同樣適用。在這種情況下，可以考慮對于第一個ROI(ROI1)，所有系數均被按前面部分所描述的方法移位。然后對第二個ROI(ROI2)，所有系數以類似方式移位但是用一種方法使得他們大于移位的ROI的系數。然后以類似方式繼續這個程序。解碼器借助具有關于每個ROI的移位值的信息而可以發現哪些系數屬于ROI1，哪些屬于ROI2。
還要注意，對于矩形的形狀，如果在每個子帶都發送了ROI形狀的信息，則可避免在解碼器中產生掩碼。矩形ROI’S具有在每個子帶產生矩形ROI形狀的特性，因此對于每個子帶(例如左上角和右下角)可以發送ROI形狀的信息。這避免了在解碼器中產生ROI掩碼，然而，這僅適用于矩形的ROI形狀。而上面陳述的方法對任何形狀都有效。
如果按上述方式進行編碼，則無須傳送關于ROI的信息，除了系數被按其向上移位的移位值和包含已向上移位的信息的比特流的比特數。
這意味著*無須發送關于ROI形狀的信息。這節省了比特流中很多比特，尤其是對于復雜的形狀。
*無須在解碼器中產生關于ROI系數的掩碼。這節省了存儲空間和解碼器的計算復雜性。
*不需要形狀編碼。
*不需要形狀解碼。
*可能從比特流中大致提取ROI形狀信息。
*因為ROI掩碼在較高子帶中擴展了，所以它會開始在較高子帶掩蓋一部分BG，或者甚至全部BG。這意味著BG信息將會與ROI信息一起被編碼。因此，在解碼過程中，接收機在傳輸的早期將再生圖像的大部分(尤其是實現了分辨率的提高時)。這避免在早期重建黑色BG的問題。
圖8中給出可能的比特流語法。應注意，這可能是整個比特流語法的一部分，其中包含有關圖像類型等的信息。如果先編碼后發送，比特流語法應包含下列信息ROI編碼方式(ROI-CM)，在第一字段801中發送；移位值(SV)，在第二字段803中發送；用于ROI的字節數(Nbytes-ROI)(如需要)，在第三字段805中發送；剩余的信頭信息和比特(參閱Charilaos Christopoulos(編者)于1998年10月5日出版的ISO/IEC JTC1/SC29/WG1 N988 JPEG2000驗證模型2.0/2.1版)，在第四字段807發送。
其中，ROI-CM指定使用所設定的ROI編碼方法；SV指定ROI系數被向上移位的值；Nbytes-ROI指定對于ROI系數編碼所用的總字節數(不是對所有上面所指的編碼方案都必需的)。
如果考慮到實時的情況(即編碼和發送同時進行)，則比特流可能被更改為圖9所示的語法。
ROI編碼方式(ROI-CM)，在第一字段901發送；移位值(SV)，在第二字段903發送；對應于剩余的信頭和系數的比特，在第三字段905發送；信號，在第四字段發送；其中，信號=無法從算術編碼器中仿真的碼流(不是對所有上面指定的編碼方案都必需的)。
權利要求
1．一種對具有至少一個著重區(ROI)的靜止圖像編碼并發送的方法，其中所述圖像被轉換到頻率域，其特征在于對應于所述ROI的系數被這樣編碼、使得他們能最早發送出去，并且使得為了對所述至少一個ROI進行解碼不需要發送關于所述至少一個ROI的形狀信息。
2．按照權利要求1的方法，其特征在于所述轉換到頻率域且屬于所述ROI的所述系數被移位，使得所述最小的ROI系數變得大于所述剩余系數中最大系數。
3．按照權利要求2的方法，其特征在于所述系數在被移位之前被量化。
4．按照權利要求1-3中任何一個的方法，其特征在于所述圖像利用小波變換轉換到頻率域。
5．一種用于對靜止圖像編碼的裝置，其包括用于定義至少一個著重區(ROI)的裝置和用于將所述圖像轉換到頻率域的裝置，其特征在于用于將對應于所述ROI的系數編碼，使得他們能最早發送，并且使得為了對所述至少一個ROI進行解碼不需要發送關于所述至少一個ROI形狀的信息的裝置。
6．權利要求5的裝置，其特征在于用于將被轉換到所述頻率域且屬于所述ROI的所述系數移位、使得所述最小的ROI系數變得大于所述剩余系數中的最大系數的裝置。
7．按照權利要求6的裝置，其特征在于連接到所述移位裝置、用于在移位所述系數前將其量化的裝置。
8．按照權利要求5-7中任何一個的裝置，其特征在于利用小波變換將所述圖像轉換到所述頻率域的裝置。
9．對靜止圖像編碼的方法，其特征在于下述步驟指定至少一著重區(ROI)，使用小波變換轉換所述圖像，產生ROI掩碼，確定所述圖像中最大的小波系數，將所述ROI掩碼中所有所述系數移位，使得最小的ROI系數變得大于圖像其余部分的最大系數。
10．按照權利要求9的方法，其特征在于當確定最大小波系數時，僅搜索ROI之外的所述系數。
11．按照權利要求9或10的方法，其特征在于還包括以下步驟確定用于所述編碼的圖像的比特數，對所述圖像編碼直至獲得所述確定的比特數。
12．按照權利要求11的方法，其特征在于所述圖像用熵編碼進行編碼。
13．按照權利要求9-12中任何一個的方法，其特征在于還包括以下步驟在確定所述最大小波系數之前，量化所述小波變換系數。
14．從發射機發送按照權利要求9-13中任何一個編碼的圖像至接收機的方法，其特征在于用于將所述小波系數移位的所述值被加進發送的比特流中。
15．按照權利要求14的方法，其特征在于用于對所述ROI掩碼中所述系數編碼的字節數被加進所述發送的比特流中。
16．準備按照權利要求9-13中任何一個對靜止圖像編碼的編碼器。
17．準備按照權利要求9-13中任何一個對靜止圖像解碼的解碼器。
18．一種對靜止圖像編碼的方法，其特征在于包括下述步驟確定至少一個著重區(ROI)，利用小波變換轉換所述圖像，將所述轉換后的圖像存儲至第一存儲器，產生ROI掩碼，將所述第一存儲器內容拷貝到第二存儲器中，將所述ROI掩碼外的所述第一存儲器中所有系數設置為零，將所述ROI掩碼內的所述第二存儲器中所有系數設置為零，以及對所述第一存儲器中所述系數編碼，并且當所述第一存儲器中所有系數均被編碼后，開始對所述第二存儲器中所述系數編碼。
19．按照權利要求18的方法，其特征在于還包括下述步驟確定用于所述編碼的圖像的比特數，對所述圖像編碼直至獲得所述確定的比特數。
20．準備按照權利要求18-19中任何一個對靜止圖像編碼的編碼器。
21．準備按照權利要求18-19的任何一個對靜止圖像解碼的解碼器。
全文摘要
在用于對具有至少一個著重區(ROI)的靜態圖像編碼和發送的方法和系統中,對最好利用小波變換轉換至頻率域的圖像的ROI系數進行編碼,使得他們能最先發送并且無須傳輸ROI邊界即可被接收機解碼。在最佳實施例中,屬于ROI的系數被移位,使得最小ROI系數大于最大背景系數。接收機則可執行相反的程序并由此獲得ROI。通過指定系數需要被移位多少以避免發送形狀信息可獲得幾個好處。由此,可能避免發送形狀信息和避免在編碼器側對形狀信息編碼。在接收機側無需形狀解碼器,也不需要該接收機產生ROI掩碼。而且,在另一最佳實施例中,編碼器和解碼器中所需的移位(或比例縮放操作)也可免除。
文檔編號H04N7/26GK1320337SQ99811479
公開日2001年10月31日 申請日期1999年10月6日 優先權日1998年10月9日
發明者C·克里斯托普洛斯, J·阿斯克勒夫, M·拉松 申請人:艾利森電話股份有限公司