專利名稱:利用與像素塊分類信息對應的映射系數的圖像編碼和解碼的制作方法
技術領域:
本發明涉及圖像編碼裝置和方法、圖像解碼裝置、記錄媒體、圖像處理裝置以及圖像傳輸方法,具體來說,涉及一種能夠以解碼得到的圖像與源圖像幾乎相同這種方式對圖像進行稀化(二次取樣)和壓縮編碼的圖像編碼裝置和方法、圖像解碼裝置、記錄媒體、圖像處理裝置以及圖像傳輸方法。
作為壓縮圖像的方法,以往提出過有多種。一種方法將原始圖像數據(即所要編碼的圖像)作為“第一層次”(最高層次)圖像。通過減少像素數目(即逐級降低分辨率)形成第二和第三層次圖像。
按照典型的分層編碼系統,從發送設備向接收設備傳送的多個層次的圖像。接收設備可以響應每一幅這種多個層次圖像(在例如監視器上)顯示相應層次的圖像。
按照典型的分層解碼系統,除其他較高層次圖像之外,還對最低層次圖像(即最低分辨率的圖像)的數據進行校正處理運算。結果,碰巧有差錯發生時,就無法對非最低層次的其他層次圖像進行校正。所以,不論何種差錯狀況就只能獲得最低層次的圖像數據并對此校正。比最低層次高的各個層次圖像不具有誤碼恢復數據,因而只可以通過在接收端對最低層次圖像的數據進行例如插補處理運算來獲得。所以,按照分層編碼系統可以改善相對于誤碼的堅韌性。
圖36示意一例執行上述分層編碼運算的典型圖像編碼裝置。要編碼的圖像數據作為第一層次(最高層次)數據送至稀化(即二次取樣)單元11和信號處理單元501。
稀化單元11中使第一層次圖像數據的像素數量變得稀疏,以形成第二層次(比第一層次低一個層次)圖像數據,所形成的圖像數據送至稀化單元12和信號處理單元501。稀化單元12中使第二層次圖像數據的像素數量變得稀疏,以形成第三層次(比第二層次低一個層次)圖像數據,此圖像數據送至信號處理單元501。
信號處理單元501中對第一層次、第二層次和第三層次的圖像數據進行校正處理和其他所需的信號處理運算。此后,對經信號處理的圖像數據進行多路復用,經多路復用的圖像數據作為編碼數據輸出。應注意,在信號處理單元501中是通過執行比其他層次數據所執行的更強的校正來處理第三層次圖像數據的。
圖37示意對圖36中圖像編碼裝置所輸出的編碼數據分層解碼的典型圖像解碼裝置的實例。
信號處理單元601中將編碼數據分離為第一層次、第二層次和第三層次編碼圖像數據。另外,信號處理單元601中對分離的圖像數據進行校正處理和其他所需的處理運算。第一層次圖像數據作為第一層次解碼圖像直接輸出。第二層次圖像數據則送至插補單元602。該插補單元602對第二層次圖像數據執行插補處理,以生成其像素數目與第一層次(比第二層次高一個層次)圖像數據的像素數目相同的圖像數據。然后,此生成圖像數據作為第一層次解碼圖像輸出。
第三層次的圖像數據送至另一插補單元603。該插補單元603對第三層次圖像數據執行插補處理運算,從而生成其像素數目與第二層次(比第三層次高一個層次)圖像數據的像素數目相同的圖像數據,即第二層次解碼圖像。此第二層次解碼圖像輸出至另一插補單元604。該插補單元604對插補單元603的輸出執行與插補單元602所執行的相似的插補處理,從而生成其像素數目與第一層次(比第二層次還要高一個層次)圖像數據的像素數目相同的圖像數據,然后將此圖像數據作為第一層次解碼圖像輸出。
因而,即便由于某些原因而無法獲得第一層次圖像數據時,也可以根據圖像解碼裝置中第二層次圖像數據獲得第一層次解碼圖像。同樣,即便因某些原因而無法獲得第一層次圖像數據和第二層次圖像數據時,也可以根據第三層次圖像數據獲得第一層次和第二層次解碼圖像。
但經解碼的較高層次圖像其圖像質量由于是根據低層次圖像插補得到的,因而變得相當差。
故而希望提供一種即便是只能根據最低層次編碼數據來獲得的情況下也能夠到高圖像質量的解碼圖像的系統。
按照本發明一實施例的圖像編碼裝置和/或方法,對第二層次圖像數據進行校正,以輸出校正數據。根據該校正數據預測第一層次圖像數據預測值。相對于第一層次圖像數據計算預測值的預測誤差,根據該預測誤差判定校正裝置輸出的校正數據的正確性。因而,解碼一側可以根據判定正確的校正數據,獲得高圖像質量的解碼圖像。
按照本發明其他實施例的圖像編碼裝置和方法,第一層次圖像數據是一預定的數據塊,該預定塊按其屬性歸類為預定分類,利用構成該預定塊的像素的像素數值執行預定運算計算出其像素數目小于第一層次圖像數據像素數目的第二層次圖像數據。確定與該預定塊的分類相對應的映射系數。因而,解碼一側可以根據第二層次圖像數據生成高圖像質量的解碼圖像。
本發明還包括一其上記錄如此編碼的數據的記錄媒體。例如,按照本發明一實施例的記錄媒體,其上記錄的編碼數據至少包含其像素數目小于第一層次圖像數據像素數目的第二層次圖像數據。編碼數據是通過校正第二層次圖像數據,輸出校正數據生成的。根據校正數據預測第一層次圖像數據預測值。相對于第一層次圖像數據計算預測值的預測誤差,根據該預測誤差判定校正裝置輸出的校正數據的正確性。因而,可以根據該編碼數據生成高圖像質量的解碼圖像。
按照本發明一實施例的圖像解碼裝置和/或方法,根據至少包含這樣一種校正數據在內的編碼數碼對第一層次圖像進行解碼,該校正數據是通過校正其像素數目小于第一層次圖像數據像素數目的第二層次圖像數據,并依據由該校正數據所預測的第一層次圖像數據預測值的預測誤差判定為正確數據生成的。
本發明上述和其他方面將在參照下面的說明以及附圖進行考慮時變得清楚。
圖1是示意本發明實施例圖像處理系統配置的框圖。
圖2是示意第一實施例圖1中發送裝置配置的框圖(圖中,抽出第二層次預測系數將該預測系數與第三層次編碼數據相加)。
圖3是圖2中稀化單元11和12處理運算的說明圖。
圖4是圖2中稀化單元11和12處理運算的說明圖。
圖5是示意圖2中最佳校正數據運算單元13(14)結構例的框圖。
圖6是說明圖5中最佳校正數據運算單元13處理運算的流程圖。
圖7是示意圖5中校正單元21結構例的框圖。
圖8是說明圖7中校正單元21運算的流程圖。
圖9是示意圖5中本機解碼單元22結構例的框圖。
圖10是圖9中分類塊形成單元41處理運算的說明圖。
圖11是分類處理運算的說明圖。
圖12是ADRC處理運算的說明圖。
圖13是說明圖9中本機解碼單元22運算的流程圖。
圖14是示意圖5中誤差計算單元23結構例的框圖。
圖15是說明圖14中誤差計算單元23運算的流程圖。
圖16是示意圖5中判定單元24結構例的框圖。
圖17是說明圖16中判定單元24運作的流程圖。
圖18是示意圖1中接收裝置4配置的框圖。
圖19是示意圖18中預測單元72結構例的框圖。
圖20是示意圖18中預測單元73結構例的框圖。
圖21是示意圖5中本機解碼單元22另一結構例的框圖。
圖22是示意一實施例圖像處理單元對圖21中預測系數ROM88所存儲的預測系數進行運算的配置的框圖。
圖23是示意圖19中解碼單元80另一結構例的框圖。
圖24是示意第二實施例圖1中發送裝置1配置的框圖。
圖25是示意圖24中最佳校正數據計算單元101(102)結構例的框圖。
圖26是說明圖25中最佳校正數據計算單元101運算的流程圖。
圖27是示意第一實施例圖像處理裝置執行學習運算以獲得映射系數的配置的框圖。
圖28是說明圖27中圖像處理裝置運作的流程圖。
圖29是示意第二實施例圖像處理裝置執行學習運算以獲得映射系數的配置的框圖。
圖30是說明圖29中圖像處理裝置運作的流程圖。
圖31是本發明對第一層次進行解碼的方法的說明圖。
圖32是本發明對第二層次進行解碼的方法的說明圖。
圖33是第三實施例圖1中發送裝置布置的示意圖。
圖34是示意圖33中最佳校正數據計算單元201結構例的框圖。
圖35是說明圖34中最佳校正數據計算單元201運算的流程圖。
圖36是示意執行分層編碼運算的常規圖像編碼裝置一結構例的框圖。
圖37是示意執行分層解碼運算的常規圖像解碼裝置一結構例的框圖。
圖38是示意最佳校正數據計算單元替代實施例的框圖。
圖39是說明圖38中最佳校正數據計算單元運行的流程圖。
圖40是示意最佳校正數據計算單元另一替代實施例的框圖。
圖41是說明圖40中最佳校正數據計算單元運算的流程圖。
圖42是示意本機解碼單元替代實施例的框圖。
圖43是說明圖42中本機解碼單元運算的流程圖。
圖44是確定單元24的框圖。
圖45是說明確定單元24運作的流程圖。
圖46是預測單元替代實施例的框圖。
圖47是最佳校正數據計算單元替代實施例的框圖。
圖48是說明圖47中最佳校正數據計算單元運算的流程圖。
為明確這里說明的種種實施例中各個裝置之間的對應關系,先參照附圖簡要說明本發明的某些特征。要理解,術語“單元”應在最廣泛的意義上解釋,包含固化布線單元、裝有合適軟件的大型計算機、經過編程的微處理器或微控制器及其組合。
圖1示意本發明實施例圖像處理系統。數字圖像數據送至發送裝置1。發送裝置1對該輸入圖像數據送至發送裝置1。發送裝置1對該輸入圖像數據分層編碼以獲得經編碼的圖像數據,在例如光盤、磁光盤、磁帶等記錄媒體2上記錄這種編碼數據。不然(或另外),該編碼數據經諸如地面波、衛星線路、電話線路、CATV網等傳輸路徑3發送。
接收裝置4中,對記錄在記錄媒體2上的編碼數據進行重放,或接收經傳輸路徑3發送的編碼數據,對該編碼數據分層解碼,以獲得解碼的圖像,送至顯示器(未圖示)。
還應注意,上述圖像處理系統可以應用于圖像記錄/重放裝置,例如光盤裝置,磁光盤裝置和磁帶裝置等。另一方面,圖像處理系統還可以應用于圖像傳送裝置,例如電視電話裝置,電視廣播系統和CATV系統等。從發送裝置1輸出的編碼數據其數據量相對較小,因而圖1的圖像處理系統還可應用于例如便攜電話等移動終端。
圖2示出上述發送裝置1的一例配置。
所要編碼的圖像數據(即第一層次或最高層次圖像數據)作為第一層次解碼數據直接送至信號處理單元15。第一層次圖像數據還送至稀化單元11和最佳校正數據計算單元13。在稀化單元11中,使第一層次圖像數據的像素數目變得稀疏,從而形成第二層次圖像數據(比第一層次圖像數據低一個層次)。具體來說,例如如圖3所示,在稀化單元11中將第一層次圖像數據(圖中用空心圓圈符號“○”表示的部分)簡單稀疏(例如二次取樣)至1/9(橫向和縱向均稀疏至1/3)。從而形成第二層次圖像(圖中用符號“Δ”表示的部分)。該第二層次圖像數據送至稀化單元12和最佳校正數據計算單元13。
稀化單元12中使第二層次圖像數據的像素數目變得稀疏,從而形成比第二層次圖像數據還低一層次的第三層次圖像數據。具體來說,在稀化單元12中,例如與稀化單元11的情形相同,使第二層次圖像數據簡單稀化至1/9,從而形成在圖3中由符號“X”表示的第三層次圖像數據。該第三層次圖像數據送至另一最佳校正數據計算單元14。
如圖4所示,上述方式中稀化單元11和12均是根據第一層次圖像數據(即原始圖像數據)形成第二層次圖像數據和第三層次圖像數據的。
最佳校正數據計算單元13計算適宜從第二層次圖像數據獲得第一層次解碼圖像的最佳校正數據(這里稱為“第二層次最佳校正數據”)。這樣計算出的最佳校正數據作為第二層次編碼數據輸出至信號處理單元15。最佳校正數據計算單元14計算適宜獲得最佳校正數據計算單元13所輸出最佳校正數據的另一最佳校正數據(這里稱為“第三層次最佳校正數據”)。該最佳校正數據作為第三層次編碼數據送至信號處理單元15。
在此例中,第三層次最佳校正數據適宜于獲得第二層次最佳校正數據,而第二層次最佳校正數據適宜于獲得第一層次解碼圖像,因而第三層次最佳校正數據與第二層次最佳校正數據同樣可適宜于獲得第一層次解碼圖像。
信號處理單元15中得到的是預測系數(下面述及的第一層次預測系數),第二層次編碼數據包括第一層次預測系數。另外,第三層次編碼數據包括第二層次預測系數。接著,信號處理單元15對于第一至第三層次的編碼數據執行誤碼校正處理和其他所需信號處理運算。然后,對經信號處理的編碼數據進行多路復用,經多路復用的數據作為最終編碼數據輸出。應理解,對第三層次(最低層次)編碼數據而言,所進行的誤碼校正處理比其他層次編碼數據所進行的要強。
以上述方式由信號處理單元15輸出的編碼數據記錄在記錄媒體2上和/或通過傳輸路徑3發送。
如上所述,在稀化單元11和12中稀化運算均按相同比率進行。但并不要求稀化單元11的稀化比率與稀化單元12的相同。
圖5示出圖3中最佳校正數據計算單元13配置的實施例。應指出,最佳校正數據計算單元14具有相似配置,故省略其說明。
由稀化單元11得到的第二層次圖像數據送至校正單元21,而第一層次圖像數據則送至本機解碼單元22。而且,第一層次圖像數據還送至誤差計算單元23。
校正單元21響應判定單元24送來的控制信號對第二層次圖像數據進行校正。由校正單元21通過校正運算得到的校正數據送至本機解碼單元22和判定單元24。
本機解碼單元22根據校正單元21輸出的校正數據,即第二層次圖像數據的校正結果預測第一層次(比第二層次高一個層次)的預測值。術語“預測值”意味著包括多個像素值,而每個像素數值對應第二層次圖像數據的一個像素。預測值送至誤差計算單元23。
如說明書后面將要述及的,本機解碼單元22執行處理運算時通過用第一層次圖像數據與校正數據進行線性耦合,以獲得用來計算第一層次預測值的第一分類的預測系數。本機解碼單元22根據這些預測系數執行自適應處理運算,以獲得第一層次預測值。所生成的第一分類的預測系數還送至判定單元24。
誤差計算單元23計算本機解碼單元22得到的預測值相對于第一層次圖像數據(原始圖像)的預測誤差。該預測誤差作為誤差信息送至判定單元24。
判定單元24根據誤差計算單元23得到的誤差信息判定校正單元21輸出的校正數據是否與原始圖像編碼結果(本例中即第一層次圖像)基本相等。當判定單元24判定校正單元21輸出的校正數據與原始圖像編碼結果基本不相等時,判定單元24控制校正單元21進一步對第二層次圖像數據進行校正,從而從這種校正單元21輸出重新得到的校正數據。而當判定單元24判定校正單元21輸出的校正數據與原始圖像編碼結果基本相等時,由校正單元21提供的校正數據作為最佳校正數據(第二層次最佳校正數據)送至多路復用單元25。另外,本機解碼單元22提供的預測系數送至多路復用單元25。
多種復用單元25對來自判定單元24的最佳校正數據和每一分類預測系數進行多路復用,接著將經多路復用的結果作為第二層次編碼數據輸出。
現參見圖6流程圖說明最佳校正數據計算單元13的運算。第二層次圖像數據送至校正單元21時,校正單元21先直接將第二層次圖像數據輸出至本機解碼單元22和判定單元24。在步驟S2,本機解碼單元22直接對從校正單元21得到的校正數據即前面所述的第二層次圖像數據進行本地解碼。
具體來說,在步驟S2,對第一層次圖像數據進行自適應處理運算以獲得第一分類預測系數,利用校正數據通過與校正單元21來的校正數據進行線性耦合計算第一層次(比第二層次高一個層次)預測值。根據預測系數獲得預測值,接著將此預測值送至誤差計算單元23。
當誤差計算單元23從本機解碼單元22接收第一層次預測值時,在步驟S3誤差計算單元23計算從本機解碼單元22得出的預測值相對于第一層次圖像數據的預測誤差,將預測誤差作為誤差信息送至判定單元24。從誤差計算單元23接收到誤差信息時,在步驟S4判定單元24對校正單元21輸出的校正數據與第一層次圖像編碼結果是否基本相等進行判定。
具體來說,在步驟S4,對誤差信息是否小于規定閾值“ε”進行判定。在步驟S4,當判定誤差信息不小于規定閾值“ε”時,就認定校正單元21輸出的校正數據與第一層次圖像編碼數據基本不相等。接下來,處理運算進行到步驟S5,判定單元24控制校正單元21對第二層次圖像數據進行修正。校正單元21在判定單元24控制之下改變修正量(即下面將述及的修正值“Δ”),對第二層次圖像數據進行修正。所生成的校正數據輸出至本機解碼單元22和判定單元24。接下來,處理返回先前步驟S2,重復同樣處理運算。
而在步驟S4判定誤差信息小于規定閾值“ε”時,就表明校正單元21輸出的校正數據與第一層次圖像編碼結果基本相等。誤差信息小于或等于規定值“ε”時,判定單元24便將校正數據作為最佳校正數據與第一分類預測系數相組合輸出至多路復用單元25。在步驟S6,多路復用單元25對每一分類預測系數與從判定單元24得到的最佳校正數據多路復用,并將多路復用結果作為第二層次編碼數據輸出。接下來結束此處理運算。
如前文所述,由于是將對誤差信息小于預選閾值“ε”條件下的第二層次圖像數據進行校正所生成的校正數據當作第一層次圖像的,因而接收裝置4一側可以根據校正數據(即最佳校正數據)從第二層次編碼圖像數據獲得與原始圖像數據(第一層次圖像數據)基本相同的圖像。
應指出的是,如上文所述,是在最佳校正數據計算單元13中用第一層次圖像數據進行這樣一種處理運算,通過與校正數據線性耦合來獲得用于計算第一層次(比第二層次高一個層次)預測值的每一分類預測系數,而用最佳校正數據計算單元13輸出的最佳校正數據進行自適應處理運算。另一方面,最佳校正數據計算單元14可以對稀化單元11輸出的第二層次圖像數據執行自適應處理運算。
圖7示出圖5中校正單元21的配置例。
第二層次圖像數據送至校正單元32。校正單元32響應判定單元24(圖5)提供的控制信號,將地址送至修正值ROM33,以便可從ROM33讀出修正值“Δ”。接下來,校正單元32通過例如將修正值ROM33讀出的修正值Δ與第二層次圖像數據相加生成校正數據,接著將所生成的校正數據送至本機解碼單元22和判定單元24。修正ROM33存儲有修正值Δ的各種組合(例如用于修正一幀第二層次圖像數據的修正值組合),以修正第二層次圖像數據。從修正值ROM33讀出的與校正單元32提供的地址相對應的修正值Δ組合送至校正單元32。
現參照圖8說明圖7中示出的校正單元21的運算。
例如當一幀第二層次圖像數據送至校正單元32時,校正單元32在步驟11接收這個第二層次圖像數據,并在步驟S12判定是否接收到判定單元24(圖5)的控制信號。在步驟S12判定未接收到控制信號時,處理運算便跳過步驟S13和S14,校正單元32接下來在步驟S15將第二層次圖像數據作為校正數據直接輸出給本機解碼單元22和判定單元24。接著處理返回先前步驟S12。
具體來說,如上所述,判定單元24根據誤差信息來控制校正單元21(校正單元32)。由于校正單元32接收到第二層次圖像數據之后尚未立即得到誤差信號(因為誤差計算單元23未輸出誤差信息),所以判定單元24沒有控制信號輸出。因而,當接收到第二層次圖像數據之后,校正單元32不對第二層次圖像數據進行修正,而是將該圖像數據作為校正數據直接輸出給本機解碼單元22和判定單元24。
而在步驟S12判定接收到判定單元24來的控制信號時,校正單元32便在步驟S13將按照控制信號確定的地址輸出給修正值ROM33。因而在步驟S13從修正值ROM33讀出存儲于該地址的修正值Δ組合(集合),隨后送給校正單元32。一旦接收到從修正值ROM33讀出的修正值Δ組合,校正單元32就將相應修正值Δ與一幀相應的第二層次圖像數據相加,從而在步驟S14計算得到通過修正第二層次圖像數據生成的校正數據。此后,處理運算進行到步驟S15,在該步驟從校正單元32將校正數據輸出給本機解碼單元22和判定單元24,處理返回至步驟S12。
如前文所述,校正單元21重復輸出在判定單元24控制之下通過將第二層次圖像數據修正為各種數值得到的校正數據。
應注意,當對于一幀圖像的編碼運算結束時,判定單元24便向校正單元21提供一表明編碼運算結束的控制信號。在步驟S12一接收到該控制信號,校正單元21便結束對當前幀圖像的處理運算,對下一幀圖像執行由圖8流程圖確定的處理運算。
圖9示出圖5所示本機解碼單元22一配置實施例。
校正單元21得到的校正數據送至分類塊形成單元41和預測值計算塊形成單元42。分類塊形成單元41根據其屬性形成以標注校正數據為中心用于使校正數據歸類為預選分類的分類塊。
現假定,例如由符號“○”表示的像素構成第一層次圖像,由符號“●”表示的另一種像素構成第二層次圖像(校正數據),從上端起第i位和從左端起第j位這一位置的校正數據(要不就是像素)表示為“Xij”,分類塊形成單元41將生成一分類塊,共計包括9個像素,具體來說就是受關注像素“Xij”和下述分別位于左上方、上方、右上方、左邊、右邊、左下方、下方、右下方與受關注像素相鄰的8個像素X(i-1)(j-1)、X(i-1)j、X(i-1)(j+1)、Xi(j-1)、Xio+1)、X(i+1)(j-1)、X(i+1)j、X(i+1)(j+1)。該分類塊送至分類自適應處理單元43。
應注意,本例中分類塊是具有3×3像素的規則正方形塊,但分類塊的形狀并不要求為這種規則正方形。作為替代,可以用其他形狀,例如長方形、十字形等其他任意形狀。構成分類塊的像素總數不限于9個像素(=3×3個像素)。
預測值計算塊形成單元42對校正數據處理形成一以標注校正數據為中心用來計算第一層次圖像預測值的預測值計算塊。具體來說,在圖10中現假定,原始圖像數據(本例中為第一層次圖像數據)中9個像素(=3×3)的像素值在對校正數據Xij(圖10中由符號“●”標注部分)定位時,從左至右、從上至下由Yij(1)、Yij(2)、Yij(3)、Yij(4)、Yij(5)、Yij(6)、Yij(7)、Yij(8)、Yij(9)來表示,預測值計算塊形成單元42構成一正方形預測值計算塊,以計算像素Yij(1)至Yij(9)的預測值。這種預測值計算塊則由例如下述25個(5×5)像素配置而成(將像素Xij設為中心時)X(i-2)(j-2)、X(i-2)(j-1)、X(i-2)j、X(i-2)(j+1)、X(i-2)(j+2)、X(i-1)(j-2)、X(i-1)(j-1)、X(i-1)j、X(i-1)(j+1)、X(i-1)(j+2)、Xi(j-2)、Xi(j-1)、 Xij、Xi(j+1)、Xi(j+2)、X(i+1)(j-2)、X(i+1)(j-1)、X(i+1)j、X(i+1)(j+1)、X(i+1)(j+2)、X(i+2)(j-2)、X(i+2)(j-1)、X(i+2)j、X(i+2)(j+1)、X(i+2)(j+2)。
參見利用圖10的實例,要計算為矩形框包圍的第一層次圖像數據中九個像素Y33(1)至Y33(9)的預測值,由下述校正數據構成預測值計算塊X11、X12、X13、X14、X15、X21、X22、X23、X24、X25、X31、X32、X33、X34、X35、X41、X42、X43、X44、X45、X51、X52、X53、X54、X55。
預測值計算塊形成單元42得到的預測值計算塊送至分類自適應處理單元43。
與分類塊例子相同,對預測值計算塊而言,像素數目和形狀不限于上述例子。但應注意,預測值計算塊中像素總數最好大于分類塊中像素總數。
進行上述塊形成處理(與除塊形成以外的處理運算相同)時,在圖像數據圖框附近沒有相對應像素。在本例中,例如可以假定與構成圖框的那些像素相同的像素位于該圖框的外面來執行這種處理運算。
分類自適應處理單元43包括ADRC(自適應動態范圍編碼)處理單元44,分類單元45以及自適應處理單元46,執行分類自適應處理運算。
通過分類自適應處理運算,意味著根據其特性將輸入信號歸類為幾個分類,對于每一這些分類的輸入信號執行適宜于每一這些分類的自適應處理運算。粗略來說,分類自適應處理運算分成分類處理運算和自適應處理運算。
現說明分類處理運算和自適應處理運算。
首先說明分類處理運算。為便于說明,假定由2×2個像素組成的分類塊如圖11A所示,包括一受關注像素和相鄰的三個像素,這些像素的每一個由1位數字(要么為“0”要么為“1”)表達。本例中,如圖11B所示,具有4個像素(2×2)的塊根據各自像素的數字位分布可以歸類成16(=(21)4)種。這種模式分類與分類單元45執行的分類處理相對應。
應注意,這種分類處理運算最好考慮圖像的特性例如塊范圍內圖像的多樣性和圖像的變化強度。
在本例中,通常分配給每個像素例如8位或更多。本實施例中如前文所述,還用9個像素(=3×3)組成分類塊。所以,對這樣一種分類塊執行分類處理運算時,這種分類塊將分成(28)9這樣一天文數字的分類。
因而,按照本實施例,在ADRC處理單元44中對分類塊進行ADRC處理運算。因而,可以通過減少分類塊中像素數目來減少分類數目。
例如為便于簡要說明,如圖12A所示,考慮4個像素排列為一根直線構成的塊,ADRC處理運算中檢測此像素數值的最大值“MAX”和最小值“MIN”。隨后假定DR=MAX-MIN用作塊的局部動態范圍,構成塊的像素的像素數值根據此動態范圍DR重新量化為K位。
具體來說,從塊中每一像素數值減去最小值MIN,隨后該減法值除以DR/2K。因而,所得到的數值變換為與商值相對應的代碼(ADRC碼)。就具體例而言,如圖12所示若K=2,便判定該商值是否屬于通過對動態范圍DR進行四等分(=22)所得到的這種范圍中的任意一個。在商值屬于最低級別范圍,第二最低級別范圍,第三最低級別范圍或最高級別范圍的情形,每個商值編碼為代表此級別范圍的2位,例如00B、01B、10B和11B(符號“B”表示二進制數)。接著,在解碼側將ADRC碼00B、01B、10B和11B分別變換成最低級別范圍的中心值L00、第二最低級別范圍的中心值L01、第三最低級別范圍的中心值L10或最高級別范圍的中心值L11。接著,最小值MIN這些值的每一個相加進行解碼運算。
本例中,這樣一種ADRC處理運算稱為“無邊緣匹配”。如圖12C所示,與該無邊緣匹配不同,還有另一種稱為改進無邊緣匹配的ADRC處理技術。在改進的無邊緣匹配ADRC處理運算中,不論是ADRC碼00B還是ADRC碼11B,分別變換成屬于四等分動態范圍DR得到的最低級別范圍或最高級別范圍的像素的平均值MIN’或MAX’。而且,ADRC碼01B和10B變換成對MAX’-MIN’確定的動態范圍DR’三等分時得到的值,這樣對ADRC解碼。
應注意,在例如本申請受讓人先前申請、于1991公開的日本專利公報特開平3-53778中揭示有對于ADRC處理運算的詳細說明。
如前文所述,通過執行ADRC處理運算,按位數小于分配給構成塊的像素的位數進行量化,可以減少分類數目。在ADRC處理單元44中進行這樣一種ADRC處理運算。
本實施例中,根據分類單元45中ADRC處理單元44所輸出的ADRC碼進行分類處理運算。作為替代,可以對利用其他處理運算,例如DPCM(預測編碼)、BTC(塊截斷編碼)、VQ(向量量子化)、DCT(離散余弦變換)以及Hadamard變換所處理的這種數據執行分類處理運算。
現說明自適應處理運算。
例如現考慮通過線性一次耦合模型計算第一層次圖像數據像素數值“y”的預測值。由該像素數值(本例中為對第二層次圖像數據進行修正得到的校正數據,根據需要此后稱為“學習數據”)周圍的幾個像素的像素數值X1、X2、……,并對預選預測系數W1、W2、……進行線性耦合來定義該線性一次耦合模型。本例中,預測值可以由下面公式表達預測值=W1X1+W2X2+……(1)因此,歸納這個公式,當一組預測系數W組成的矩陣W、一組學習數據組成的矩陣X和一組預測值組成的矩陣Y’定義如下時X=X11X12······X1nX21X22······X2nXm1Xm2······Xmn]]>W=W1W2…Wn,Y′=E[Y1]E[Y2]…E[Yn]]]>可以如下簡化式成立XW=Y' (2)通過對該簡化式用最小二乘法來得到與第一層次圖像數據的像素數值y接近的預測值。本例中,當一組第一層次圖像數據(此后根據需要稱為“示教數據”)的像素數值組成的矩陣Y,一組相對于第一層次圖像數據的像素數值y的預測值余項所組成的一矩陣E如下定義時,E=e1e2…em,Y=Y1Y2…Yn]]>則根據式(2)有下述剩余方程成立XW=Y+E (3)本例中,可以通過使下述方差為最小,計算第一層次預測系數Wi,以計算接近第一層次圖像數據像素數值y的預測值。
所以,以預測系數對上述方差微分,方差設為0。能夠滿足以下公式的預測系數Wi成為計算接近第一層次圖像數據像素數值“y”的預測值的最佳數值。e1∂e1∂wi+e2∂e2∂wi+···+∂em∂wi=0(i=1,2,···,n)----(4)]]>由于以第一層次預測系數Wi對公式(3)微分,因而可滿足下式公式∂e1∂wi=xi1,∂ei∂w2=xi2,···,∂ei∂wn=xin,(i=1,2,···,m)----(5)]]>由公式(4),(5)和(6)可以得到Σi=1meixi1=0,Σi=1meixi2=0,···Σ=1meixin=0----(6)]]>考慮學習數據“L”、預測系數“W”,示教數據“y”和公式(3)定義的剩余方程中所含的余項“e”之間的關系,可以由公式(6)得到下列正規方程
公式(7)中定義的正規方程數目與所要計算的預測系數W的數目相同。因而,可以通過求解方程式(7)得到預測系數W。應注意,解此方程式(7)的一種方法是用消去法(Gauss-Jordan消去法)。
如前文所述,利用這種預測系數W根據公式(1)計算每一分類第一層次最佳預測系數W,進而計算接近第一層次圖像數據像素數值y的預測值,這樣在自適應處理單元46中進行自適應處理運算。
應注意,自適應處理運算不同于插補處理運算。具體來說,自適應處理運算中再現的是原始圖像數據(本例中為第一層次圖像數據)包含但稀化圖像(本例中為第二層次圖像數據)并不包含的部分。換言之,若僅僅考慮公式(1),自適應處理運算與利用所謂“插補濾波器”的插補處理運算相同。但由于利用示教數據“y”即“學習系統”來計算與插補濾波器分支系數相對應的預測系數W,因而可以再現原始圖像數據中所含的成分。鑒于此項技術點,這種自適應處理運算可以稱為具有圖像形成效果的處理運算。
現參照圖13流程圖說明圖9中本機解碼單元22的處理運算。
本機解碼單元22先在步驟S21對校正單元21得到的數據進行處理以形成塊。具體來說,分類塊形成單元41將校正數據分成以受關注校正數據為中心的3×3個像素的分類塊,隨后將它送至分類自適應處理單元43。預測值計算塊形成單元42中將校正數據分成以受關注校正數據為中心由5×5個像素所組成的預測值計算塊,隨后將它送至分類自適應處理單元43。
如前文所述,除了分類塊和預測值計算塊,還將第一層次圖像數據送至分類自適應處理單元43。分類塊送至ADRC處理單元44,而預測值計算塊和第一層次圖像數據送至自適應處理單元46。
ADRC處理單元44一接收到分類塊,就在步驟S22對該分類塊執行例如1位的ADRC處理運算(按1位執行再量化的ADRC)。結果,校正數據變換為1位(即被編碼),輸出至分類單元45。分類單元45在步驟S23對于經ADRC處理的分類塊執行分類處理運算(即檢測塊中各個像素量級的分布狀態),并判定該分類塊屬于哪一分類。分類判定結果作為分類信息送至自適應處理單元46。
應理解,本實施例中由于對進行過1位ADRC處理運算、由9個像素(3×3)所組成的分類塊,進行分類處理運算,因而每個分類塊歸類為512種分類(=(21)9)中任意一種。
接著,處理運算進行到步驟S24,在該步驟根據自適應處理單元46中分類單元45提供的分類信息對每一分類進行自適應處理運算。從而,計算出第一層次的每一分類預測系數和一幀預測值兩者。
具體來說,按照本實施例,就某一校正數據而言,根據校正數據和第一層次圖像數據,第一分類計算得到25×9個預測系數。另外,與校正數據相對應像素位于預測值計算塊中心場合,通過用5×5像素的預測值計算塊,執行自適應處理運算,計算得到共計9個像素的預測值,即與所關注的這種校正數據相對應的第一層次圖像數據的像素以及與之相鄰的8個像素。
現以由分類單元45輸出,并與具有3×3校正數據X22、X23、X24、X32、X33、X34、X42、X43、X44這種分類有關的分類信息C為例,這里圖10中示出的校正數據X33位于中心位置。此外,假定這為預測值計算塊,由預測值計算塊形成單元42輸出與分類塊相對應的預測值計算塊。此預測值計算塊由X11、X12、X13、X14、X15、X21、X22、X23、X24、X25、X31、X32、X33、X34、X35、X41、X42、X43、X44、X45、X51、X52、X53、X54、X55組成,其中校正數據X33位于中心位置。先將預測值計算塊的校正數據設定為學習數據,而將第一層次圖像數據中校正數據X33位于中心位置的3×3像素(為圖10中矩形框所包圍部分)中像素數值Y33(1)至Y33(9)設定為示教數據時,可以有公式(7)所表示的正規方程成立。
而且,對于歸類于分類信息C的其他分類塊相對應的其他預測值計算塊而言,同樣有例如一幀的正規方程式成立。當成立正規方程式時,可以由此計算預測系數W1(k)至W25(k),以計算像素數值Y33(k)(k=1,2,…,9)的預測值,求解這些正規方程式,從而計算得到最佳預測系數W1(k)至W5(k),適宜于就分類信息C計算像素數值Y33(k)的預測值。上述預測系數W1(k)至W25(k)需要25,這是因為本實施例中需要用25個學習數據以獲得一個預測值。還在步驟S24執行建立正規方程式的處理運算,直到達到上述正規方程式數目為止。對于每一分類進行處理,對于每一分類計算25×9個預測系數。接下來根據公式(1)相對應的下述方程式,用分類信息C對應的25×9個預測系數和預測值計算塊中的25個校正數據,求得預測值。
=w1(k)x11+w2(k)x12+w3(k)x13+w4(k)x14+w5(k)x15+w6(k)x21+w7(k)x22+w8(k)x23+w9(k)x24+w10(k)x25+w11(k)x31+w12(k)x32+w13(k)x33+w14(k)x34+w15(k)x35+w16(k)x41+w17(k)x42+w18(k)x43+w19(k)x44+w20(k)x45+w21(k)x51+w22(k)x52+w23(k)x53+w24(k)x54+w25(k)x55計算出每一分類25×9個預測系數之后,在步驟S23以受關注校正數據為中心的3×3像素為單位計算3×3個預測值。然后,在步驟S24將每一分類25×9個預測值系數提供給判定單元24,并提供預測值,對每個3×3像素進行誤差計算。然后處理返回至步驟S21,對下一幀重復處理。
接著,圖14給出圖5中誤差計算單元23的一個實施例。
將原始圖像數據(即第一層次的圖像數據)提供給塊產生單元51。在這種情況中,塊產生單元51對輸入圖像數據進行處理,產生9個由局部解碼單元22輸出的第一層次預測值相對應的塊。由3×3像素構成的圖像塊從塊產生單元51提供到平方誤差計算單元52。如上所述,除了從塊產生單元51提供的塊以外,由局部解碼單元22導出的第一層次的預測值以9個像素塊單元(3×3像素的塊單元)提供給平方誤差計算單元52。平方誤差計算單元52計算平方誤差,作為這一預測值相對第一層次的圖像數據的預測誤差,然后將計算的該平方誤差提供給乘法單元55。
平方誤差計算單元52包括計算器53和54。計算器53從塊產生單元51的每個經塊處理的圖像數據輸出中減去相應的預測值,然后將相減的結果提供給計算器54。計算器54對計算器53的輸出進行平方,將平方后的值提供給乘法單元55。
根據平方誤差計算單元52的平方誤差,乘法單元55讀出存儲器56的存儲值,將這一存儲值加到平方誤差上,再將所加值提供給存儲器56,存儲在存儲器56中。然后,乘法單元55重復上述操作,產生平方誤差(誤差分布)被乘值。此外,用乘法單元55完成平方誤差的預選量(例如,一幀)的相乘時,乘法單元55將存儲器56的被乘值作為誤差信息提供給判斷單元24。每次對每幀進行處理,清除存儲器56中的值,將乘法單元55的輸出值存儲到存儲器56中。
現在參考圖15的流程圖,介紹誤差計算單元23的工作。首先,在步驟S31中,在誤差計算單元23中,清除存儲器56的存儲值(例如,為“0”)。然后,處理繼續到步驟S32,由塊產生單元51對第一層次圖像數據進行塊處理。產生的塊提供給平方誤差計算單元52。在步驟S33,平方誤差計算單元52計算第一層次圖像的圖像數據(它構成塊產生單元51提供的塊)與局部解碼單元22提供的第一層次的預測值之間的誤差平方。
換句話說,在步驟S33,在計算器53中,從(已經經塊產生單元51進行塊處理和提供的)第一層次的每個圖像數據減去相應的預測值,然后將相減值提供給計算器54。此外,在步驟S33,計算器54對計算器平方誤差計算單元52的輸出進行平方。并將平方值提供給乘法單元55。
根據平方誤差計算單元52提供的平方誤差,在步驟S34,乘法單元55讀出存儲器56的存儲值,通過將存儲器中讀出的值加到平方誤差中,計算平方誤差的被乘值。將乘法單元55中計算的平方誤差的被乘值提供給存儲器56,在這里,該平方誤差的被乘值改寫以前的存儲值。
在步驟S35,在乘法單元55中,針對平方誤差的倍數是否是預選量(例如,完成一幀數據)作出判斷。在步驟S35,當判斷為未完成一幀數據的平方誤差的倍乘時,流程返回到步驟S32。另一方面,當在步驟S35判斷為完成了一幀數據的平方誤差的倍乘時,流程前進到步驟S36。在步驟S36,乘法單元55從存儲器56讀出一幀數據的平方誤差的被乘值,然后作為誤差信息將這一被乘值輸出到判斷單元24。然后,流程返回到步驟S31。
因此,在誤差計算單元23中,現在假設,第一層次的圖像數據是Yij(k),從局部解碼單元22校正數據處理的第一層次的預測值為,根據下列公式,通過進行計算可計算誤差信息QQ=∑(Yij(k)-2式中,符號“∑”指一幀數據的求和。
接著,圖16表明圖5中判斷單元24的一個實施例。
預測系數存儲器61中存儲了局部解碼單元22提供的每一類別別的預測系數。校正數據存儲器62中存儲了校正單元21提供的校正數據。
應當注意當對第二層次的圖像數據進行新的校正時,因此在校正單元21中提供新的校正數據,校正數據存儲器62中存儲新的校正數據取代以前作存儲的校正數據(即以前的校正數據)。此外,在用新的校正數據替代了以前的校正數據后,從局部解碼單元22輸出一組新的與新的校正數據相對應的每一個類的預測系數。此外,當將新的每一類別的預測系數提供給預測系數存儲器61時,每一類別的新的預測系數取代以前存儲的預測系數(即每一類別的先前的預測系數)被存儲起來。
誤差信息存儲器63中存儲誤差計算單元23所提供誤差信息。也應當注意,除了當前提供的誤差信息(當前誤差信息)外,誤差信息存儲器63中存儲著在先前情況中由誤差計算單元23所提供的誤差信息(先前誤差信息)。就是說,即使提供新的誤差信息,以前存儲的誤差信息仍然保存著直至提供更新的誤差信息。此外,每一次對新的一幀進行處理(例如在新的一幀處理開始時),清除誤差信息存儲器63的內容。
比較單元64對預定閾值“ε”與存儲在誤差信息存儲器63中的當前提供的誤差信息進行比較,如果需要的話,再對當前提供的誤差信息與以前提供的誤差信息進行比較。從比較單元64獲得的比較結果提供給控制單元65。
控制單元65根據比較單元64獲得的比較結果,判斷存儲在校正數據存儲器62中的校正數據是否基本上(最好是)與圖像的編碼結果相等。當判斷為校正數據基本上不等于編碼結果時,控制單元65將請求輸出新的校正數據的控制信號提供給校正單元21(圖5)。另一方面,當控制單元65識別為存儲在校正數據存儲器62中校正數據基本上等于圖像的編碼結果時,讀出存儲在預測系數存儲器61中的每個類別的預測系數,輸出到多路復用單元25,還讀出存儲在校正數據存儲器62中的校正數據,作為最佳校正數據輸出到多路復用單元25。此外,在這種情況中,控制單元65將控制信號輸出到校正單元21,該控制信號表示,一幀圖像的編碼操作已經完成。結果,如前所述,控制單元65引起校正單元21開始下一幀的過程操作。
接著,參考圖17,介紹判斷單元24的操作。在第一步驟S41,在判斷單元24中,比較單元64判斷是否從誤差計算單元23接收了誤差信息。當比較單元64判斷為未接收誤差信息時,過程返回到步驟S41。另一方面,當比較單元64判斷為接收了誤差信息,即當誤差信息存儲在誤差信息存儲器63中時,過程前進到步驟S42。在步驟S42,比較單元64對預定閾值“ε”與當前存儲的誤差信息(當前誤差信息)進行比較,判斷當前誤差信息是否小于預定閾值。
在步驟S42,當判斷為當前誤差信息不小于預定閾值“ε”是,比較單元64讀出誤差信息存儲器63中存儲的先前誤差信息。然后,在步驟S43,比較單元64將先前誤差信息與當前誤差信息進行比較,判斷先前誤差信息是否大于當前誤差信息。
在過程開始時,首先提供誤差信息,因為先前誤差信息未存儲到誤差信息存儲器63中,在這種情況中,在判斷單元24中將不進行步驟S43后定義的過程操作。控制單元65輸出控制信號,控制校正單元32(圖7),輸出預定的初始地址。
當在步驟S43判斷為當前誤差信息小于或等于先前誤差信息時,就是當校正第二層次圖像數據,因而減小誤差信息時,過程前進到步驟S44。在步驟S44,控制單元65輸出一個以類似于先前情況的方式改變校正值的指令控制信號到校正單元32。然后,過程返回到步驟S41。另一方面,當在步驟S43判斷為當前誤差信息大于先前誤差信息(即誤差信息被第二層次圖像數據校正而增加)時,過程進到步驟S45。在步驟S45,控制單元65給校正單元32輸出一個以與先前情況相反的方式改變校正值Δ的指令控制信號。然后,過程繼續到步驟S41。
也應當注意,當以一定的定時增大連續減小的誤差信息時,控制單元65輸出一個指令控制信號,使校正值Δ降低,例如,降低到1/2,以與先前情況相反的方式改變校正值。
由于重復步驟S41至步驟S45的過程,因此減小誤差信息。結果,在步驟S42判斷為當前誤差信息小于預定閾值“ε”的情況中,過程操作進到步驟S46。在步驟S46,控制單元64讀出每一類別的預測系數,存儲到預測系數存儲器61中,還讀出存儲在校正數據存儲器62中的一幀的校正數據。然后,將每一類別的預測系數和校正數據提供給多路復用單元25。過程結束。
此后,根據圖17流程,重復過程操作,等待提供下一幀的誤差信息。
應當注意,在校正單元32中,針對第二層次的圖像數據的校正,或是可以校正一幀的所有圖像數據,或是僅可以校正一幀的一部分圖像數據。當僅校正一幀的一部分第二層次的圖像數據(例如,當控制單元65探測到對誤差信息影響很大的像素)時,可以僅校正這部分的數據(例如,能夠產生影響大的像素)。現在討論可以對誤差信息影響大的像素進行探測的一個方式。首先,直接利用第二層次的圖像數據進行過程操作,因此獲取誤差信息。然后,從控制單元65給校正單元32提供控制信號,通過給每個像素相同的校正值Δ,執行校正第二層次圖像數據的過程。將產生的誤差信息與直接利用第二層次圖像數據時獲得的誤差信息進行比較。然后,可以探測比較之差大于或等于預定值的有關誤差信息的像素,作為對誤差信息影響大的像素。
如前所述,重復第二層次圖像數據的校正操作,直至誤差信息減小或降低到小于預定閾值“ε”為止。在誤差信息小于預定閾值“ε”時獲得的校正數據作為圖像的編碼結果而輸出。于是,在接收裝置4(圖1)中,從校正數據(最佳校正數據)中,有可能產生與原始圖像數據等同的(或者基本上等同的)解碼圖像,這里,為了恢復原始圖像數據,采用經稀化的圖像數據的像素值作為最合適的值。
由于以稀化過程操作、以及ADRC過程操作和分類自適應過程操作的手段對圖像進行壓縮,能夠獲得具有非常高壓縮率的編碼數據。應當注意,在發射裝置1中執行的上述編碼過程可以看作是“組合編碼過程操作”,由于稀化操作的壓縮過程操作與分類自適應過程操作有機地組合,因而實現高效率的壓縮。
圖18示出圖1所示接收裝置4的配置的一個例子。
記錄在記錄媒體2上的編碼數據在信號處理單元71中重現,此外,接收通過傳輸路徑3發送的編碼數據,提供給信號處理單元71。在信號處理單元71中,編碼數據被分離為第一層次、第二層次和第三層次的編碼數據。此外,由信號處理單元71進行誤差校正過程操作和其他的過程操作。信號處理單元71從第三層次的編碼數據復制第一層次的每一類別的預測系數,用于對第二層次的編碼數據的編碼。此后,信號處理單元71輸出第一層次的編碼數據至第三層次的編碼數據。
第一層次的編碼數據直接作為第一層次的解碼圖像數據輸出。此外,第二層次和第三的編碼數據分別輸出到預測單元72和預測單元73。
根據第二層次的編碼數據,在預測單元72中計算第一層次的圖像的預測值,然后作為第一層次的解碼圖像輸出。此外,在預測單元72中,根據第三層次的解碼圖像數據計算第一層次的預測值輸出。
圖19示出預測單元72的一個實施例。
從信號處理單元71導出的第二層次的編碼數據提供給分離單元81,分離單元分離出第二層次的最佳校正數據和第一層次的每一類別的預測系數。將第二層次的最佳校正數據和第一層次的每一類別的預測系數提供給解碼單元80。
解碼單元80包括分類用的塊產生單元82、預測值計算用的塊產生單元83、ADRC處理單元84、分類單元85、以及預測單元86。解碼單元80的這些各個單元的排列方式與分類用的塊產生單元41、用于預測值計算的塊產生單元42、ADRC處理單元44和分類單元45的排列分別是相似的。因此,在這些塊中以相似的方式操作。
從分離單元81提供的最佳校正數據輸入到分類塊產生單元82和預測值計算的塊產生單元83,而第一層次的每一類別的預測系數輸入到預測單元86,然后存儲在存儲器(未示出)中。
將預測值計算的塊產生單元83輸出的預測值計算塊提供給預測單元86。由ADRC處理單元84對分類單元85輸出的分類信息進行ADRC處理。經ADRC處理的分類信息還提供給預測單元86。
在預測單元86中,根據公式(1),采用存儲在存儲器(未示出)的第一層次的每一類別的預測系數中與分類信息相對應的第一層次25×9預測系數,計算第一層次的3×3預測值,也采用由預測值計算的塊產生單元83提供的預測值計算塊的5×5最佳校正數據計算。將計算的第一層次的預測值作為第一層次的解碼圖像從解碼單元80輸出。
如上所說,采用第二層次的最佳校正數據在預測單元86中執行預測,因此,使第一層次的預測值與第一層次的圖像數據之間的誤差小于閾值“ε”。因此,根據第二層次的最佳校正數據,有可能獲得具有高分辨率的第一層次的解碼圖像數據。
圖20示出圖18中預測單元73的一個實施例。
將信號處理單元71產生的第三層次的編碼數據提供給分離單元221,分解單元221將第三層次的編碼數據分離成第三層次最佳校正數據、第二層次每一類別的預測系數、和第一層次每一類別的預測系數。第三層次最佳校正數據和第二層次每一類別的預測系數都提供到解碼單元222,而第一層次每一類別的預測系數提供到另一個解碼單元223。
解碼單元222的排列與圖19所示解碼單元80的排列相似。因此,與上述情況類似,在解碼單元222中,從第三層次的最佳校正數據和第二層次每一類別的預測系數計算第二層次圖像校正數據的預測值,然后,將計算的預測值提供給解碼單元223。解碼單元223的排列也與解碼單元80類似。因此,從第二層次的預測值和第一層次的預測系數計算第一層次的預測值,然后,將計算的預測值作為第一層次的解碼圖像輸出。
為了獲得作為第二層次的最佳校正數據的最佳數據,在圖2的最佳校正數據計算單元14中計算第二層次每一類別別預測系數。如上所說,由于根據第二層次的最佳校正數據,能夠獲得具有高分辨率的第一層次的解碼圖像數據,根據第三層次的編碼數據,也能夠獲得具有高分辨率的第一層次的解碼圖像數據。
如前所述,當由于某些原因丟失了一部分甚至全部的第一層次編碼數據和第二層次編碼數據時,從第三層次(最低層次)編碼數據能夠獲得具有高分辨率的解碼圖像,就是說,第一層次的最佳校正數據與第一層次和第二層次的每一類別的預測系數相組合。
例如,在僅能夠接收第三層次編碼數據(即第三層次的最佳校正數據、第一和第二層次的每一類別的預測系數)接收裝置的情況中,能夠對具有高分辨率的解碼圖像進行解碼。此外,在僅能夠接收第二層次編碼數據和第三層次編碼數據(即第二層次的最佳校正數據、第一和第二層次的每一類別的預測系數)接收裝置的情況中,能夠對具有高分辨率的解碼圖像進行解碼。
當然,在所述的實施例中,第二層次的最佳校正數據包含在第二層次的編碼數據中。另一方面,與第二層次的最佳校正數據相反,第二層次的圖像數據本身可以包含在第二層次的編碼數據中。
此外,第一層次的編碼數據、第二層次的編碼數據、和第三層次的編碼數據被包含在信號處理單元15輸出的編碼數據中。如前所述,由于僅從第三層次的編碼數據(第三層次的最佳校正數據、第一和第二層次的每一類別的最佳預測系數)就能產生具有高象質的編碼圖像,因此,可以另外采納僅將第三層次的編碼數據包含在信息處理單元15輸出的編碼數據中。
再說,如圖2所示,將最佳校正數據計算單元13輸出的第二層次的最佳校正數據提供給最佳校正數據計算單元14,為了獲得第二層次的最佳校正數據計算每一類別的最佳預測系數。另一方面,代替第二層次的最佳校正數據,將第二層次的圖像數據本身提供給最佳校正數據計算單元14,為獲得第二層次的圖像數據,可以獲得每一類別的最佳預測系數。
在上述情況中,在圖9的局部解碼單元22中獲得第一層次的每一類別的預測系數(和構成最佳校正數據計算單元14的局部解碼單元22中第二層次的每一類別的預測系數),然后,利用第一層次的每一類別的預測系數,計算第一層次的預測值。另一方面,不用獲得局部解碼單元22中的每一類別的預測系數可以計算第一層次的各個預測值。
就是說,圖21示出局部解碼單元22的另一個實施例。當然,用于表示相應部分的參考數與圖9所示的參考數是相同的。具體講,在圖21的局部解碼單元22中采用一個預測系數ROM88和預測單元89,代替自適應處理單元46,其他單元的排列與圖9的類似。
在圖38中示出包括圖21的局部解碼單元22的最佳校正數據計算單元13。圖38的最佳校正數據計算單元13與圖5的最佳校正數據計算單元13是相似的,差別只是不將第一層次的圖像數據(第二層次的最佳校正數據)提供給圖38最佳校正數據計算單元的局部解碼單元22。正如下面詳細討論的,圖21的局部解碼單元的實施例不需要第一層次的圖像數據(第二層次的最佳校正數據)。
現在參考圖21,在預測系數ROM88中存儲了相對于類別的預測系數,這些預測系數是以學習的手段(以后具體描述)獲得的。根據分類單元44的分類信息輸出,從預測系數ROM88中讀出存儲在與這一分類信息相對應地址上的預測系數,并提供給預測單元89。
在預測單元89中,采用從塊產生單元42以及預測系數ROM88得到的預測值計算塊作為預測值計算,進行公式(1)(公式(8)示出公式(1)的具體應用)所示線性方程的計算。結果,不用各層次的原始圖像,可計算原始圖像的預測值。
因此,按照圖21的分類自適應處理單元43,不用各層次的原始圖像,可計算預測值。將存儲在預測系數ROM81中的每一類別25×9個預測系數以類似于前面所述的方式輸出到確定單元24。
圖39是表明圖21局部解碼單元22'工作過程的流程圖。圖21局部解碼單元22'的工作過程的流程在某種意義上與圖13所示過程是相似的。例如,步驟S21-步驟S23是一樣的。然而,在步驟S23A,從預測系數ROM88讀出分類的預測系數。在步驟S23B,在預測單元89中執行計算預測值的自適應過程。同時,在步驟S23C,預測系數ROM將分類的預測系數提供判斷單元。
接著,圖22示出為獲得存儲在圖21所示預測系數ROM88中預測系數,執行學習工作的圖像處理裝置的一個實施例。
把學習目的用的圖像數據提供給學習用塊產生單元91和教師用塊產生單元92。如下所述,利用這些圖像數據獲得可應用于任何圖像的預測系數。應當注意,當獲得第一層次的每一類別的預測系數時,第一層次的圖像數據作為學習圖像提供給學習塊產生單元91和教師塊產生單元92。此外,當獲得第二層次的每一類別的預測系數時,第二層次的圖像數據作為學習圖像提供給學習塊產生單元91和教師塊產生單元92。
例如,學習塊產生單元91從輸入的圖像數據提取圖10中以符號“●”表示位置關系的以標注的像素為中心的25個像素(5×5個像素),此后以具有這25個像素的塊作為學習塊提供給ADRC處理單元93和學習數據存儲器96。
此外,例如在教師塊產生單元92中,從輸入圖像數據產生一個由9個像素(3×3個像素)構成的塊,然后將具有這9個像素的塊作為教師塊提供給教師數據存儲器98。
也應注意,例如,在學習塊產生單元91中,當學習塊是由位于圖10所示符號“●”表示位置關系的以標注的像素為中心的25個像素構成時,從教師塊產生單元92產生圖10所示矩形圍繞的3×3個像素構成的教師塊。
ADRC處理單元93從25個像素中提取中心9個像素(3×3像素),構成學習塊,然后以類似于圖21的ADRC處理單元93的方式相對這9個像素構成的塊執行1比特的ADRC處理工作。由ADRC處理工作處理過的3×3像素塊提供給分類單元94。在分類單元94中,對來自ADRC處理單元93的塊進行分類,以獲得分類信息。通過開關95的終端“a”,將這一分類信息提供給學習數據存儲器96和教師數據存儲器98。
在學習數據存儲器96中,或者在教師數據存儲器98中,從學習塊產生單元91輸出的學習塊,或者從教師塊產生單元92輸出的教師塊被存儲在與此處提供分類信息相對應的地址上。
結果,現在假設,圖10中具有符號“●”表示的5×5個像素的塊作為學習塊存儲在學習數據塊96的特定地址上,圖中所示的以矩形圍繞的3×3個像素構成的塊作為教師塊存儲在與上述地址相同的地址上。
接下來,對于所有的準備的學習圖像,重復類似的過程,使學習塊和教師塊存儲在學習數據存儲器96和教師數據存儲器98中的相同地址上。教師塊以9個像素排列,在這之中,通過采用與學習塊25個像素校正數據具有相同位置關系的25個校正數據構成的預測值計算塊,在局部解碼單元22中計算預測值。
由于許多信息存儲在學習數據存儲器96和教師數據存儲器98中的相同地址上,能夠在相同的地址上存儲許多學習塊和許多教師塊。
當所有學習圖像的學習塊和教師塊存儲到學習數據存儲器96和教師數據存儲器98中時,已經選擇到端“a”的開關95將選擇改變到端“b”,使計數器97的輸出作為一個地址提供給學習數據存儲器96和教師數據存儲器98。計數器97將預定時鐘計數,輸出順序計數的值,而在學習數據存儲器96或教師數據存儲器98中,讀出與這一計數值相對應地址上存儲的或是學習塊或是教師塊,提供給計算單元99。
結果,把類別的一組學習塊和一組教師塊提供給計算單元99,提供對應于計數器97的計數值。
根據特定類的一組學習塊和教師塊,計算單元99利用這些塊組,用最小二乘方的方法,計算能夠使誤差減至最小的預測系數。
換句話說,現在假設,構成學習塊的像素的像素值是X1、X2、X3,…,所需的預測系數是w1、w2、w3,…。為了以這些值的線性方程方法獲得構成教師塊的一個特定像素值“y”,預測系數w1、w2、w3,…必須滿足下列公式y=w1x1+w2x2+w3x3+…
因此,以建立和解上述公式(7)所示正規方程的方式,在計算單元99中,可計算預測系數w1、w2、w3、…,而這些預測系數使預測值w1x1+w2x2+w3x3+…相對同一類中學習塊和相應教師塊真值“y”的平方誤差減至最小。因此,對每一類別進行上述過程,計算每一類別的25×9個預測系數。
在計算單元99中計算的相對各個類的預測系數提供給存儲器100。除了從計算單元99得到的預測系數外,還把計數值從計數器97提供到存儲器100。結果,在存儲器100中,從計算單元99得到的預測系數被存儲在與計數器97輸出的計數值相對應的地址上。
如上所述,用于預測一個類中3×3個像素塊的25×9個最佳預測系數存儲在存儲器100中與各個類相對應的地址上。
以上述方式存儲在存儲器100中的每一類別的預測系數被存儲在圖21的預測系數ROM88中。
當然,預測系數不存儲在預測系數ROM88中與各個類相對應的地址上。然而,可以存儲教師塊像素值的平均值。在這種情況中,當提供分類信息時,輸出與該類別相對應的相素值。于是,在圖21的局部解碼單元22中,既不給塊產生單元42提供預測值計算,也不給預測單元89提供。
利用圖21所示局部解碼單元的結果,無論是圖19所示的預測單元72還是圖20所示的預測單元73,可以不采用分離單元81或分離單元221。此外,圖19的解碼單元80(類似于圖20的解碼單元222和223)的排列如圖23所示。換句話說,在這種情況中,解碼單元80可以包括分類塊產生單元41、預測值計算塊產生單元42、ADRC處理單元44、分類單元45和圖21所示局部解碼單元22中采用的預測系數ROM88;或者解碼單元80可以包括分類塊產生單元141、預測值計算塊產生單元142、ADRC處理單元144、分類單元145、預測系數ROM146、或與預測單元89相對應的預測單元147。
當然,正如前面參考圖9所討論的,預測系數是順次地計算的,以獲得預測值,將其稱之為“順序方法”,同樣如前面參考圖21所討論的,每一類別的預測系數先存儲在預測系數ROM88中,用這些所存儲的每一類別的預測系數來獲得預測值,將其稱之為“ROM方法”。
根據本發明發射裝置1的實施例3,如圖40所示,提供一個最佳校正數據計算單元13與圖21的局部解碼單元22一起使用。參考圖40,在這又一個實施例中,在發射裝置1(圖2)中,第一層次的圖像數據不需要提供給局部解碼單元22'。此外,與圖5所示的最佳校正數據計算單元13不同,用圖40的最佳校正數據計算單元13,每一類別的預測系數不提供給信號處理單元。此外,不需要用局部解碼單元的第一層次的圖像數據(或第二層次的最佳校正數據),因此不用提供。
圖41是說明用圖40最佳校正數據計算單元13'進行過程的流程圖。參考圖41,該流程與圖6的流程是相似的,差別是在圖40流程中步驟S6'(與圖6中步驟S6相對),最佳校正數據是作為編碼數據輸出的,不輸出每一類別的預測系數。
圖42示出圖40最佳校正數據計算單元13的局部解碼單元22。除了在局部解碼單元22不向外側提供預測系數外,圖42所示的局部解碼單元22與圖21所示的局部解碼單元22是相似的。
圖43示出圖42所示局部解碼單元22'工作的程序。圖43的流程圖與圖13所示的說明圖9局部解碼單元工作的流程圖是非常相似的。例如,步驟S21-步驟S23是相同的。然而,在步驟S24,從預測系數ROM88讀出分類的預測系數。然后,在步驟S24A,預測單元89執行計算預測值的自適應過程。在步驟S24B,輸出預測值。
圖44示出圖42局部解碼單元的判斷單元24。圖44的判斷單元24不同于圖24的判斷單元24,在圖44判斷單元24中不包括預測系數存儲器61。同樣,圖44的判斷單元24不向乘法單元提供預測系數。
圖45是說明圖42局部解碼單元中圖44判斷單元24工作的流程圖。圖45的流程圖與圖17的流程圖(說明圖16判斷單元的工作)是相似的,差別是在步驟S46不輸出每一類別的預測系數(圖44判斷單元不產生)。
圖46示出接收裝置4中使用的第三層次的預測單元,它與上面討論的發射裝置的第三個實施例是互補的。具體說,正如從圖46看到的,在解碼單元222與解碼單元223之間不通過每一類別的校正數據或預測系數。而是,解碼單元222接收第三層次的編碼數據,向解碼單元223提供第二層次的預測值。從第二層次的預測值,解碼單元223確定第一層次的預測值(實際上是第一層次的解碼圖像)。
圖24示出圖1所示發射裝置1的實施例4。應該注意,采用圖2所示的相同參考數字作為圖24的相同或相類似部件的表示數字。
在圖24實施例中,僅將第一層次的圖像數據提供給最佳校正數據計算單元101,然后從其第一層次的圖像計算第二層次的最佳校正數據。將計算出的第二層次的最佳校正數據作為第二層次的編碼數據提供給信號處理單元15。僅將從稀化單元11輸出的第二層次的圖像數據提供給最佳校正數據計算單元102,在這里,從第二層次的圖像數據計算第三層次的最佳校正數據。然后,將計算出的第三層次的最佳校正數據作為第三層次的編碼數據提供給信號處理單元15。
接著,圖25表示圖24所示最佳校正數據計算單元101排列的一個例子。由于最佳校正數據計算單元102的排列與最佳校正數據計算單元101的相類似,因此可省略其說明。
把第一層次的圖像數據(在最佳校正數據計算單元102的情況中,第二層次的圖像數據)提供給塊產生單元111。塊產生單元111對第一層次的圖像數據進行處理,產生中心在所注明像素的分類塊,這就是根據其自然特征將第一層次的圖像數據分類成一個預定類別的單元,因此給ADRC處理單元112和延遲單元115提供圖像塊。
ADRC處理單元112對來自塊產生單元111的塊(分類塊)執行ADCR處理操作,然后將最終的由ADRC碼構成的塊提供給分類單元113。
分類單元113執行分類過程工作,根據其自然特性,把從ADRC處理單元112輸出的塊分類到一個預定類別,然后把表示這個塊屬于任何類別的信息,作為分類信息提供給映射系數存儲器114。
正如后面將要討論的,映射系數存儲器114中存儲了從學習操作(映射系數學習)每一分類信息獲得的映射系數。而利用從分類單元113提供的分類信息,從存儲器111讀出在該地址上存儲的映射系數,提供給計算單元116。
延遲單元115對從塊產生單元111提供的塊延遲,直至從映射系數存儲器114讀出與該塊分類信息相對應的映射系數為止,然后把已延遲的塊提供給計算單元116。
計算單元116采用構成延遲單元115提供塊像素的像素值,以及由映射系數存儲器114提供的與該塊類別相對應的映射系數,進行預定的計算。由此計算編碼數據,通過使這一圖像的像素數目稀化(或縮減),對這一圖像編碼,可以獲得編碼數據。換句話說,計算單元116計算預選函數值“f”(y1,y2,…,k1,k2,…)同時利用下列值作為自變量。即,構成從塊產生單元111輸出的塊的各個像素的像素值是y1,y2,…,從映射系數存儲器114輸出的與這一塊的類別相對應的映射系數是k1,k2,…。例如,計算出的函數值“f”(y1,y2,…,k1,k2,…)作為構成從塊產生單元111輸出的塊(分類塊)的各個像素中一個中心像素的像素值輸出。
于是,現在假設,構成從塊產生單元111輸出的分類塊的像素數目等于N個像素,計算單元116使圖像數據稀化到1/N,將經1/N稀化的數據作為編碼數據輸出。
當然,從計算單元116輸出的編碼數據不是通過提取由N個像素排列塊的中心像素而產生的,就是通過執行一種簡單的稀化過程操作產生的這種數據,但是,如前所述,該編碼數據等于構成該塊的N個像素定義的函數值“f”(y1,y2,…,k1,k2,…)。換句話說,函數值“f”(y1,y2,…,k1,k2,…)確定一個最佳值。即,從簡單稀化過程操作獲得的塊的中心像素的像素值被校正為能夠根據位于該中心像素周圍的像素值獲得原始圖像數據的最佳值。于是,可以把計算映射系數所獲得的數據和構成塊的像素看作是“最佳校正數據”。
此外,在計算單元116中執行的計算過程可以看作是把構成塊產生單元111輸出的分類塊的各像素的像素值映射到函數值“f”(y1,y2,…,k1,k2,…)的過程操作。于是,在該過程操作中采用的系數k1,k2,…將被看作是“映射系數”。
現在參考圖26的流程圖,介紹過程操作的工作。
以一幀為單位,將第一層次的圖像數據提供給塊產生單元111。在塊產生單元111中,在步驟S101,對第一層次的圖像進行一幀處理,產生分類塊。例如,如圖10用一個矩形圍繞的像素所示,塊產生單元111將圖像數據再劃分成由9個像素構成的中心在所標像素(沿橫向和縱向的3×3像素)的分類塊,并順次地將這一分類塊提供給ADRC處理單元112和延遲單元115。
在這種情況中,用3×3像素構成的正方形塊排列分類塊。另一方面,分類塊的形狀不限于正方形,例如可以由矩形、十字形、以及其他任意形狀構成。此外,構成分類塊的像素總數不限于9個像素(即3×3像素)。再說,分類塊不需要是鄰接的像素,而可以以相互間位置分離像素的不同方式排列。應該注意,分類塊的形狀和像素數量必須與學習操作(即映射系數學習操作,后面將具體討論)期間采用的分類塊的形狀和像素數量相一致。
在步驟S102,根據塊產生單元111的分類塊,ADRC處理單元112針對這個塊執行一比特的ADRC處理操作,以一比特結果表示像素的塊。經ADRC處理的分類塊提供給分類單元113。
在分類單元113中,在步驟S103,由ADRC處理單元112獲得的分類塊分成一個類,因此,產生的分類信息作為一個地址提供給映射系數存儲器114。結果,在步驟S103A,從映射系數存儲器114讀出與分類單元113所提供的分類信息相對應的映射系數,提供給計算單元116。
另一方面,在延遲單元115中,對塊產生單元111產生的分類塊進行延遲,提供經延遲的分類塊,同時等待從映射系數存儲器114讀出與這一塊的分類信息相對應的映射系數。在步驟S104,在計算器116中,根據從延遲單元115產生的構成分類塊的各個像素的像素值,以及根據從映射系數存儲器114讀出的映射系數,計算上述的函數“f(●)”(在函數“f”中出現的符號“●”表示一組像素值y1,y2,…,和一組映射系數k1,k2,…)。因此,能夠計算通過校正分類塊的中心像素的像素值產生的最佳校正數據,產生一個最佳像素值。在步驟S105,這一最佳校正值作為第二層次的編碼數據輸出到信號處理單元15(圖24)中。
然后,在步驟S106,作出是否已完成第一層次圖像數據的一幀的處理的判斷。在步驟S106,當判斷為未完成第一層次圖像數據的一幀的處理時,過程返回到步驟S102,對下一個分類塊重復步驟S102之后限定的過程操作。另一方面,當在步驟S106判斷為已完成第一層次圖像數據的一幀的過程操作時,過程返回到步驟S101,重復步驟S102之后限定的下一幀的過程操作。
接著,圖27示出用于計算映射系數存儲器114(圖25)中所存儲映射系數的,執行學習(映射系數學習)過程操作的圖像處理裝置的一個結構實例。
在存儲器121中,可存儲多于一幀的第一層次圖像數據,它適合于學習過程(此后將看作是“學習圖像”)。應該注意,計算存儲在構成最佳校正數據計算單元102的映射系數存儲器114中的映射系數,將第二層次的圖像數據存儲在存儲器121中。
塊產生單元122讀出存儲在存儲器121中的圖像數據,產生類似于圖25所示的塊產生單元111輸出的分類塊,然后將該塊提供給ADRC處理單元123和計算單元126。
ADRC處理單元123和分類單元124分別執行類似于圖25中ADRC處理單元112和分類單元113的操作。結果,從分類單元124輸出從塊產生單元122輸出的分類信息。然后,將這一分類信息作為一個地址提供給映射系數存儲器131。
采用從塊產生單元122提供的構成塊的像素,以及從映射系數存儲器131提供的映射系數,計算器126執行與圖25中計算單元116同樣的計算。因此,計算器126給局部解碼單元127提供最終的校正數據(函數“f”(●))。(局部解碼單元127可以是圖9、21和42所示局部解碼器件的任何一種。)根據計算單元126提供的校正數據,局部解碼單元127按照上述的ROM方法(即“順次方法”)預測(計算)原始學習圖像數據的預測值(就是說,從塊產生單元122輸出的構成塊的像素的像素值的預測值),然后將這一預測值提供給誤差計算單元128。在采用順次方法的情況中,從存儲器12學習的圖像數據提供給局部解碼單元(圖7)。誤差計算單元128讀出與局部解碼單元127提供的預測值相對應學習圖像數據的像素值(真值),計算(檢測)預測值相對這一學習圖像數據的像素值的預測值的預測誤差,然后將這一計算的預測誤差作為誤差信息提供給判斷單元129。
判斷單元129對誤差計算單元128提供的誤差信息與預定的閾值“ε1”進行比較,然后根據這一比較結果控制映射系數設置單元130。在判斷單元129的控制下,映射系數設置單元130設定(改變)一組映射系數,其數目與分類單元124獲得的類別數目是相等的,然后將改變的一組映射系數提供給映射系數存儲單元131。
映射系數存儲單元131中暫時存儲從映射系數設置單元130提供的每一類別的映射系數。當然,映射系數存儲器131具有能夠存儲映射系數(映射系數組)的存儲區。存儲區的數目等于分類單元124中分類的類數目。在每個存儲區中,當從映射系數設置單元130提供的每一類別的新的映射系數時,最好存儲這新的每一類別的映射系數,取代以前存儲的每一類別的映射系數。
此外,映射系數存儲器131讀出與分類單元124提供的分類信息相對應的地址上所存儲的映射系數,然后將讀出的映射系數提供給計算單元126。
現在參考圖28的流程圖,介紹其工作。
首先,在步驟S151,映射系數設置單元130設置一組數目僅等于分類單元124中所分類數目的映射系數初始值,然后將這組初始值提供給映射系數存儲器131。在映射系數存儲器131中,從映射系數設置單元130獲得的每一類別(初始值)的映射系數存儲在相應類別的地址上。
然后,在步驟S152,塊產生單元122對存儲在存儲器121中的所有學習圖像進行處理,以類似于圖25所示塊產生單元111的方式產生中心在所標示像素的具有3×3個像素的塊。此外,塊產生單元122從存儲器121讀出塊,并將讀出的塊順次地提供給ADRC處理單元123和計算單元126。
在步驟S153,與圖25的ADRC處理單元112的過程操作相類似,123對塊產生單元122輸出的塊進行一比特的ADRC處理操作,然后將經ADRC處理的塊提供給分類單元124。在步驟S154,在分類單元124中,對ADRC處理單元123提供的塊的類別作出決定,將這一分類信息作為一個地址提供給映射系數存儲器131。因此,在步驟S155,從映射系數存儲器131的地址讀出映射系數,它與分類單元124提供的分類信息是對應的,然后把讀出的映射系數提供給計算單元126。
在步驟S156,當從塊產生單元122接收塊,以及從映射系數存儲器131接收與該塊的類別相對應的映射系數時,計算單元126根據映射系數和塊產生單元122提供的塊像素的像素值,計算上述的函數值“f(●)”。計算結果提供給局部解碼單元127,通過校正從塊產生單元122提供的塊中心像素的像素值,作為所獲的校正數據。
換句話說,例如,在圖10中,假設從塊產生單元122輸出由矩形圍繞的3×3個像素的塊,通過校正圖中以符號“●”標示的像素的像素值,計算單元126計算所產生的校正數據,然后將計算的這一校正數據輸出到局部解碼單元127。
因此,在計算單元126中,構成學習圖像數據的像素的數目稀化到1/9,因此把經稀化的像素數目提供給局部解碼單元127。
在步驟S156計算校正數據后,過程繼續到步驟S157,針對是否已計算存儲器121中存儲的所有學習圖像數據的校正數據,作出檢查。當在步驟S157判斷為還未計算所有學習圖像數據的校正數據時,過程返回到前面的步驟S153。然后,重復在步驟S153-步驟S157的過程,直至計算所有學習圖像數據的校正數據為止。
當在步驟S157判斷為已計算所有學習圖像數據的校正數據(即,通過使存儲器121中存儲的所有學習圖像數據稀化到1/9,能夠獲得經稀化的圖像)時,過程操作前進到步驟S158,這時,在局部解碼單元127中對這一經1/9稀化的圖像進行局部解碼,計算原始學習圖像的預測值。當然,這一經1/9稀化的圖像不等于通過簡單地使學習圖像稀化到1/9所產生的稀化圖像。而是,這一經1/9稀化的圖像等于為獲取像素值通過計算映射系數而獲得的另一個稀化的圖像數據。然后將預測值提供給誤差計算單元128。
在步驟S159,在誤差計算單元128中,從存儲器121讀出學習圖像,然后計算局部解碼單元127提供的預測值相對這一讀出學習圖像數據的預測誤差。換句話說,當學習圖像數據的像素值表示為“Yij”,從局部解碼單元127輸出的預測值表示為“”時,在誤差計算單元128中計算下列公式表示的誤差標準離差(即誤差的平方和)“Q”。將這一誤差標準離差作為誤差信息提供給判斷單元129。
Q=(Yij-)2]]>,式中符號“∑”表示對所有學習圖像數據求和。
在步驟S160,根據誤差計算單元128的誤差信息,判斷單元129在步驟S160對這一誤差信息與預選的閾值“ε1”進行比較,判斷這一誤差信息是否大于閾值“ε1”。當在步驟S160判斷為這一誤差信息不小于閾值“ε1”(即,未識別出局部解碼單元127中獲得的預測值所構成的圖像基本上等于原始學習圖像數據)時,判斷單元129給向映射系數設置單元130輸出一個控制信號。在步驟S161根據判斷單元129產生的控制信號,映射系數設置單元130改變每一類別的映射系數,使改變的每一類別的映射系數新存儲到映射系數存儲器131中。
然后,過程操作返回到步驟S153,這時,利用存儲在映射系數存儲器131中改變后的映射系數,重復步驟S153以后限定的過程操作。
當然,在映射系數設置單元130中可隨機地改變映射系數。另一方面,如果當前誤差信息變得小于先前的誤差信息時,可以根據類似于先前趨勢的趨勢改變映射系數。此外,如果當前誤差信息變得大于先前的誤差信息時,可以根據與先前趨勢相反的趨勢改變映射系數。
此外,可以針對所有的類別或一部分類別,改變映射系數。當只改變一部分類別的映射系數時,例如,檢測能夠對誤差信息產生強烈影響的類別,那么可以只改變這些映射系數。按照如下過程可檢測能夠對誤差信息產生強烈影響的類別。首先,利用映射系數的初始值來獲得其誤差信息,進行過程操作。此后,用相同量的每一個類別改變映射系數,產生的誤差信息與采用初始值時獲得的誤差信息進行比較。可以檢測比較差值不小于預定值的類別,作為檢測能夠對誤差信息產生強烈影響的類別。
此外,如果把上述的k1,k2,…一類的多個映射系數設置為一組,那么可以只改變會對其中的誤差信息產生強烈影響的映射系數。
在以上情況中,映射系數被設置為每個類。另一方面,映射系數可以相對每個塊或以鄰接塊為單位獨立地設置。
應該注意,當映射系數獨立地設定每個塊時,對于一個特定的類,有可能獲得許多組映射系數(相反,則可能出現一個不能獲得一組映射系數的類)。最后,如前所說,既然映射系數應對每個類別確定,因此當針對一個特定的類獲得多組映射系數時,對多組映射系數進行一個特定的過程操作,必須確定一組映射系數。
另一方面,當在步驟S160判斷為這一誤差信息已經變得小于閾值“ε1”(即,識別出局部解碼單元127中獲得的預測值所構成的圖像基本上等于原始學習圖像數據)時,完成過程操作。
此時,已經存儲在映射系數存儲器131中的每一類別的映射系數,作為最佳映射系數設定到圖25的映射系數存儲器114中,該映射系數能夠獲得使解碼圖像數據(預測值)識別為基本上與原始圖像數據相同圖像的校正數據。
因此,根據利用這一映射系數獲得的最佳校正數據,有可能獲得基本上與原始圖像數據相同的圖像數據。
如前所說,在圖27的實施例中,用塊產生單元122把圖像再劃分成中心在所標示像素由9個像素(3×3個像素)構成的塊,而在ADRC處理單元123中對圖像塊進行一比特的ADRC處理操作。因此,由分類單元124分類獲得的類別的數目等于512(=(21)9)。于是,獲得512組映射系數。
作為接收裝置4的一部分,可采用圖46的預測單元73,對圖24發射裝置產生的編碼圖像數據(更具體指第三層次的編碼圖像數據)解碼。
圖29示出用于計算圖25映射系數存儲器114中存儲的映射系數,執行學習(映射系數學習)過程操作的圖像處理裝置的另一個結構例子。
應該注意,根據圖27的圖像處理裝置,即使當函數“f”以線性方程,進而非線性方程,二次方程或多次方程來表示時,可以獲得最佳預測系數。另一方面,在圖29的圖像處理裝置中,只有當函數“f”以線性方程表示時,可以計算最佳預測系數。
換句話說,在下列情況中可采用圖29的圖像處理裝置。就是,在圖25中,當塊產生單元111輸出的由3×3個像素構成塊的各像素的像素值設定為y1,y2,…,y9,映射系數存儲器114輸出的映射系數設定為k1,k2,k3,…k9時,根據下述公式,計算單元116計算函數“f”(y1,y2,…,k1,k2,,…),獲得校正數據。
f(●)=k1y1+k2y2+…+k9y9以一幀為單位給稀化單元171提供第一層次的圖像數據(作用為適合于學習目的的學習圖像數據)。在稀化單元171中,使第一層次圖像數據的像素數目稀化,產生第二層次的圖像數據。當然,當把計算的映射系數存儲在映射系數存儲器114中,供以后由最佳校正計算單元102(圖24)使用時,第二層次的圖像數據提供給稀化單元171,形成第三層次的圖像數據。
在稀化單元171中獲得的第二層次的圖像數據提供給最佳校正數據計算單元170。最佳校正數據計算單元170由校正單元172、局部解碼單元173、誤差計算單元174、和判斷單元175(分別于上述的圖5、圖3 8或圖40中校正單元21、局部解碼單元22、誤差計算單元23和判斷單元24相類似)排列而成。在最佳校正數據計算單元170中,產生針對輸入圖像的最佳校正數據,就是第二層次的圖像,并提供給閂鎖單元176。在采用圖5最佳校正數據計算單元的情況中,給局部解碼單元提供學習的圖像數據。
閂鎖單元176包括存儲最佳校正數據計算單元170提供的最佳校正數據的存儲器170 A。此外,閂鎖單元176在存儲在存儲器176 A的最佳校正數據中,讀出與塊產生單元177的存儲器177 A讀出的塊的中心像素相對應的最佳校正數據。應該注意,當把一幀的校正數據存儲在存儲器176 A中時,閂鎖單元176 A給塊產生單元177輸出一個控制信號,表示這一數據的存儲。
將與提供給稀化單元171圖像數據相同的圖像數據,即第一層次的圖像數據,以一幀為單位提供給塊產生單元177。塊產生單元177包括一個存儲所提供學習圖像數據的存儲器177 A。根據閂鎖單元176發出的控制信號,塊產生單元177以類似于圖25的塊產生單元111的方式,將存儲在存儲器177 A中的學習圖像數據再劃分成中心在所標示像素、由3×3個像素構成的塊。然后,順序地讀出這個塊,提供給ADRC處理單元178和存儲器180。
當從包含在塊產生單元177中的存儲器177 A讀出塊時,塊產生單元177給閂鎖單元176提供一個控制信號,表示塊的位置。在閂鎖單元176中,根據這一控制信號識別從存儲器177 A讀出的3×3個像素的塊,然后,如前所述,從存儲器176 A讀出與這個塊中心像素相對應的最佳校正數據。也就是,把具有3×3個像素的特定塊和與這個塊相對應的最佳校正數據同時提供給存儲器180。
ADRC處理單元178和分類單元179分別與圖25的ADRC處理單元112和分類單元113相類似。然后,把塊產生單元177得到的有關塊的分類信息作為地址提供給存儲器180。
在存儲器180中存儲閂鎖單元176提供的最佳校正數據和塊產生單元177提供的塊,建立一個與分類單元179提供的分類信息相對應的地址關系。注意在存儲器180中,在一個地址上可存儲多個信息。因此,能夠存儲與特定分類信息相對應的多組最佳校正數據和塊。
計算單元181同時讀出存儲在存儲器180中的學習圖像3×3個像素塊的九個像素y1,y2,…,y9,和與這個塊相對應的最佳校正數據y'。然后,對其運用最小平方方法,把計算的每個類的映射系數k1至k9提供給存儲器182。存儲器182中在與這個類相對應的地址上存儲計算單元181提供的每個類的映射系數k1至k9。
現在參考圖30的流程圖,介紹圖29裝置的工作。
當第一層次的圖像數據作為學習圖像數據輸入時,這一學習圖像數據存儲在塊產生單元177的存儲器177 A中,提供給稀化單元171。在稀化單元171中,從第一層次的圖像數據形成第二層次的圖像數據,然后提供給最佳校正數據計算單元170。
在步驟S131,根據第二層次的圖像數據,最佳校正數據計算單元170計算第二層次的最佳校正數據,將計算出的最佳校正數據提供給閂鎖單元176的存儲器176 A,進行存儲。
當在存儲器176 A中存儲一幀的最佳校正數據時,閂鎖單元176給塊產生單元177輸出一個控制信號。根據閂鎖單元176產生的控制信號,在步驟S132,塊產生單元177把存儲器177 A中存儲的學習圖像數據再劃分成由3×3個像素構成的塊。然后,塊產生單元177讀出存儲器177 A中存儲的學習圖像數據塊,將讀出的這個塊提供給ADRC處理單元178和存儲器180。
與此同時,當從存儲器177 A讀出塊時,塊產生單元177給閂鎖單元176提供表示該塊位置的控制信號。根據控制信號,閂鎖單元176識別從存儲器177 A讀出的由3×3個像素構成的塊,讀出與該塊中心像素相對應的最佳校正數據,然后,把讀出的最佳校正數據提供給存儲器180。
在步驟S133,對塊產生單元177產生的塊進行ADRC處理,在分類單元179中對該塊進行分類。分類的結果作為地址提供給存儲器180。
在步驟S134,存儲器180中存儲閂鎖單元176提供的最佳校正數據和塊產生單元177提供的塊(學習數據),在與分類單元179提供的分類信號相對應的地址上具有相對應的關系。
過程操作前進到步驟S135,這一檢查存儲器180中是否存儲了一幀的塊和最佳校正數據。當在步驟S135判斷為在存儲器180中還未存儲一幀的塊和最佳校正數據時,從塊產生單元177讀出下一個塊,從閂鎖單元176讀出與這個讀出塊相對應的最佳校正數據。然后,過程操作返回到步驟S133,重復步驟S133以后所限定的過程操作。
另一方面,當在步驟S135判斷為在存儲器180中已存儲一幀的塊和最佳校正數據時,過程進到步驟S136,這一檢查是否已經完成所有學習圖像的過程。如果判斷為還未完成所有學習圖像的過程操作,過程返回到步驟S131,對下一個學習圖像數據重復步驟S131以后的步驟。
另一方面,在步驟S136判斷為已經完成所有學習圖像的過程操作時,過程前進到步驟S137,在這一計算單元181讀出存儲在存儲器180中每一類別的最佳校正數據和塊,然后根據這些數據和塊建立公式(7)所示的正規方程。此外,在步驟S138,計算單元181對這一正規方程求解,計算能夠使每一類別的誤差達到最小的映射系數。在步驟S139,將計算出的映射系數提供給存儲器182存儲。然后過程結束。
如果以線性方程表示函數“f”,以上述方式存儲在存儲器182中的映射系數被存儲到圖25的映射系數存儲器114中,利用這些映射系數能夠獲得最佳校正數據。
然而,在有些情況中,不能獲得足夠多數目的能獲得映射系數的正規方程。在有些情況中,在圖25的計算單元116中,映射系數設定為缺省值,即輸出k1至k2=1/9,是塊產生單元111輸出3×3個像素塊的9個像素的平均值。
實施例4和5的接收裝置的結構與圖18的結構類似。此外,第二層次和第三層次的預測單元的結構與圖23和圖46的結構類似。然而,存儲在預測系數ROM中的每個類的預測系數相當于(相等于)映射系數學習裝置中使用的預測系數。
首先,在圖2的情況中,如圖31 A所示,在最佳校正數據計算單元13中計算下列最佳校正數據。通過校正第二層次的圖像數據,產生這一校正數據,能夠獲得第一層次的預測值,使第一層次的圖像數據的誤差(誤差信息)小于預選的閾值“ε”。此后,如圖31 B所示,在最佳校正數據計算單元14中計算下列最佳校正數據。通過校正第三層次的圖像數據,產生這一校正數據,能夠獲得第二層次的預測值,使第二層次的最佳校正數據的誤差(誤差信息)小于預選的閾值“ε”。例如,另一方面,如圖32所示,可獲得對應于最下層次的第三層次的最佳校正數據。
就是說,通過校正第三層次的圖像數據產生的校正數據,計算第二層次的預測值。此外,直接利用第二層次的計算出的預測值,計算第一層次的預測值。然后使第一層次的預測值的預測誤差(誤差信息)小于預定的閾值“ε”,采用這一校正數據作為第三層次的最佳校正數據。
圖33示出以上述方式能夠獲得第三層次最佳校正數據的發射裝置1的實施例6。應該注意,采用圖2所示的相同參考數字表示圖33的相應部分。
在圖33的實施例中,將第一至第三層次的圖像數據提供給最佳校正計算單元201。在計算單元201中,通過校正第三層次的圖像數據獲得的校正數據,計算第二層次的預測值。此外,直接利用計算出的第二層次的預測值,計算第一層次的預測值。當使第一層次的預測值的預測誤差(誤差信息)小于預定的閾值“ε”,獲得校正數據時,最佳校正數據計算單元201給信號處理單元15輸出計算出的該校正數據,作為第三層次的最佳校正數據和第三層次的編碼數據。
在圖33的實施例中,第一層次的圖像數據作為第一層次的編碼數據直接提供給信號處理單元15。然而,第二層次的圖像數據不提供給信號處理單元15。在改進的實施例中,第二層次的圖像數據可以作為第二層次的編碼數據提供。
接著,圖34示出圖33最佳校正數據計算單元201的一個實施例。在圖33中,采用與圖5所示的相同參考數字表示圖33的相對應的部分。此外,最佳校正數據計算單元201與圖5的最佳校正數據計算單元13是類似的,區別在于局部解碼單元231與圖5的局部解碼單元22略有不同。
在圖33的實施例中,第三層次的圖像數據輸入到校正單元21,輸出通過對第三層次圖像數據進行校正而獲得的校正數據。將校正單元21輸出的校正數據和第二層次的圖像數據提供給局部解碼單元22。在局部解碼單元22中,計算第二層次的預測值并輸出。此外,從局部解碼單元22輸出的第二層次的預測值以及第一層次的圖像數據輸入到局部解碼單元231,在這里,計算并得到第一層次的預測值。
根據本實施例,在局部解碼單元22和231中,用前述的“順序方法”計算預測值。另一方面,在局部解碼單元22和231中,可用前述的“ROM方法(圖21)”計算預測值。
參考圖35的流程圖,介紹圖34最佳校正數據計算單元的過程。
在步驟S201,當把第三層次的圖像數據提供給校正單元21時,校正單元21不是首先執行校正操作。而是校正單元21首先直接給局部解碼單元22和判斷單元24輸出第三層次的圖像。在步驟S202,在局部解碼單元22中,對校正單元21輸出的校正數據(如上所述,第一次啟動過程時輸出第三層次本身的圖像數據)進行局部解碼。
換句話說,在步驟S202,以類似于圖9過程的方式,計算第二層次每一類別的預測系數。此外,根據這一預測系數,計算第二層次的預測值,并提供給局部解碼單元231。
在步驟S203,在局部解碼單元231中,對局部解碼單元22的第二層次的預測值進行局部解碼。
在步驟S203,就是類似于局部解碼單元22中的過程,計算第一層次的每一類別的預測系數,進而根據這一預測系數,計算第一層次的預測值,然后提供給誤差計算單元23。
接下來,步驟S204-步驟S207的過程類似于圖6流程中步驟S3-步驟S6的過程。因此,能夠獲得第三層次的最佳校正數據,能夠使第一層次的預測值減小到低于閾值“ε”。
因此,即使當以這種方式獲得第三層次的最佳校正數據時,能夠獲得具有高象質的解碼圖像。
當然,在圖33所示的實施例中,不提供第二層次的圖像數據。另一方面,可以用局部解碼單元22輸出的第二層次的預測值作為第二層次的解碼數據。此外,可采用圖2所示的最佳校正數據計算單元13,和采用其輸出的第二層次的最佳校正數據作為第二層次的編碼數據。
此外,在圖33的實施例的情況中,在從信號處理單元15得到的編碼數據中不需要包括第一層次至第三層次的所有編碼數據。例如,可以僅包括第三層次的編碼數據。
由圖18所示的接收裝置4和圖20所示的預測單元對圖33所示的發射裝置輸出的編碼數據進行解碼。
根據實施例7,圖33發射裝置的最佳校正數據計算單元201如圖47所示。圖47最佳校正數據計算單元201與圖34最佳校正數據計算單元非常相似,差別是用圖47最佳校正數據計算單元,局部解碼單元231不利用第一層次的圖像數據。
圖48是說明圖47最佳校正數據計算單元201操作的流程圖。該流程圖與圖35說明圖34最佳校正數據計算單元操作的流程圖是類似的,不同的只是圖48流程圖的步驟S207是從輸出最佳校正數據的一(圖35流程圖的步驟S207包括對每一類別的最佳校正數據和預測系數進行多路復用以及輸出編碼數據)。
應該注意,用本發明的實施例可以對多種不同類別的圖像數據(從標準格式的電視信號(例如NT步驟SC)到包含較大量數據的高分辨率電視信號)進行編碼和解碼。此外,在這些實施例中,盡管描述的每個過程是針對一幀進行的,但是,進行的每個過程可以針對一場或兩幀或多幀。
此外,描述的塊編碼是一次對一幀圖像進行的,在多個時間序列的幀中,通過把相同位置的像素結合起來也能夠構成塊。
再說,誤差信息是作為誤差的平方和形式描述的,但是,也能夠采用誤差的絕對值或誤差的立方和(或更高階方)作為誤差信息。根據統計特性(例如收斂性),能夠決定作為誤差信息使用的信息的類別。
另外,盡管對圖像是以三層次進行編碼進行描述的,但是,層次數并不限于三層次。
至于第三層次(等于最底層次)的最佳校正數據,可以計算各層次中的預測值的預測誤差,并這樣計算校正數據,使所有或部分預測值組合的總誤差低于預選值。
權利要求
1.一種用于進行分層次編碼的裝置,其特征在于包括用于形成第二層次的圖像數據的裝置,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;用于校正第二層次數據并產生校正數據的裝置;依據校正數據預測第一層次的圖像數據并產生具有多個預測像素的第一層次預測數據的裝置;用于相對于第一層次的圖像數據計算第一層次預測數據預測誤差的裝置;依據預測誤差確定校正數據的適宜性的裝置;以及依據確定的結果輸出校正數據作為第二層次圖像數據的裝置。
2.如權利要求1所述的裝置,其特征在于所述預測裝置包括產生用于校正數據的分類信息的裝置;以及依據分類信息產生預測像素的裝置。
3.如權利要求1所述的裝置,其特征在于所述預測裝置包括用于根據校正數據產生預測像素的裝置;以及用于根據校正數據和預測系數產生第一層次預測數據的裝置。
4.如權利要求1所述的裝置,其特征在于所述預測裝置包括使用校正數據的多個像素產生分類信息的裝置;使用第一層次的圖像數據和校正數據產生用于每個類別的預測系數的裝置;以及使用相應于分類信息和校正數據的預測系數產生第一層次預測像素的裝置。
5.如權利要求4所述的裝置,其特征在于所述輸出裝置輸出具有用于每個類別的預測系數的第二層次的圖像數據。
6.如權利要求1所述的裝置,其特征在于所述預測裝置包括存儲用于每個類別的預測系數的存儲器;使用多個校正數據的像素產生分類信息的裝置;以及用于從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和校正數據產生第一層次預測系數的裝置。
7.如權利要求6所述的裝置,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
8.如權利要求7所述的裝置,其特征在于所述輸出裝置輸出具有用于每個類別的預測系數的第二層次圖像數據。
9.如權利要求1所述的裝置,其特征在于所述校正裝置包括用于存儲校正第二層次圖像數據的校正值的存儲器;以及所述校正裝置使用校正值校正第二層次的圖像數據。
10.如權利要求1所述的裝置,其特征在于所述確定裝置通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述輸出裝置響應于預測誤差小于規定閾值輸出校正數據作為編碼數據。
11.一種用于對圖像的分層次編碼所代表的數據進行解碼的裝置,其特征在于包括用于接收編碼數據的裝置,所述數據至少包括第二層次的圖像數據,所述圖像數據具有數目小于第一層次圖像數據的像素數目的一些像素;用于通過以下步驟對來自第二層次圖像數據的第一層次圖像數據進行解碼的裝置形成第二層次的圖像數據并產生校正數據;依據校正數據預測第一層次的圖像數據,并產生具有多個預測像素的第一層次的預測數據;相對于第一層次的圖像數據計算第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;在必要時重復校正操作,直到校正數據變為最佳的校正數據;以及輸出最佳校正數據作為第二層次的圖像數據。
12.如權利要求11所述的裝置,其特征在于所述解碼裝置包括用于產生第二層次圖像數據的分類信息的裝置;以及依據分類信息預測第一層次圖像數據的裝置。
13.如權利要求11所述的裝置,其特征在于所述編碼數據包括預測第一層次圖像數據的預測系數;以及所述解碼裝置包括使用預測系數和第二層次圖像數據預測第一層次圖像數據的裝置。
14.如權利要求11所述的裝置,其特征在于所述編碼數據包括預測第一層次圖像數據的用于每個類別的預測系數;以及所述解碼裝置包括使用多個第二層次圖像數據的像素產生分類信息的裝置;以及使用對應于分類信息的預測系數和第二層次圖像數據預測第一層次圖像數據的裝置。
15.如權利要求11所述的裝置,其特征在于所述解碼裝置包括存儲用于每個類別的預測系數的存儲器;使用多個第二層次圖像數據的像素產生分類信息的裝置;以及用于從存儲器中讀出相應于所產生的分類信息的預測系數并使用讀出的預測系數和第二層次的圖像數據產生第一層次圖像數據的裝置。
16.如權利要求15所述的裝置,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
17.一種用于進行分層次編碼的裝置,其特征在于包括用于抽取多個第一層次圖像數據的像素并相應于所抽取的多個像素的特性產生分類信息的裝置;存儲用于每個類別的映射系數的裝置;以及用于讀出相應于分類信息的映射系數并使用第一層次的圖像數據和讀出的映射系數預測第二層次圖像數據的裝置,第二層次的圖像數據具有數目小于第一層次圖像數據的像素數目的一些像素。
18.如權利要求17所述的裝置,其特征在于所述預測裝置包括用于從第一層次的圖像數據抽取多個像素的裝置;以及根據所抽取的多個像素和的讀出的映射系數用于預測第二層次圖像數據的裝置,在這里減少第一層次圖像數據的像素數目。
19.如權利要求17所述的裝置,其特征在于使用用于學習的圖像數據產生用于每個類別的映射系數。
20.如權利要求17所述的裝置,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差最小。
21.如權利要求17所述的裝置,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差小于規定閾值。
22.如權利要求17所述的裝置,其特征在于通過以下步驟產生用于每個類別的映射抽取用于學習的多個第一層次圖像數據的像素,并相應于所抽取的多個像素的特性產生分類信息;預測第二層次的圖像數據,在這里用于學習的第一層次圖像數據的一些像素使用用于學習的第一層次圖像數據和相應于分類信息的映射系數;依據編碼數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的預測數據;相應于用于學習的第一層次圖像數據產生用于學習的第一層次圖像數據的預測數據的預測誤差;依據預測誤差更新映射系數,直到映射系數是最佳映射系數;以及確定最佳映射系數。
23.如權利要求17所述的裝置,其特征在于通過以下步驟產生用于每個類別的映射形成第二層次的圖像數據,所述數據具有數目小于用于學習的第一層次圖像數據像素數目的一些像素;校正第二層次圖像數據并產生校正數據;依據校正數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的用于學習的第一層次預測數據;相應于第一層次的圖像數據計算用于學習的第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;重復校正操作,直到校正數據是最佳校正數據;以及使用用于學習的第一層次的圖像數據和最佳校正數據產生用于每個類別的最佳映射系數。
24.一種用于對圖像數據分層次編碼的編碼數據進行解碼的裝置,其特征在于包括用于接收編碼數據的裝置,所述數據至少包括第二層次的圖像數據,第二層次的圖像數據具有數目小于第一層次圖像數據的像素數目的一些像素;對來自第二層次圖像數據的第一層次圖像數據進行解碼的裝置通過以下步驟產生所述編碼數據抽取多個第一層次圖像數據的像素并相應于所抽取的多個像素的特性產生分類信息;以及從其中存儲了用于每個類別的映射系數的存儲器中讀出相應于分類信息的映射系數,并使用具有數目小于第一層次圖像數據的像素數目的一些像素的第二層次圖像數據預測第二層次圖像數據。
25.如權利要求24所述的裝置,其特征在于所述解碼裝置包括存儲用于每個類別的映射系數的存儲器,所述預測系數用來產生用于每個類別的映射系數;用于抽取多個第二層次圖像數據的像素并相應于所抽取的多個像素產生分類信息的裝置;以及用于讀出相應于分類信息的預測系數并使用第二層次的圖像數據和讀出的預測系數預測第一層次經解碼的圖像數據的裝置。
26.如權利要求25所述的裝置,其特征在于使用用于學習的圖像數據產生用于每個類別的預測系數。
27.如權利要求24所述的裝置,其特征在于使用用于學習的圖像數據產生用于每個類別的映射系數。
28.如權利要求24所述的裝置,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差最小。
29.如權利要求24所述的裝置,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差小于規定閾值。
30.一種用于進行分層次編碼的裝置,其特征在于包括用于形成第二層次的圖像數據的裝置,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;用于形成第三層次的圖像數據的裝置,所述數據具有數目小于第二層次圖像數據的像素數目的一些像素;用于校正第三層次圖像數據并產生第三層次校正數據的裝置;依據第三層次的校正數據產生具有多個像素的第二層次預測數據的第一預測裝置;依據第二層次的預測值產生具有多個像素的第一層次預測值的第二預測裝置;相應于第一層次的圖像數據產生第一層次預測值的預測誤差的誤差產生裝置;依據預測誤差確定第三層次校正數據的適宜性的裝置;以及依據確定的結果輸出校正數據作為第三層次圖像數據的裝置。
31.如權利要求30所述的裝置,其特征在于所述第一預測裝置包括產生用于第三層次校正數據的分類信息的裝置;以及依據分類信息產生第二層次預測值的裝置。
32.如權利要求30所述的裝置,其特征在于所述第一預測裝置包括用于根據第三層次的校正數據產生第二層次預測系數的裝置;以及用于根據第三層次的校正數據和第二層次的預測系數產生第二層次預測數據的裝置。
33.如權利要求30所述的裝置,其特征在于所述第二預測裝置包括對第二層次的預測值產生分類信息的裝置;以及依據分類信息產生第一層次預測值的裝置。
34.如權利要求30所述的裝置,其特征在于所述第二預測裝置包括用于根據第二層次的預測值產生第一層次預測系數的裝置;以及用于根據第二層次的預測值和第一層次的預測系數產生第一層次預測數據的裝置。
35.如權利要求30所述的裝置,其特征在于所述第一預測裝置包括使用多個第三層次校正數據的像素產生分類信息的裝置;使用第二層次的圖像數據和第三層次的校正數據產生用于每個類別的預測系數;以及使用相應于分類信息的預測系數和校正數據產生第二層次預測值的裝置。
36.如權利要求35所述的裝置,其特征在于所述輸出裝置輸出具有用于每個類別的預測系數的第三層次校正數據。
37.如權利要求30所述的裝置,其特征在于所述第一預測裝置包括存儲用于每個類別的預測系數的存儲器;使用多個第三層次校正數據的像素產生分類信息的裝置;以及用于從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和第三層次的校正數據產生第二層次預測像素的裝置。
38.如權利要求37所述的裝置,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
39.如權利要求38所述的裝置,其特征在于所述輸出裝置輸出具有用于每個類別的預測系數的第三層次的校正數據。
40.如權利要求30所述的裝置,其特征在于所述校正裝置包括用于存儲校正第三層次圖像數據的校正值的存儲器;以及所述校正裝置使用校正值校正第三層次的圖像數據。
41.如權利要求30所述的裝置,其特征在于所述確定裝置通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述輸出裝置響應于預測誤差小于規定閾值輸出第三層次的校正數據作為編碼數據。
42.如權利要求30所述的裝置,其特征在于所述第二預測裝置包括使用多個第二層次預測值的像素產生分類信息的裝置;使用第一層次的圖像數據和第二層次的預測值產生用于每個類別的預測系數;以及使用相應于分類信息的預測系數和第一層次的預測值產生第一層次預測值的裝置。
43.如權利要求42所述的裝置,其特征在于所述輸出裝置輸出具有用于每個類別的預測系數的第二層次的預測值。
44.如權利要求30所述的裝置,其特征在于所述第二預測裝置包括存儲用于每個類別的預測系數的存儲器;使用多個第二層次預測值的像素產生分類信息的裝置;以及用于從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和第二層次的預測值產生第一層次預測值的裝置。
45.如權利要求44所述的裝置,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
46.如權利要求45所述的裝置,其特征在于所述輸出裝置與輸出用于每個類別的預測系數一起輸出的第二層次的預測值。
47.一種進行分層次編碼的方法,其特征在于包括形成第二層次的圖像數據,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;校正第二層次圖像數據并產生校正數據;依據校正數據預測第一層次的圖像數據并產生具有多個預測像素的第一層次預測數據;相對于第一層次的圖像數據計算第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;以及依據確定的結果輸出校正數據作為第二層次圖像數據。
48.如權利要求47所述的方法,其特征在于所述預測步驟包括產生用于校正數據的分類信息;以及依據分類信息產生預測像素。
49.如權利要求47所述的方法,其特征在于所述預測步驟包括根據校正數據產生預測系數;以及根據校正數據和預測系數產生第一層次預測數據。
50.如權利要求47所述的方法,其特征在于所述預測步驟包括使用校正數據的多個像素產生分類信息;使用第一層次的圖像數據和校正數據產生的預測系數;以及使用相應于分類信息和校正數據的預測系數產生第一層次預測像素。
51.如權利要求50所述的方法,其特征在于所述輸出步驟輸出具有用于每個類別的預測系數的第二層次的圖像數據。
52.如權利要求47所述的方法,其特征在于所述預測步驟包括使用校正數據的多個像素產生分類信息;以及從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和校正數據產生第一層次預測像素。
53.如權利要求52所述的方法,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
54.如權利要求53所述的方法,其特征在于所述輸出步驟輸出具有用于每個類別的預測系數的第二層次圖像數據。
55.如權利要求47所述的方法,其特征在于所述校正步驟使用存儲在存儲器中的校正值校正第二層次圖像數據。
56.如權利要求47所述的方法,其特征在于所述確定步驟通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述輸出步驟響應于預測誤差小于規定閾值輸出校正數據作為編碼數據。
57.一種對圖像的分層次編碼所代表的數據進行解碼的方法,其特征在于包括接收編碼數據,所述數據至少包括第二層次的圖像數據,所述圖像數據具有數目小于第一層次圖像數據的像素數目的一些像素;通過以下步驟對來自第二層次圖像數據的第一層次圖像數據進行解碼形成第二層次的圖像數據并產生校正數據;依據校正數據預測第一層次的圖像數據,并產生具有多個預測像素的第一層次的預測數據;相對于第一層次的圖像數據計算第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;在必要時重復校正操作,直到校正數據變為最佳的校正數據;以及輸出最佳校正數據作為第二層次的圖像數據。
58.如權利要求57所述的方法,其特征在于所述解碼步驟包括產生第二層次圖像數據的分類信息的步驟;以及依據分類信息預測第一層次圖像數據。
59.如權利要求57所述的方法,其特征在于所述編碼數據包括預測第一層次圖像數據的預測系數;以及所述解碼步驟包括使用預測系數和第二層次圖像數據預測第一層次圖像數據。
60.如權利要求57所述的方法,其特征在于所述編碼數據包括預測第一層次圖像數據的用于每個類別的預測系數;以及所述解碼步驟包括使用多個第二層次圖像數據的像素產生分類信息;以及使用對應于分類信息的預測系數和第二層次圖像數據預測第一層次圖像數據。
61.如權利要求57所述的方法,其特征在于所述解碼步驟包括使用多個第二層次圖像數據的像素產生分類信息;以及從存儲器中讀出相應于所產生的分類信息的預測系數并使用讀出的預測系數和第二層次的圖像數據產生第一層次圖像數據。
62.如權利要求61所述的方法,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
63.一種進行分層次編碼的方法,其特征在于包括抽取多個第一層次圖像數據的像素并相應于所抽取的多個像素的特性產生分類信息;存儲用于每個類別的映射系數;以及讀出相應于分類信息的映射系數并使用第一層次的圖像數據和讀出的映射系數預測第二層次圖像數據,第二層次的圖像數據具有數目小于第一層次圖像數據的像素數目的一些像素。
64.如權利要求63所述的方法,其特征在于所述預測步驟包括從第一層次的圖像數據抽取多個像素;以及根據所抽取的多個像素和的映射系數預測第二層次圖像數據,在這里減少第一層次圖像數據的像素數目。
65.如權利要求63所述的方法,其特征在于使用用于學習的圖像數據產生用于每個類別的映射系數。
66.如權利要求63所述的方法,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差最小。
67.如權利要求63所述的方法,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差小于規定閾值。
68.如權利要求63所述的方法,其特征在于通過以下步驟產生用于每個類別的映射抽取用于學習的多個第一層次圖像數據的像素,并相應于所抽取的多個像素的特性產生分類信息;預測第二層次的圖像數據,在這里用于學習的第一層次圖像數據的一些像素使用用于學習的第一層次圖像數據和相應于分類信息的映射系數;依據編碼數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的預測數據;相應于用于學習的第一層次圖像數據產生用于學習的第一層次圖像數據的預測數據的預測誤差;依據預測誤差更新映射系數,直到映射系數是最佳映射系數;以及確定最佳映射系數。
69.如權利要求63所述的方法,其特征在于通過以下步驟產生用于每個類別的映射形成第二層次的圖像數據,所述數據具有數目小于用于學習的第一層次圖像數據像素數目的一些像素;校正第二層次圖像數據并產生校正數據;依據校正數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的用于學習的第一層次預測數據;相應于第一層次的圖像數據計算用于學習的第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;重復校正操作,直到校正數據是最佳校正數據;以及使用用于學習的第一層次的圖像數據和最佳校正數據產生用于每個類別的最佳映射系數。
70.一種對圖像數據分層次編碼的編碼數據進行解碼的方法,其特征在于包括接收編碼數據,所述數據至少包括第二層次的圖像數據,第二層次的圖像數據具有數目小于第一層次圖像數據的像素數目的一些像素;對來自第二層次圖像數據的第一層次圖像數據進行解碼;通過以下步驟產生所述編碼數據抽取多個第一層次圖像數據的像素并相應于所抽取的多個像素的特性產生分類信息;以及從其中存儲了用于每個類別的映射系數的存儲器中讀出相應于分類信息的映射系數,并使用具有數目小于第一層次圖像數據的像素數目的一些像素的第二層次圖像數據預測第二層次圖像數據。
71.如權利要求70所述的方法,其特征在于所述解碼步驟包括抽取多個第二層次圖像數據的像素并相應于所抽取的多個像素產生分類信息;以及從存儲器讀出相應于分類信息的預測系數并使用第二層次的圖像數據和讀出的預測系數預測第一層次經解碼的圖像數據。
72.如權利要求71所述的方法,其特征在于使用用于學習的圖像數據產生用于每個類別的預測系數。
73.如權利要求70所述的方法,其特征在于使用用于學習的圖像數據產生用于每個類別的映射系數。
74.如權利要求70所述的方法,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差最小。
75.如權利要求70所述的方法,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差小于規定閾值。
76.一種進行分層次編碼的方法,其特征在于包括形成第二層次的圖像數據,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;形成第三層次的圖像數據,所述數據具有數目小于第二層次圖像數據的像素數目的一些像素;校正第三層次圖像數據并產生第三層次校正數據;依據第三層次的校正數據產生具有多個像素的第二層次預測數據的第一預測步驟;依據第二層次的預測值產生具有多個像素的第一層次預測值的第二預測步驟;相應于第一層次的圖像數據產生第一層次預測值的預測誤差的誤差產生步驟;依據預測誤差確定第三層次校正數據的適宜性;以及依據確定的結果輸出校正數據作為第三層次圖像數據。
77.如權利要求76所述的方法,其特征在于所述第一預測步驟包括產生第三層次校正數據的分類信息;以及依據分類信息產生第二層次預測值。
78.如權利要求76所述的方法,其特征在于所述第一預測步驟包括根據第三層次的校正數據產生第二層次預測系數;以及根據第三層次的校正數據和第二層次的預測系數產生第二層次預測數據。
79.如權利要求76所述的方法,其特征在于所述第二預測步驟包括對第二層次的預測值產生分類信息;以及依據分類信息產生第一層次預測值。
80.如權利要求76所述的方法,其特征在于所述第二預測步驟包括根據第二層次的預測值產生第一層次預測系數;以及根據第二層次的預測值和第一層次的預測系數產生第一層次預測值。
81.如權利要求76所述的方法,其特征在于所述第一預測步驟包括使用多個第三層次校正數據的多個像素產生分類信息;使用第二層次的圖像數據和第三層次的校正數據產生用于每個類別的預測系數;以及使用相應于分類信息的預測系數和校正數據產生第二層次預測值。
82.如權利要求81所述的方法,其特征在于所述輸出步驟輸出具有用于每個類別的預測系數的第三層次校正數據。
83.如權利要求76所述的方法,其特征在于所述第一預測步驟包括使用多個第三層次校正數據的像素產生分類信息;以及從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和第三層次的校正數據產生第二層次預測像素。
84.如權利要求83所述的方法,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
85.如權利要求84所述的方法,其特征在于所述輸出步驟輸出具有用于每個類別的預測系數的第三層次的校正數據。
86.如權利要求76所述的方法,其特征在于所述校正步驟使用從存儲器讀得的校正值校正第三層次圖像數據;以及所述校正步驟使用校正值校正第三層次的圖像數據。
87.如權利要求76所述的方法,其特征在于所述確定步驟通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述輸出步驟響應于預測誤差小于規定閾值輸出第三層次的校正數據作為編碼數據。
88.如權利要求76所述的方法,其特征在于所述第二預測步驟包括使用多個第二層次預測值的像素產生分類信息;使用第一層次的圖像數據和第二層次的預測值產生用于每個類別的預測系數;以及使用相應于分類信息的預測系數和第一層次的預測值產生第一層次預測值。
89.如權利要求88所述的方法,其特征在于所述輸出步驟輸出具有用于每個類別的預測系數的第二層次的預測值。
90.如權利要求76所述的方法,其特征在于所述第二預測步驟包括使用多個第二層次預測值的像素產生分類信息;以及從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和第二層次的校正值產生第一層次預測值。
91.如權利要求90所述的方法,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
92.如權利要求91所述的方法,其特征在于所述輸出步驟與具有用于每個類別的預測系數一起輸出第二層次的預測值。
93.一種用于進行分層次編碼的方法,其特征在于包括形成第二層次的圖像數據,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;校正第二層次數據并產生校正數據;依據校正數據預測第一層次的圖像數據并產生具有多個預測像素的第一層次預測數據;相對于第一層次的圖像數據計算第一層次預測數據預測誤差;依據預測誤差確定校正數據的適宜性;以及依據確定的結果傳輸校正數據作為第二層次圖像數據。
94.如權利要求93所述的方法,其特征在于所述預測步驟包括產生用于校正數據的分類信息;以及依據分類信息產生預測像素。
95.如權利要求93所述的方法,其特征在于所述預測步驟包括根據校正數據產生預測系數;以及根據校正數據和預測系數產生第一層次預測數據。
96.如權利要求93所述的方法,其特征在于所述預測步驟包括使用多個校正數據的像素產生分類信息;使用第一層次的圖像數據和校正數據產生的預測系數;以及使用相應于分類信息和校正數據的預測系數產生第一層次預測像素。
97.如權利要求96所述的方法,其特征在于所述傳輸步驟傳輸具有用于每個類別的預測系數的第二層次的圖像數據。
98.如權利要求93所述的方法,其特征在于所述預測步驟包括使用多個校正數據的像素產生分類信息;以及從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和校正數據產生第一層次預測像素。
99.如權利要求98所述的方法,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
100.如權利要求99所述的方法,其特征在于所述傳輸步驟傳輸具有用于每個類別的預測系數的第二層次圖像數據。
101.如權利要求93所述的方法,其特征在于所述校正步驟使用存儲在存儲器中的校正值校正第二層次圖像數據。
102.如權利要求93所述的方法,其特征在于所述確定步驟通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述傳輸步驟響應于預測誤差小于規定閾值傳輸校正數據作為編碼數據。
103.一種具有記錄在其上的編碼圖像數據的制品,其特征在于通過以下步驟生產所述制品形成第二層次的圖像數據,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;校正第二層次圖像數據并產生校正數據;依據校正數據預測第一層次的圖像數據并產生具有多個預測像素的第一層次預測數據;相對于第一層次的圖像數據計算第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;以及依據確定的結果記錄校正數據作為第二層次圖像數據。
104.如權利要求103所述的制品,其特征在于所述預測步驟包括產生用于校正數據的分類信息;以及依據分類信息產生預測像素。
105.如權利要求103所述的制品,其特征在于所述預測步驟包括根據校正數據產生預測系數;以及根據校正數據和預測系數產生第一層次預測數據。
106.如權利要求103所述的制品,其特征在于所述預測步驟包括使用多個校正數據的像素產生分類信息;使用第一層次的圖像數據和校正數據產生用于每個類別的預測系數;以及使用相應于分類信息和校正數據的預測系數產生第一層次預測像素。
107.如權利要求106所述的制品,其特征在于所述記錄步驟記錄具有用于每個類別的預測系數的第二層次的圖像數據。
108.如權利要求103所述的制品,其特征在于所述預測步驟包括使用多個校正數據的像素產生分類信息;以及從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和校正數據產生第一層次預測像素。
109.如權利要求108所述的制品,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
110.如權利要求109所述的制品,其特征在于所述記錄步驟記錄具有用于每個類別的預測系數的第二層次圖像數據。
111.如權利要求103所述的制品,其特征在于所述校正步驟使用存儲在存儲器中的校正值校正第二層次圖像數據。
112.如權利要求103所述的制品,其特征在于所述確定步驟通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述記錄步驟響應于預測誤差小于規定閾值記錄校正數據作為編碼數據。
113.一種傳輸編碼圖像數據的方法,其特征在于通過以下步驟產生所述編碼圖像數據形成第二層次的圖像數據,所述數據具有數目小于第一層次圖像數據的像素數目的一些像素;校正第二層次數據并產生校正數據;依據校正數據預測第一層次的圖像數據并產生具有多個預測像素的第一層次預測數據;相對于第一層次的圖像數據計算第一層次預測數據的預測誤差;以及依據預測誤差確定校正數據的適宜性;
114.如權利要求113所述的傳輸方法,其特征在于所述預測步驟包括產生用于校正數據的分類信息;以及依據分類信息產生預測像素。
115.如權利要求113所述的傳輸方法,其特征在于所述預測步驟包括根據校正數據產生預測系數;以及根據校正數據和預測系數產生第一層次預測數據。
116.如權利要求113所述的傳輸方法,其特征在于所述預測步驟包括使用多個校正數據的像素產生分類信息;使用第一層次的圖像數據和校正數據產生預測系數;以及使用相應于分類信息和校正數據的預測系數產生第一層次預測像素。
117.如權利要求116所述的傳輸方法,其特征在于所述記錄步驟記錄具有用于每個類別的預測系數的第二層次的圖像數據。
118.如權利要求113所述的傳輸方法,其特征在于所述預測步驟包括使用多個校正數據的像素產生分類信息;以及從存儲器中讀出相應于分類信息的預測系數并使用讀出的預測系數和校正數據產生第一層次預測像素。
119.如權利要求118所述的傳輸方法,其特征在于使用用于學習的圖像數據產生存儲在所述存儲器中用于每個類別的所述預測系數。
120.如權利要求119所述的傳輸方法,其特征在于所述記錄步驟記錄具有用于每個類別的預測系數的第二層次圖像數據。
121.如權利要求113所述的傳輸方法,其特征在于所述校正步驟使用存儲在存儲器中的校正值校正第二層次圖像數據。
122.如權利要求113所述的傳輸方法,其特征在于所述確定步驟通過檢測預測誤差是否小于規定閾值來確定校正數據的適宜性;以及所述記錄步驟響應于預測誤差小于規定閾值記錄校正數據作為編碼數據。
123.一種傳輸分層次編碼數據的方法,所述方法包括接收分層次編碼的圖像數據,和傳輸分層次編碼的圖像數據,其特征在于通過以下步驟形成分層次編碼的圖像數據抽取多個第一層次圖像數據的多個像素,并相應于所抽取的多個像素的特性產生分類信息;存儲用于每個類別的映射系數;以及讀出相應于分類信息的映射系數,使用第一層次的圖像數據和讀出的映射系數預測第二層次的圖像數據,第二層次的圖像數據具有數目小于第一層次圖像數據像素數目的一些像素。
124.如權利要求123所述的方法,其特征在于所述預測步驟包括從第一層次的圖像數據抽取多個像素;以及根據所抽取的多個像素和的映射系數預測第二層次圖像數據,在這里減少第一層次圖像數據的像素數目。
125.如權利要求123所述的方法,其特征在于使用用于學習的圖像數據產生用于每個類別的映射系數。
126.如權利要求123所述的方法,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差最小。
127.如權利要求123所述的方法,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差小于規定閾值。
128.如權利要求123所述的方法,其特征在于通過以下步驟產生用于每個類別的映射抽取多個用于學習的第一層次圖像數據的像素,并相應于所抽取的多個像素的特性產生分類信息;預測第二層次的圖像數據,在這里用于學習的第一層次圖像數據的一些像素使用用于學習的第一層次圖像數據和相應于分類信息的映射系數;依據編碼數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的預測數據;相應于用于學習的第一層次圖像數據產生用于學習的第一層次圖像數據的預測數據的預測誤差;依據預測誤差更新映射系數,直到映射系數是最佳映射系數;以及確定最佳映射系數。
129.如權利要求123所述的方法,其特征在于通過以下步驟產生用于每個類別的映射形成第二層次的圖像數據,所述數據具有數目小于用于學習的第一層次圖像數據像素數目的一些像素;校正第二層次圖像數據并產生校正數據;依據校正數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素用于學習的第一層次預測數據;相應于第一層次的圖像數據計算用于學習的第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;重復校正操作,直到校正數據是最佳校正數據;以及使用用于學習的第一層次的圖像數據和最佳校正數據產生用于每個類別的最佳映射系數。
130.一種具有在其上記錄了分層次編碼圖像數據的制品,其特征在于通過以下步驟形成所述分層次編碼的圖像數據抽取多個第一層次圖像數據的像素,并相應于所抽取的多個像素的特性產生分類信息;存儲用于每個類別的映射系數;以及讀出相應于分類信息的映射系數,使用第一層次的圖像數據和讀出的映射系數預測第二層次的圖像數據,第二層次的圖像數據具有數目小于第一層次圖像數據像素數目的一些像素。
131.如權利要求130所述的制品,其特征在于所述預測步驟包括從第一層次的圖像數據抽取多個像素;以及根據所抽取的多個像素和的映射系數預測第二層次圖像數據,這里減少第一層次圖像數據的像素數目。
132.如權利要求130所述的制品,其特征在于使用用于學習的圖像數據產生用于每個類別的映射系數。
133.如權利要求130所述的制品,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差最小。
134.如權利要求130所述的制品,其特征在于產生用于每個類別的映射系數,從而使用第二層次圖像數據預測的用于學習的第一層次圖像數據的預測數據與用于學習的第一層次圖像數據之間的預測誤差小于規定閾值。
135.如權利要求130所述的制品,其特征在于通過以下步驟產生用于每個類別的映射抽取多個用于學習的第一層次圖像數據的像素,并相應于所抽取的多個像素的特性產生分類信息;預測第二層次的圖像數據,這里用于學習的第一層次圖像數據的一些像素使用用于學習的第一層次圖像數據和相應于分類信息的映射系數;依據編碼數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的預測數據;相應于用于學習的第一層次圖像數據產生用于學習的第一層次圖像數據的預測數據的預測誤差;依據預測誤差更新映射系數,直到映射系數是最佳映射系數;以及確定最佳映射系數。
136.如權利要求130所述的制品,其特征在于通過以下步驟產生用于每個類別的映射形成第二層次的圖像數據,所述數據具有數目小于用于學習的第一層次圖像數據像素數目的一些像素;校正第二層次圖像數據并產生校正數據;依據校正數據預測用于學習的第一層次圖像數據,并產生具有多個預測像素的第一層次預測數據;相應于第一層次的圖像數據計算用于學習的第一層次預測數據的預測誤差;依據預測誤差確定校正數據的適宜性;重復校正操作,直到校正數據是最佳校正數據;以及使用用于學習的第一層次的圖像數據和最佳校正數據產生用于每個類別的最佳映射系數。
全文摘要
可從分層次編碼操作期間獲得的最下層次數據中產生具有高圖像質量的解碼圖像。在稀化單元中使等同于原始圖像的第一層次的圖像逐漸被稀化,從而形成第二層次的圖像和第三層次的圖像。然后,在最佳校正數據計算單元中,校正第二層次的圖像,從獲得的校正數據中預測第一層次圖像的預測值,以及產生第二層次圖像的校正數據以減小預測值的預測誤差使低于預選閾值。在另一個最佳校正數據計算單元中,同樣地獲得第三層次圖像的校正數據。
文檔編號H04N7/28GK1175167SQ9711542
公開日1998年3月4日 申請日期1997年7月17日 優先權日1996年7月17日
發明者近藤哲二郎 申請人:索尼株式會社